LaMDA

Материал из Википедии — свободной энциклопедии
Перейти к навигации Перейти к поиску

LaMDA, что расшифровывается как Language Model for Dialogue Applications, представляет собой семейство разговорных нейронных языковых моделей, разработанных Google. Первое поколение было анонсировано во время презентации Google I/O 2021 года, а второе поколение было анонсировано на мероприятии следующего года. В июне 2022 года LaMDA привлекла всеобщее внимание, когда инженер Google Блейк Лемуан заявил, что чат-бот стал разумным. Научное сообщество в значительной степени отвергло утверждения Лемуана, хотя это привело к разговорам об эффективности Теста Тьюринга, который измеряет, может ли компьютер сойти за человека.

LaMDA использует языковую модель преобразования только для декодера[1]. Он предварительно обучается на текстовом корпусе, который включает в себя как документы, так и диалоги, состоящие из 1,56 триллиона слов[1], а затем обучается с помощью данных тонкой настройки, сгенерированных вручную аннотированными ответами для обеспечения понятности, интересности и безопасности. Тесты, проведенные Google, показали, что LaMDA превзошла человеческие ответы в области интересности. Трансформаторная модель LaMDA и внешняя система поиска информации взаимодействуют для повышения точности фактов, предоставляемых пользователю.

Примечания

[править | править код]