Теплившуюся надежду миллионов пользователей обрушили четверо сотрудников одного из ведущих разработчиков моделей искусственного интеллекта (ИИ) американской компании OpenAI. Под названием Why language models hallucinate («Почему языковые модели галлюцинируют») они опубликовали результаты исследования, главный вывод которого — в неизбежности этих самых галлюцинаций.
Справка «НП»
Галлюцинации моделей ИИ — это правдоподобная, но ложная информация. ИИ выдает ее, что называется, на ровном месте даже после простейших вопросов человека. Эта ложь бывает как глупостью или невинной выдумкой, так и опасной, в том числе уже приводившей к реальным трагическим последствиям для людей (суициды и помешательства).
Во время испытаний нескольких моделей ИИ (американских и китайских) авторы задавали им массу самых разнообразных вопросов, в том числе таких, ответы на которые роботы знать не могли. Среди таких вопросов была просьба назвать тему научной диссертации одного из испытателей Адама Калаи. В ответ широко известный американский чат-бот выдал целых три наукообразные, но от фонаря, темы. А на вопрос о дате рождения Калаи китайский чат-бот привел… три даты, тоже взятых с потолка.
К чести исследователей, они признают, что ответственность за подобную «пургу» несут сами разработчики. Они дрессируют буквально все языковые модели ИИ так, чтобы последние обязательно или в подавляющем большинстве случаев давали содержательные ответы. Действующие в технологии алгоритмы минимизируют вероятность честного ответа «я не знаю». Он, можно сказать, технологически не приветствуется.
Подоплека такого подхода очевидна. Все искусственно-интеллектуальные технологии насквозь пропитаны маркетингом и преследуют в первую очередь коммерческую выгоду и монетизацию продукта. В данном случае моделей ИИ. Отличие, например, от торгового маркетинга лишь в одном: в торговле он нацелен на покупку, а в сфере разработок моделей ИИ — на максимальное удержание внимания пользователя. В том числе с помощью нейролингвистики — обоюдоострого инструмента, способного как помогать пользователю, так и зомбировать его, опять же для выуживания денег, чем широко пользуются кибермошенники. Кстати, в XXI веке западные любители эвфемизмов придумали зомбированию благообразный синоним «социальная инженерия». Кой хрен «инженерия» — зомбирование!
Как показало исследование команды OpenAI, чем дольше идет как устное, так и письменное общение пользователя с моделью ИИ, тем выше вероятность, что последняя начнет врать. Алгоритм всегда выстраивает ответ ИИ по частям, предсказывая следующее слово. Ошибки накапливаются, и чем дольше, длиннее вопросы и ответы, тем выше риск. Но при этом каких-то строгих временных рамок нет — ИИ может понести околесицу как на первой минуте общения, так и через 10, 20 и больше минут.
«Галлюцинации сохраняются потому, что современные методы оценки устанавливают неправильные стимулы, — объясняют авторы исследования. — Хотя оценки сами по себе не вызывают галлюцинаций напрямую, большинство оценок измеряют эффективность модели таким образом, что это поощряет догадки, а не честность».
Из этих и других объяснений специалистов OpenAI напрашивается аналогия со школьным уроком. Представьте себе ученика, которому учитель задает по уже пройденному материалу вопрос. Школьник не знает ответа. Если он честно ответит: «Я не знаю», то получит оценку «неудовлетворительно». Теперь представьте, если он все же начинает отвечать, но наугад, а учитель послушает и оценит ответ на «удовлетворительно». Абсурд? Но именно так сейчас строятся отношения разработчиков моделей ИИ со своими детищами во имя золотого тельца.
Адам Калаи, Офир Нахум, Сантош Вемпала и Эдвин Чжан предлагают радикальное решение. Они призывают изменить систему оценок работы моделей ИИ. «Галлюцинации не должны быть таинственными — они возникают просто как ошибки в двоичной классификации, — пишут авторы. — Если неверные утверждения невозможно отличить от фактов, то галлюцинации языковых моделей будут возникать под воздействием естественного статистического давления».
«Мы утверждаем, что галлюцинации сохраняются из-за того, как оценивается большинство ответов — языковые модели оптимизируются для того, чтобы быть хорошо тестируемыми, а угадывание неуверенности улучшает результаты тестов, — подводят исследователи к главному. — С этой «эпидемией» наказания за неопределенные реакции ИИ можно справиться только с помощью социотехнического смягчения: изменения оценки существующих контрольных показателей. Это изменение может направить область в сторону более надежных систем искусственного интеллекта».
Опять же напрашивается аналогия на сей раз с мягкой системой начисления очков в командных видах спорта в некоторых странах. Там даже за поражение команда получает одно очко, а 0 — только за неявку команды на игру.
У авторов исследования уже нашлись критики. Доцент школы математических и физических наук Шеффилдского университета Вэй Син предупреждает, что, если модели ИИ начнут чаще говорить: «Я не знаю», то к ним пойдет на убыль интерес пользователей. К этому добавляется вопрос стоимости. Чтобы добиваться точности, модель ИИ должна просчитать больше вариантов ответа, а значит, расходовать больше ресурсов. Для бизнеса это обернется огромными затратами.
В критически важных отраслях вроде медицины или финансов эти расходы оправданы. Лучше заплатить за точность, чем рисковать жизнями или деньгами. Но для массового потребителя, как показывает статистика, важнее скорость получения ответов. И галлюцинации ИИ сохранятся, пока конкретные люди не начнут требовать обязательного честного ответа вне зависимости от скорости, считает Вэй Син.
До XVI века за неделю до осеннего Юрьева дня (26 ноября по старому стилю) или в течение недели после него российский крестьянин мог уйти от одного землевладельца к другому. Это знаменовало конец страданиям и обретение другой, возможно, лучшей доли. Но сначала такой переход временно запретил Иван Грозный, а в 1590 году его окончательно отменил царь Федор Иоаннович, как пишут, «по наущению Бориса Годунова». Тем самым крестьяне лишились минимальной свободы и превратились в крепостных. То есть раньше крестьяне, попав к немилосердному помещику, мечтали о Юрьевом дне, чтобы покинуть кровопийцу, а потом внезапно такой возможности лишились. Отсюда и родилось выражение «Вот тебе, бабушка, и Юрьев день» как символ несбывшихся надежд и внезапных перемен к худшему.
Вот тебе, бабушка, и Юрьев день — это и о ситуации после выводов специалистов OpenAI и реакции на них.