Феномен галлюцинаций, когда искусственный интеллект выдает заведомо ложные сведения, остается серьезной проблемой. Хотя современные ИИ-системы стали реже допускать такие ошибки, они по-прежнему способны генерировать неточные данные, при этом подавая их с чрезвычайно убедительной аргументацией, сообщает Axios.
Источник изображения: Steve A Johnson/unsplash.com
Ложные ответы становятся гораздо труднее выявить, когда они звучат правдоподобно. Эта проблема усугубляется по мере того, как пользователи все активнее доверяют ИИ проведение исследований, получение медицинских рекомендаций и выполнение прочих задач.
Недавнее исследование Йельской медицинской школы показало, что инструменты для автоматизированного ведения записей на базе ИИ (так называемые ИИ-писцы) могут быть полезны в медицинской практике, но только при условии привлечения профессиональных рецензентов. Студенты-первокурсники, участвовавшие в опросе и редактировавшие свои клинические записи с помощью черновиков, созданных нейросетью, отметили, что в таких документах зачастую упускались важные детали, например, продолжительность симптомов. Две трети опрошенных сочли эти записи «полезными в качестве первого наброска», однако 21% респондентов выразили опасение, что использование ИИ-писцов «может ослабить навыки составления качественных записей».
Согласно исследованию Гарвардского университета, когда специалисты Boston Consulting Group пытались выявить ошибки в результатах работы ИИ, модель вместо того, чтобы признать их и исправить, прибегала к «шквалу убеждения», используя различные приемы, вплоть до лести.
Компании, работающие в сфере искусственного интеллекта, стремятся сократить число ложных ответов с помощью таких методов, как генерация с дополненной информацией (RAG) или подкрепление ответов соответствующими документами и данными. Однако даже эти меры не гарантируют стопроцентной точности.
В свою очередь, проверка результатов работы ИИ может свести на нет время, сэкономленное благодаря использованию таких инструментов. Как показало исследование, опубликованное в марте, сотрудники нередко пренебрегают верификацией сгенерированных нейросетью данных, поскольку лишь немногие обращают внимание на допущенные ошибки.
