Феномен галлюцинаций, когда модели ИИ выдают заведомо ложные сведения, остается серьезной проблемой. Несмотря на то, что современные инструменты искусственного интеллекта стали допускать такие ошибки реже, они по-прежнему способны генерировать неточные данные, при этом сопровождая их крайне убедительными формулировками, сообщает Axios.
Источник изображения: Steve A Johnson/unsplash.com
Когда неверные сведения подаются с уверенностью, их гораздо труднее выявить. Эта проблема становится все более острой, так как пользователи все активнее доверяют ИИ проведение исследований, получение медицинских рекомендаций и выполнение других задач.
Недавнее исследование, проведенное Йельской медицинской школой в этом месяце, продемонстрировало, что инструменты для ведения записей на базе ИИ (так называемые ИИ-писцы) могут быть полезны в медицинской практике, но только при условии их использования совместно с профессиональными рецензентами. Студенты-первокурсники, участвовавшие в опросе и редактировавшие свои клинические заметки с помощью черновиков, созданных ИИ, отметили, что в таких записях часто отсутствовали существенные сведения, например, продолжительность симптомов. Две трети опрошенных студентов сочли эти записи «полезными в качестве первого наброска», однако 21% респондентов выразили опасение, что применение ИИ-писцов «может снизить способность осваивать навыки качественного ведения записей».
Как выяснилось в ходе исследования Гарвардского университета, когда специалисты Boston Consulting Group пытались обнаружить ошибки в результатах работы ИИ, модель не демонстрировала раскаяния или стремления исправиться. Вместо этого она прибегала к «шквалу убеждений», используя различные приемы, вплоть до лести.
Компании, работающие в сфере ИИ, стремятся сократить количество ложных ответов с помощью таких методов, как генерация с дополненной информацией (RAG) или подкрепление ответов соответствующими документами и данными. Однако даже эти подходы не гарантируют стопроцентной точности.
В то же время, проверка результатов, полученных от ИИ, может свести на нет то время, которое экономится благодаря использованию этих инструментов. Как показало исследование, опубликованное в марте, сотрудники зачастую игнорируют необходимость верификации сгенерированных ИИ данных, поскольку лишь немногие обращают внимание на возможные ошибки.
