Искусственный интеллект достиг очередного прорыва, продемонстрировав в креативном тесте более высокие показатели, чем среднестатистический человек — в масштабном эксперименте участвовало 100 тысяч добровольцев. Полученные данные вновь подтвердили, насколько трудно объективно оценить творческие способности.
Источник изображения: umontreal.ca
Учёные из Университета Монреаля (Канада) организовали обширное изучение, в рамках которого 100 тыс. человек состязались с передовыми генеративными ИИ-моделями для оценки творческого потенциала каждой стороны. Это самое крупное исследование в данной области. Поскольку креативность — понятие субъективное, для её измерения применялся тест на дивергентные ассоциации (DAT). Участникам, как людям, так и ИИ, отводилось четыре минуты на подбор десяти слов, и чем менее очевидной была связь между ними, тем более оригинальным считался результат.
Согласно итогам DAT, крупные языковые модели проявили бо́льшую креативность, чем многие из добровольцев, однако почти половина людей всё же обошла искусственный интеллект, а топ-10% участников значительно опередили компьютерных конкурентов. Это иллюстрирует, насколько сложно даже самым продвинутым системам повторить достижения человеческого разума, несмотря на то, что в их обучение заложены практически все слова большинства языков. ИИ способен превзойти часть людей в определённых творческих заданиях, но для других групп людей верно противоположное. Методики оценки человеческих качеств сложны и многомерны, поэтому высокие баллы ИИ вряд ли можно считать абсолютным мерилом для сравнения.
Учёные также сравнили результаты ИИ и людей в иных творческих испытаниях: сочинении хайку, написании киносценариев и коротких историй. И вновь наиболее креативные люди оказались сильнее машин, даже если в целом языковые модели показывали результат выше среднего человеческого. Наибольший творческий потенциал ИИ раскрывался, когда его направлял человек. Таким образом, замена людей искусственным интеллектом в обозримом будущем маловероятна. «Прямое сравнение человека и машины, как в нашем исследовании, заставляет нас пересмотреть само понимание творчества», — отметил Карим Джерби (Karim Jerbi), профессор факультета психологии Университета Монреаля.
