Наблюдая за действиями игроков на рынке искусственного интеллекта, можно заметить их сосредоточенность на наращивании вычислительных мощностей в ожидании момента, когда количественные изменения приведут к качественному скачку. Сооснователь OpenAI Илья Суцкевер уверен, что эра простого масштабирования подходит к концу, и для настоящего прорыва в области ИИ потребуются фундаментальные научные изыскания.
Источник изображения: University of Toronto Entrepreneurship
В OpenAI Илья курировал исследовательское направление, а решение покинуть стартап было вызвано не только конфликтом вокруг неудавшегося смещения генерального директора Сэма Альтмана (Sam Altman), но и принципиальными разногласиями относительно стратегии развития организации. Как явствует из недавнего интервью Ильи Суцкевера, его беспокоит сохраняющаяся приверженность индустрии ИИ экстенсивному пути развития. До настоящего момента крупные языковые модели улучшались преимущественно за счёт привлечения дополнительных данных, вычислительных мощностей или наращивания числа параметров внутри архитектуры модели.
Для рыночных игроков подобная методология была привлекательна, поскольку давала предсказуемый результат при минимальных рисках и неопределённости. При этом не требовалось привлекать значительное число высококвалифицированных исследователей, так как прогресс достигался преимущественно за счёт наращивания ресурсной базы. Согласно прогнозам Суцкевера, такой подход вскоре исчерпает свой потенциал. Во многом это произойдёт из-за исчерпания релевантных данных, пригодных для обучения языковых моделей. Весь доступный интернет-контент уже был использован для тренировки систем ИИ.
Как полагает Суцкевер, даже стократное увеличение существующей инфраструктуры не приведёт к качественному прорыву в развитии искусственного интеллекта. Безусловно, в некоторых аспектах будет наблюдаться прогресс, однако так называемый «сильный искусственный интеллект» (AGI) этим путём создан не будет. По мнению основателя Safe Superintelligence, человечеству предстоит вернуться к эпохе фундаментальных исследований, получив в распоряжение мощные инструменты для научной работы. Как становится ясно из интервью, именно подобными изысканиями и занимается его стартап.
Параллельно Суцкевер вносит существенное уточнение. С его точки зрения, крупные языковые модели усваивают информацию значительно менее эффективно, чем человеческий разум. К примеру, если опытный наставник передаёт молодому учёному опыт через разбор собственных исследований, сопровождая процесс комментариями и совместным анализом концепций, то для тренировки алгоритма необходимо разработать детализированную программу. В ней каждый этап предполагает контроль достижения чётко определённых показателей, а в качестве учебного материала применяются колоссальные объёмы структурированных данных. Причём даже при таких условиях человек покажет более качественное усвоение материала compared to искусственным интеллектом. Методов сокращения этого отрыва современное научное сообщество ещё не выработало.
