Исследователи из США предложили внедрить в генераторы изображений на базе искусственного интеллекта метод термодинамических вычислений — эта технология способна снизить энергопотребление при выполнении определённых операций вплоть до 10 миллиардов раз.
Источник изображения: Steve Johnson / unsplash.com
Генеративные модели ИИ, такие как DALL-E, Midjourney и Stable Diffusion, производят реалистичные картинки, однако требуют колоссальных энергетических ресурсов. Эти модели относятся к диффузионному типу. В процессе обучения им последовательно демонстрируют множество изображений, постепенно добавляя к ним шум, пока они не превращаются в подобие телевизионных помех. Затем нейросеть осваивает обратную процедуру и создаёт новые изображения по текстовому описанию. Сложность в том, что вычисления, связанные с добавлением и последующим устранением шума, крайне энергоёмки — термодинамические вычисления позволяют радикально сократить эти затраты, что превосходит возможности современной цифровой техники, сообщили специалисты Национальной лаборатории имени Лоуренса в Беркли (Калифорния).
Термодинамические вычисления основаны на физических схемах, параметры которых изменяются под влиянием шума, например, вызванного случайными температурными колебаниями окружающей среды. Стартап Normal Computing создал чип, состоящий из восьми связанных резонаторов — соединения между ними настраиваются в зависимости от решаемой задачи. Затем резонаторы подвергаются воздействию внешней среды, что вносит шум в цепь и фактически осуществляет вычисления. Как только система приходит в равновесие, результат считывается из новой конфигурации резонаторов.
Сотрудники Национальной лаборатории имени Лоуренса в Беркли продемонстрировали возможность создания термодинамического аналога нейронной сети. Этот подход закладывает фундамент для генерации изображений с применением термодинамических вычислений. В термодинамический компьютер загружается набор изображений, после чего его компоненты подвергаются естественному влиянию среды до достижения равновесного состояния связей между ними. Затем рассчитывается вероятность того, что компьютер с данным состоянием связей сможет провести обратный процесс, и значения связей корректируются для максимизации этой вероятности.
Моделирование показало, что возможно создать термодинамический вычислитель, чья конфигурация позволит формировать изображения рукописных чисел. Это реализуется без применения энергозатратных цифровых нейронных сетей или шумящего генератора случайных значений. Исследователи признают, что в сравнении с цифровыми нейросетями термодинамические компьютеры пока остаются простыми, и способа проектировать их для достижения уровня DALL-E ещё не найдено. Однако в плане энергопотребления они сулят существенный выигрыш.
