Компания Tenstorrent из Канады представила настольную систему TT-QuietBox 2, созданную для выполнения сложных задач искусственного интеллекта. По заявлениям разработчиков, данное устройство может работать с крупными языковыми моделями, содержащими до 120 миллиардов параметров.
Основу TT-QuietBox 2 составляют четыре специализированных ускорителя Blackhole. Каждый из них оснащён 16 «большими» ядрами RISC-V, 120 ядрами Tensix, 210 МБ статической оперативной памяти и 32 ГБ памяти GDDR6 с пропускной способностью 512 ГБ/с. В совокупности система использует 64 ядра RISC-V, 480 ядер Tensix и 128 ГБ GDDR6. Кроме того, рабочая станция оборудована 256 ГБ памяти стандарта DDR5.
Источник изображения: tenstorrent.com
В устройстве реализовано жидкостное охлаждение. Питание осуществляется от стандартной электросети: производитель отмечает, что для станции не требуется специальное помещение или серверная стойка.
Система работает на платформе Ubuntu 24.04 с полностью открытым программным стеком. Заявлена совместимость с распространёнными фреймворками, включая PyTorch, ONNX и TensorFlow. Пиковая производительность в операциях ИИ достигает 2654 терафлопс (BlockFP8). В качестве примера приводится обработка модели Llama 3.1 70B (70 млрд параметров) со скоростью 476,5 токенов в секунду. Модель Boltz-2 формирует структуру белка из 686 аминокислот за 49 секунд (на одном чипе Blackhole). Для сравнения, современному центральному процессору, по утверждению компании, на такую задачу потребовалось бы около 45 минут. Благодаря использованию четырёх ускорителей Blackhole система может параллельно моделировать структуры нескольких белков.
Продажи TT-QuietBox 2 начнутся во втором квартале текущего года, ориентировочная стоимость составит 10 тысяч долларов США.
Источник:
