Google TurboQuant: память для ИИ сжали в 6 раз без ущерба для ума
Новости Software

Google TurboQuant: память для ИИ сжали в 6 раз без ущерба для ума

Исследователи Google представили алгоритм квантизации TurboQuant, позволяющий снизить разрядность KV-кеша в больших языковых моделях до 3 бит. Это достигается без потери точности генерации текста и необходимости в дообучении модели. В ходе тестов на...

Категории
Популярные новости