История полупроводниковой отрасли насчитывает не одно десятилетие, и на её фоне сегмент ИИ выглядит совсем юным. Однако те эволюционные сдвиги, которые он уже успел привнести, оказывают колоссальное воздействие на всю индустрию. В последнее время всё чаще обсуждается, как центральные процессоры набирают вес в задачах инференса, однако руководство Sandisk непоколебимо в своём убеждении: ключевая роль в инфраструктуре ИИ отведена именно памяти.
Источник изображения: SK hynix
Такую позицию в беседе с Nikkei Asian Review озвучил технический директор и исполнительный вице-президент Sandisk Алпер Илкбахар. Он подчеркнул, что при построении ИИ-инфраструктуры нельзя делать ставку исключительно на GPU и CPU — даже устройство человеческого мозга подсказывает, насколько важна память в таких системах. «Наша сущность определяется тем, что мы помним. Каждый раз, осваивая что-то новое, вы становитесь иным человеком. Ваш мозг в прямом смысле претерпевает физические изменения, и это неизбежно. По большому счёту, мы — это сумма наших воспоминаний», — поделился представитель Sandisk.
По его мнению, важность памяти возрастает сразу по нескольким направлениям. Во-первых, большие языковые модели становятся всё более изощрёнными, и для их функционирования требуется наращивать объёмы памяти. Во-вторых, ИИ-системы от ведущих разработчиков всё активнее используют кеш «ключ — значение», который служит своего рода краткосрочной памятью. Он позволяет системе запоминать предыдущие запросы пользователя и не перерабатывать всё с нуля, когда появляются уточняющие вопросы. Такой подход ускоряет работу моделей и повышает их эффективность, но по мере расширения контекста объём требуемой памяти также неуклонно растёт.
Тем временем отрасль всё чаще переходит на архитектуру «смесь экспертов»: внутри одной крупной ИИ-модели скрывается несколько более узкоспециализированных, каждая из которых активируется для обработки строго определённых запросов. Основной акцент делается на работу с растущими массивами данных, тогда как вычислительная мощность прогрессирует не столь стремительно, отмечает вице-президент Sandisk. В таких условиях спрос на продукцию компании остаётся крайне высоким. Клиенты сами инициируют долгосрочные контракты и вносят авансовые платежи, чтобы гарантированно получить нужные объёмы памяти к определённому сроку. Только за последнее время Sandisk заключила долгосрочные соглашения на поставку памяти сроком до пяти лет на общую сумму около $42 млрд. Ранее о подобной структуре контрактов компания не могла даже мечтать.
Менеджмент компании убеждён в потенциале HBF — инновационного типа твердотельной памяти с вертикальной архитектурой, напоминающей HBM, и обеспечивающей аналогичную пропускную способность. В эпоху активного развития инференса именно такой формат памяти станет идеальным решением для нужд ИИ-инфраструктуры. В процессе формирования стандартов HBF компания взаимодействует с южнокорейской SK hynix. Первый прототип чипа HBF появится к концу текущего года, а готовая память HBF с контроллером будет анонсирована в следующем. Партнёрство с Kioxia даёт Sandisk возможность использовать производственные мощности японской компании как минимум до 2032 года.
