Для решения проблемы нарастающего дефицита флеш-памяти компания VAST Data, работающая в сфере инфраструктуры искусственного интеллекта, анонсировала инициативу VAST Amplify. Её цель — помочь предприятиям повысить полезный объём их существующих твердотельных накопителей.
Сотрудничество с клиентами в рамках VAST Amplify строится по многоступенчатой схеме. Первый шаг — это аудит инфраструктуры: VAST Data проводит всесторонний анализ среды хранения заказчика, чтобы обнаружить области с неэффективно используемыми SSD, фрагментацию данных между разрозненными системами и потери, вызванные устаревшими архитектурными решениями, которые уменьшают фактическую доступную ёмкость. Далее осуществляется оперативная квалификация платформы — быстрая проверка и сертификация текущих серверов и накопителей клиента для работы в экосистеме VAST, что позволяет избежать длительных циклов поставок нового оборудования.
Следующий этап — консолидация и интеграция ресурсов. Перепрофилированное оборудование объединяется в единое логическое пространство имён на основе операционной системы VAST AI. В результате фрагментированная флеш-память, привязанная к отдельным серверам, превращается в глобально доступный пул высокопроизводительного хранилища. Его ресурсы могут гибко распределяться между любыми приложениями, снимая ограничения, накладываемые серверными границами или устаревшими архитектурами.
Защита данных встроена в саму платформу и реализована через высокоэффективное кодирование с коррекцией ошибок, а не через традиционные методы, требующие ресурсоёмкого полного копирования данных и занимающие в два-три раза больше физического пространства. Такой подход позволяет увеличить полезную ёмкость, сохраняя при этом высокий уровень отказоустойчивости.
Источник изображения: VAST Data
По заявлениям компании, программа способна увеличить полезную ёмкость в шесть раз. Это достигается за счёт базовой архитектуры VAST Data под названием Disaggregated Shared Everything (DASE) и комплекса передовых программных технологий. В отличие от классических систем, где сокращение данных происходит в пределах изолированных узлов или томов, методология VAST применяется глобально и охватывает всю инфраструктуру.
Фундаментальным компонентом выступает глобальная дедупликация на основе схожести. Этот метод выявляет и удаляет повторяющиеся структуры данных во всем хранилище, а не в рамках отдельного файла, датасета или тома. В результате эффективный объем памяти при заданном количестве флеш-накопителей значительно возрастает, что особенно важно для сред искусственного интеллекта, где обучающие данные часто включают колоссальные объемы сходной или дублирующейся информации.
Существенную важность имеет архитектура записи, созданная с учетом особенностей памяти класса хранения (SCM). Все поступающие данные изначально фиксируются в высокоскоростном буфере на SCM, что дает системе возможность эффективно обрабатывать случайные и всплесковые операции записи. Затем данные интеллектуально упорядочиваются и переносятся на основные SSD-накопители крупными последовательными блоками. Это сокращает коэффициент записи, увеличивает долговечность и срок службы флеш-памяти, сохраняя минимальную задержку без привлечения дорогостоящего оборудования с избыточным резервированием.
Как заявляет компания, комбинация этих технологий в операционной системе VAST AI OS позволяет добиться существенного роста полезной емкости при неизменном объеме физической флеш-памяти. Однако Dell, ведущий поставщик более традиционных систем хранения, критикует подход VAST Data, поскольку он, по сути, предполагает использование бывших в употреблении SSD-накопителей.
Источник:
