AWS анонсировала новый продукт Amazon S3 Files, позволяющий «напрямую подключать любые вычислительные мощности AWS к информации, хранящейся в Amazon S3». Как заявила компания, этот сервис превращает «Amazon S3 в первое и единственное облачное объектное хранилище, предоставляющее полноценный высокопроизводительный файловый доступ к данным». Решение поддерживает полную семантику файловой системы (NFS 4.1+) и обеспечивает минимальные задержки, при этом все данные остаются в S3, подчеркнули в AWS. Эта функциональность была представлена спустя два десятилетия после дебюта облачной платформы AWS — именно сервис S3 стал её первым публичным облачным предложением, запущенным в марте 2006 года.
Объектные хранилища редко применяются для задач высокопроизводительных вычислений (HPC), поскольку там обычно требуется POSIX-совместимый доступ для чтения и записи отдельных файлов, а не модификация целых объектов с семантикой GET/PUT/DELETE. Amazon S3 ориентирован на надёжность и низкую стоимость, тогда как HPC-рабочие нагрузки часто нуждаются в сверхбыстром доступе с минимальной задержкой, а цена и отказоустойчивость отходят на второй план, отмечает HPCwire. S3 Files, построенный на основе EFS, реализует файловую семантику, включая согласованность данных при чтении после записи, блокировку файлов и POSIX-права, сочетая это с масштабируемостью, надёжностью и экономичностью S3. Сервис S3 Files уже работает в 34 регионах AWS.
S3 Files интеллектуально трансформирует операции файловой системы в оптимизированные запросы к S3. Файловые приложения могут взаимодействовать с данными в S3 без изменения кода, ИИ-агенты сохраняют и обмениваются данными в различных конвейерах, а инструменты и приложения получают возможность работать с файлами в S3 напрямую из любого экземпляра, контейнера или функции. Сервис использует многоуровневое кэширование данных (включая метаданные) для сокращения задержек доступа (менее 1 мс) и обеспечивает совокупную пропускную способность чтения до нескольких терабайт в секунду. Размер файла по умолчанию для автоматического чтения из классического S3 установлен на 125 КБ. Файлы меньшего размера могут быть размещены в высокопроизводительном хранилище и стать доступными через NFS, если система сочтёт это целесообразным; пользователи могут настроить этот параметр.
Изображение предоставлено: AWS
Несмотря на то, что S3 Files может уступать в скорости Lustre (также доступному в AWS), он обеспечивает достаточно высокую производительность при работе с файлами. Компании, специализирующиеся на файловых хранилищах, включая NetApp и Qumulo, уже предлагают в AWS гибридные решения, объединяющие файловые и объектные технологии. Теперь, как отмечает издание Blocks & Files, конкуренция на этом рынке усилится. Среди существующих решений — Amazon FSx for NetApp ONTAP, Dell PowerScale for AWS, VAST AI OS и Cloud Native Qumulo (CNQ). Например, CNQ способен обеспечивать пропускную способность свыше 1 ТБ/с и выполнять до 1 миллиона операций ввода-вывода в секунду при использовании стандартных клиентов NFS.
По мнению аналитиков, это нововведение представляет собой стратегический ход AWS, направленный на превращение S3 в фундаментальную платформу хранения данных для ИИ-агентов и современных приложений, выходящую за рамки классического применения в дата-озёрах и пакетной аналитике, сообщает InfoWorld. Ранее организациям, разрабатывающим и внедряющим агентные системы и другие передовые ИИ-приложения, часто приходилось либо разворачивать отдельные файловые хранилища, либо создавать промежуточный слой для взаимодействия с S3, подчёркивает Pareekh Consulting. S3 Files упростит архитектуру хранения, интегрировав дата-озёра, файловые системы и промежуточные уровни данных в единую экосистему Amazon S3.
Источник:
