Сохранение интернет-данных становится всё более сложной задачей из-за нехватки носителей и повышения их стоимости. Цены на жёсткие диски выросли втрое, поскольку крупные корпорации активно их скупают. Это существенно затрудняет функционирование таких проектов, как Wayback Machine и Wikimedia.
Источник изображения: Patrick Lindenberg / unsplash.com
Некоммерческая организация Internet Archive, чья миссия — предоставить «доступ ко всем знаниям для всех», оказалась в числе пострадавших от этого кризиса. В её распоряжении находится хранилище объёмом около 210 Пбайт, а сервис Wayback Machine ежедневно требует ещё 100 Тбайт. Руководители проекта признают, что бум искусственного интеллекта превратил их инициативу в «проблему, отнимающую у нас время и деньги». Для этих целей идеально подходят жёсткие диски на 28–30 Тбайт, однако они либо отсутствуют на складах, либо продаются по чрезмерно завышенным ценам. Частично смягчить эти трудности помогают спонсоры проекта и сообщество — последнее, правда, ограничивается лишь советами.
Некоммерческий фонд Wikimedia, отвечающий за «Википедию», сталкивается с серьёзными вызовами: 65 млн статей на платформе требуют огромных ресурсов и, что особенно важно, тщательно продуманного распределения бюджета, а текущая ситуация лишь обострила эту проблему. Организация ощутила кризис при «закупке памяти и жёстких дисков, а также в отношении сроков поставки серверов и нашей способности размещать будущие заказы».
Дополнительная трудность заключается в усложнении механизмов архивирования информации. Крупные языковые модели ИИ обучаются на гигантских массивах данных, которые порой добываются нелегально — из-за этого владельцы многих сайтов блокируют доступ для средств сбора данных, не делая различий между ИИ-ботами и добросовестными сервисами, собирающими информацию в образовательных целях. Из-за таких блокировок и роста цен на носители не только крупные некоммерческие организации, но и отдельные энтузиасты вынуждены либо сокращать масштабы своей деятельности, либо вовсе её приостанавливать — в ожидании стабилизации ситуации.
