Аналитика

До последнего байта: как российский CDN Curator обеспечивает скорость, безопасность и гибкость управления

Ранее в статье «Curator – и пусть DDoS подождет» мы уже знакомили вас с российской платформой в сфере информационной безопасности Curator и продуктами, построенными на её базе. Теперь мы хотели бы подробнее рассмотреть одно из этих решений — сеть доставки контента (Content Delivery Network, CDN). Почему именно его? Все мы понимаем, что скорость загрузки материалов и их постоянная доступность стали, пожалуй, ключевыми критериями качества для любого современного сервиса. Пользователь, который видит серые прямоугольники вместо изображений или сталкивается с задержками при просмотре видео, с высокой вероятностью покинет страницу и перейдёт к конкурентам. Именно поэтому CDN превратились из приятного бонуса в обязательный компонент инфраструктуры любого крупного цифрового проекта. Российская компания Curator, специализирующаяся на ИБ, предлагает собственное CDN-решение, которое выделяется на отечественном рынке не только высокой производительностью, но и тем, что с самого начала разрабатывалось как элемент защищённой экосистемы. Давайте разберёмся, как это работает и почему такая архитектура имеет значение для бизнеса.

Зачем компаниям нужна сеть доставки контента

Идея CDN на первый взгляд выглядит несложной: вместо того чтобы все пользователи загружали тяжёлые данные — изображения, видео, статику — напрямую с серверов организации, эти файлы размещаются как можно ближе к конечным пользователям в географически распределённых точках и сохраняются там в кеше. Однако за этой простотой скрывается множество преимуществ.

 Плотность распределения запросов к CDN по миру (по IP/Geo пользователей)

Плотность распределения запросов к CDN по миру (по IP/Geo пользователей)

Во-первых, это снижает нагрузку на серверы клиента. Собственная инфраструктура поставщика контента может сосредоточиться на действительно критически важных задачах — обработке бизнес-логики, транзакций и динамических элементов. Всю работу по быстрой раздаче изображений, видео и прямых эфиров берёт на себя мощная географически распределённая сеть, чья пропускная способность значительно превышает возможности типовой инфраструктуры заказчика.

Помимо простого хранения данных, CDN выполняет множество задач по их оптимизации: сжатие и преобразование изображений, адаптация форматов под различные браузеры и устройства, а также обработка медиафайлов. Эта сеть взаимодействует с клиентскими приложениями — будь то нативные мобильные программы или фронтенд сайта — чтобы значительно улучшить взаимодействие с пользователем. В результате изображения загружаются быстрее, одновременно и в нужных форматах.

Кроме того, географическая распределённость и репликация контента в разных узлах гарантируют высокую отказоустойчивость — качество, которое собственная инфраструктура создателя контента часто не может обеспечить. Curator подкрепляет это конкретными обязательствами в рамках SLA.

Ключевое архитектурное отличие: двухуровневая защита

Хотя большинство CDN-провайдеров выполняют схожие функции, главное отличие Curator CDN кроется в его архитектуре. Это не просто один уровень географически распределённых серверов, а два взаимосвязанных уровня. Вокруг основной платформы Curator, отвечающей за защитные меры — фильтрацию DDoS-трафика, блокировку ботов и обеспечение отказоустойчивости в самых сложных условиях, — построена сеть доставки контента в качестве внешнего уровня.

 Схема работы Curator CDN

Схема работы Curator CDN

Как это работает на практике? Когда трафик поступает на кеширующие серверы CDN в одном из российских городов, контент передаётся пользователю напрямую, если он уже есть в кеше. Если же контента в кеше нет и требуется обратиться к серверу-источнику заказчика (origin), запрос обязательно проходит через фильтрующую платформу Curator. Это обеспечивает двойную защиту сервера-источника. У других поставщиков такие функции обычно предлагаются как отдельные продукты, тогда как у Curator это встроенное архитектурное свойство сети.

 Настройка кеширования

Настройка кеширования

Почему это настолько важно? Суть в том, что существует обширная категория DDoS-атак, которые не нацелены напрямую на сервер, а используют CDN в качестве канала распространения и усиления атаки. Когда крупные клиенты активно закрывают свои очевидные точки входа с помощью защитных решений, злоумышленники начинают искать другие пути доставки вредоносного трафика — и CDN становится одной из таких целей. Curator защищает исходный сервер как от атак, использующих инфраструктуру CDN, так и от тех, где злоумышленник пытается маскироваться под CDN-сеть для отправки вредоносного трафика.

Эволюция ботов и методы их обработки

С массовым внедрением ИИ в нашу повседневную жизнь характер бот-трафика также претерпел значительные изменения. Если раньше боты в основном интересовались логинами, паролями и операциями с корзиной в розничных ресурсах — то есть API и динамическими данными, — то теперь активно собирается и медиаконтент: изображения, фотографии в социальных сетях, видео на различных платформах. Многие ресурсы внедряют антибот-защиту и для этих типов контента, и иногда пользователь с нестандартным браузером сталкивается с подозрениями и дополнительными проверками.

Подход Curator основан на одном главном критерии: существует ли риск того, что трафик нанесет вред клиенту. Если такого риска нет — нет аномального объема трафика, нет опасных запросов — блокировка крайне маловероятна. При этом CDN-сеть Curator, помимо соединения с фильтрующей платформой, имеет собственные алгоритмы защиты, что позволяет применять несколько уровней анализа трафика и защитных правил для каждого конкретного клиента.

Производительность: объективные метрики лидерства

Компания Curator участвует в проекте по измерению доступности российских облачных сетей совместно с компанией «Детектор-404», публичные данные доступны на ресурсе cdnmon.net. Согласно этим данным, сеть Curator на протяжении длительного времени демонстрирует самое быстрое время отклика и самую высокую скорость загрузки контента среди крупнейших российских CDN-провайдеров. Для большинства типов медиа эти показатели критически важны — особенно для видео, стримингов и прямых трансляций. Это достигается за счет оптимизации программного обеспечения, стратегического размещения серверов и их количества.

 Лидеры по скорости скачивания по версии CDNMon

Лидеры по скорости скачивания по версии CDNMon

География: путь, который другие проходили десять лет

На сегодняшний день Curator — это провайдер, обладающий самым широким охватом по городам и регионам Российской Федерации. Сеть включает все города-миллионники страны, а также менее густонаселённые, но стратегически важные территории — Дальний Восток, Восточную Сибирь и Северный Кавказ. В общей сложности это около 27 локаций в России, причём в ряде населённых пунктов одновременно функционируют несколько площадок: Калининград, Мурманск, Симферополь, Москва, Воронеж, Ростов-на-Дону, Краснодар, Нижний Новгород, Казань, Волгоград, Самара, Махачкала, Пермь, Уфа, Екатеринбург, Челябинск, Тюмень, Омск, Новосибирск, Красноярск, Иркутск, Якутск, Хабаровск, Владивосток.

 Точки присутствия Curator CDN

Точки присутствия Curator CDN

Особого внимания заслуживает тот факт, что путь, на который у других сетей уходило семь, восемь или даже десять лет, Curator преодолел менее чем за два года. Сейчас задача географического расширения внутри России в основном выполнена, и команда сосредотачивается на увеличении пропускной способности и объёма дискового кеша в крупных городах-миллионниках. Это необходимо, чтобы крупные клиенты могли передавать больше контента, сохраняя при этом лидирующие показатели скорости загрузки.

Помимо России, Curator располагает кластером локаций в городах СНГ. Точки присутствия открыты в Минске, Ереване, Ташкенте, Бишкеке и Алматы. Через эти точки кешируется, в том числе, трафик российских ресурсов, обслуживающих русскоязычную аудиторию за пределами РФ. Архитектура сети обеспечивает локализацию трафика и минимизацию трансграничных переходов, что особенно важно в свете обсуждений регулирования трансграничного трафика.

Удобный личный кабинет и гибкая модель доступа

Эффективная CDN должна не только быстро доставлять контент, но и предоставлять заказчику удобные инструменты для управления и отчётности. Curator подходит к этому с разных сторон, предлагая несколько способов взаимодействия с системой.

 Детализированная сводка в личном кабинете

Детализированная сводка в личном кабинете

В первую очередь, разумеется, речь идёт о веб-интерфейсе — классическом личном кабинете, где можно настраивать услуги и просматривать отчёты. Сейчас он переживает масштабное обновление, нацеленное на улучшение визуального оформления без потери функциональных возможностей. Исторически сложилось, что Curator, будучи инженерной компанией, отдавал приоритет функциональности перед дизайном, однако теперь компания активно стремится к более современному внешнему виду.

Стоит подчеркнуть, что CDN-продукт входит в состав единой платформы Curator. Все сервисы компании — защита от DDoS-атак, антибот-система, межсетевой экран для веб-приложений и CDN — доступны через единый интерфейс с возможностью быстрого переключения между ними. Это особенно удобно для администраторов, одновременно работающих с несколькими сервисами. Реализована гибкая система ролей: одни сотрудники могут видеть только финансовые и административные данные, другие — технические графики и параметры, третьи — лишь систему обращений в техподдержку. Аналогичные гибкие настройки действуют и при взаимодействии со службой поддержки.

 Настройка Origins

Настройка Origins

API как экспериментальная площадка и средство автоматизации

Многие крупные клиенты взаимодействуют с системой Curator не через панель управления, а через программный интерфейс. Разработчики Curator нередко шутят, что некоторые пользователи заходят в личный кабинет лишь для обновления реквизитов и скачивания счетов, тогда как все остальные операции выполняются через API-запросы.

API Curator является базовой архитектурой для всей платформы. Для CDN создан отдельный продуктовый раздел, включающий методы управления кешированием, доставкой контента и дополнительными операциями. Доступ к этим методам настраивается с помощью токенов с точностью до конкретного действия. Это даёт возможность, например, инженеру, отвечающему за анализ статистики, иметь доступ только к методам выгрузки данных, но не к управлению системой.

API функционирует на основе широко распространённого протокола JSON-RPC, что значительно облегчает его интеграцию с внешними системами — SIEM, DLP и инструментами DevOps. Рассмотрим стандартную ситуацию. Крупный маркетплейс запускает новую категорию товаров. Через API на CDN моментально загружаются тысячи изображений и видеороликов, активируется предварительная загрузка (прогрев кэша), а также задаются параметры сжатия и преобразования графики. Все эти действия выполняются синхронно с релизом на стороне клиента, поэтому приложение пользователя сразу отображает обновлённый ассортимент в каталоге без какого-либо снижения производительности.

 Просмотр сертификатов

Просмотр сертификатов

Примечательно, что в линейке Curator API для CDN является относительно новым направлением: оно было запущено осенью 2024 года. Однако клиенты сразу же начали активно применять его, и теперь обновления выпускаются каждые две недели.

Инфраструктура как код через Terraform Provider

Концепция «Инфраструктура как код» (IaaC) сегодня — это уже не фантастика, а проверенная практика, которая прочно укоренилась в процессах крупных организаций. Некоторые клиенты прямо ставили Curator условие: «Если вы создадите Terraform-конфигурацию для нашей CDN-инфраструктуры — мы начнём сотрудничество, если нет — разговора не будет». В 2024 году у Curator появился собственный Terraform-провайдер с модулем настройки CDN, который органично связан с API. Все функции, доступные через программный интерфейс, теперь можно настраивать с помощью Terraform.

Здесь кроется интересная особенность процесса разработки в Curator. API выступает в роли экспериментальной площадки: все новые идеи и пожелания сначала воплощаются именно в нём, продумывается их реализация в конфигурации Terraform, и только после успешного тестирования на реальных примерах функционал переносится в веб-интерфейс. Таким образом, в веб-интерфейс попадают только проверенные и стабильные возможности.

Прозрачность через real-time логирование

Это одна из самых необычных функций Curator CDN, которая существенно выделяет компанию среди конкурентов. Большинство провайдеров доставки контента предоставляют те или иные способы просмотра логов: одни отображают логи запросов прямо на панели управления, другие позволяют скачать архив за прошедшие сутки. Curator действует иначе.

Продукт интеграции логирования ориентирован на корпоративных клиентов, имеющих собственную инфраструктуру для обработки системной информации — SIEM, Security Operations Center (SOC). Для крупного заказчика типичная нагрузка на CDN составляет несколько сотен миллионов легитимных пользовательских запросов в сутки, а иногда и миллиарды. Проводить содержательный анализ такого объёма данных через панель управления просто невозможно.

Curator применяет инструмент Vector, который собирает логи со всех серверов CDN (напомним, это десятки устройств, 27 локаций только в пределах России) и передаёт поток данных в инфраструктуру клиента по защищённому каналу в режиме реального времени. Затем заказчик формирует собственную аналитику, задаёт обоснованные вопросы о качестве сервиса и расследует инциденты. Именно такая прозрачность является основой стратегии Curator. В будущем в личном кабинете появится функция просмотра небольших фрагментов логов прямо в интерфейсе — для оперативной отладки, что станет особенно удобно для малых клиентов.

Расширение: от стремительного выхода в регионы к системе шилдирования

Способность оперативно и эффективно наращивать масштабы — одно из главных преимуществ Curator CDN. Именно растущие запросы клиентов во многом определили темпы развития сети, которые компания показала за последние два года.

На начальном этапе расширение подразумевало возможность за несколько дней или недель установить новый узел доставки контента, подключить его к основной сети, обеспечить требуемый уровень доступности и безопасности и начать обрабатывать трафик. В некоторые города Curator приходил вместе с клиентами — и это себя оправдало: качество связи для пользователей в регионе улучшилось, нагрузка на другие перегруженные серверы снизилась, а балансировка стала эффективнее.

Сейчас, когда географическое присутствие в России в основном завершено, задачи масштабирования изменились. Curator создал многоуровневую систему кеширования на основе схемы шилдирования. Существуют мощные shield-серверы, которые выполняют роль региональных «хранилищ контента» — они напрямую взаимодействуют с источником заказчика и содержат большие объёмы дискового кеша. А также есть edge-серверы (граничные), расположенные ближе к конечным пользователям, на «последней миле». Такая архитектура позволяет быстро увеличивать ёмкость для крупного клиента: если на shield-серверах есть запас производительности, нагрузка на пограничные узлы растёт медленнее, и иногда достаточно нарастить мощности только в городах-миллионниках, которые служат промежуточными точками перекладки.

Время оптимизации: уже нельзя просто «добавлять железо»

Эра, когда любую проблему с производительностью можно было решить покупкой ещё сотни серверов, закончилась. Сегодня это часто экономически невыгодно, технически сложно из-за нехватки комплектующих, а иногда и вовсе невозможно — в нужном городе может не быть свободных стоек в дата-центрах, и расширение там не произойдёт до постройки нового ЦОД через несколько лет.

В то же время нагрузка от пользователей постоянно возрастает: мы потребляем всё больше контента и в более высоком качестве. Если когда-то пределом мечтаний было разрешение FullHD, то сейчас 4K уже никого не удивляет. Эту задачу можно решить только с помощью глубокой оптимизации — выбора подходящего программного обеспечения, снижения издержек и внедрения нестандартных инженерных подходов. Curator с самого начала закладывал высокую производительность на существующем оборудовании в архитектуру сети, и именно это позволяет сети оставаться в числе лидеров. Модернизация серверов — процесс неизбежный, но без соответствующей инженерной базы он сам по себе не становится ключевым фактором. Побеждает тот, кто умеет выжать максимум из того, что уже есть.

Защита от атак: «сэндвич» из двух уровней

Ранее мы уже упоминали, что CDN-сети являются привлекательной целью для атак. Расскажем подробнее, как защищена Curator CDN. Злоумышленники, атакующие CDN, обычно преследуют одну из двух целей. Первая — испортить пользователям жертвы впечатление: сайт открывается, но изображения не загружаются, одни серые квадраты, видео тормозит. Формально сервис работает, но пользоваться им невозможно — не на что смотреть, нечего покупать, нечего комментировать. Вторая цель — «атака на кошелёк»: заставить заказчика платить CDN-провайдеру в два, три, пять, десять раз больше обычного тарифа из-за искусственно созданного объёма трафика. В мире известны случаи, когда автоматизированный биллинг радостно выставлял счёт на десятки тысяч долларов вместо привычных пары тысяч.

 Просмотр сертификатов

Политики для URL-запросов

Curator проектировал свою архитектуру с учётом этих угроз. На пограничных узлах CDN работают те же программные компоненты, что и в анти-DDoS-системе Curator на основной платформе. Они анализируют трафик в реальном времени, отслеживают всплески подозрительных запросов и необычное поведение пользователей. Это первый уровень: первичные угрозы отсекаются прямо на CDN. Если же злоумышленник попытается обойти CDN и обратиться напрямую к серверу-источнику, его встретит второй уровень — антифрод-сеть Curator, миновать которую и попасть на origin практически невозможно. Получается «сэндвич»: трафик анализируется на нескольких уровнях, и более хитрый злоумышленник, пытаясь обойти первый уровень, неизбежно сталкивается со вторым.

Прозрачная тарификация без скрытых сюрпризов

Метод ценообразования Curator кардинально отличается от подхода многих других игроков рынка благодаря своей открытости. Клиент платит только за объем данных, переданных конечным пользователям с CDN-серверов. Трафик к серверу-источнику не тарифицируется, за канальную емкость или пропускную способность плата не взимается, а в тарифах нет скрытых ограничений на количество запросов или обработку изображений.

Это исключает вероятность того, что заказчик столкнется с неожиданными расходами из-за превышения ожидаемого объема трафика. Все возможности CDN — работа с интерфейсами, доступ к API, поддержка Terraform, логирование в реальном времени — уже включены в базовую стоимость. Независимо от масштаба клиента, эти функции активируются сразу. Такая философия встроена в саму платформу Curator и применяется во всех ее сервисах.

Внедрения: от букмекерских компаний до банков и маркетплейсов

Одним из первых проектов Curator CDN стало партнерство с ведущим российским букмекерским сервисом, ориентированным на ставки на спортивные события. В период чемпионата мира по футболу 2024 года Curator обеспечивал передачу петабайтов трафика пользователям в различных регионах и городах России. Именно в этом проекте впервые были опробованы технологические инновации, которые теперь применяются повсеместно — например, сверхскоростной кеш в оперативной памяти серверов для прямых видеотрансляций. Хранение потоков непосредственно в RAM и их передача с задержкой всего в несколько миллисекунд позволяют зрителям наблюдать за событиями почти в реальном времени, без лишних секунд ожидания. Из этого опыта родилось множество инженерных решений, ставших основой для быстрого масштабирования и системы управления.

Сейчас в числе клиентов Curator — лидеры финансового и банковского секторов, крупные банковские группы, известные российские ритейл-сервисы и один из популярнейших маркетплейсов. Активно растет спрос со стороны образовательных платформ и онлайн-кинотеатров, причем некоторые из них развиваются столь стремительно, что приобретают федеральный масштаб буквально за несколько кварталов. Для всех этих категорий заказчиков минимальная задержка и высокая производительность имеют решающее значение: пользователь, столкнувшийся с торможением при просмотре фильма, с высокой вероятностью перейдет к конкуренту.

Аппаратная унификация и хранение контента

И в завершение хочется обсудить методы хранения и защиты медиаконтента, применяемые в Curator CDN. В 2024 году, когда продукт только запускался, серверы Curator имели самые разные характеристики. Позже компания целенаправленно провела унификацию: изучила, какая конфигурация наиболее эффективна с точки зрения кеш-архитектуры и аппаратной части, и остановилась на едином решении. Сегодня edge-серверы имеют одинаковые спецификации, а shield-серверы оснащены отдельной, более производительной конфигурацией — но и здесь соблюдается общая логика. Унификация значительно упрощает администрирование, обновления, управление патчами в вопросах безопасности и, что особенно важно, быстрое масштабирование: с разнородным «зоопарком» оборудования невозможно расти оперативно.

Основной медиаконтент, который распространяет CDN — изображения, видео, статические файлы — по своей сути является публичным. Это данные, которыми заказчик стремится поделиться с максимально широкой аудиторией. Шифрованию на серверах подлежат лишь те данные, которые требуют этого по закону — учётные записи, сертификаты. Даже сотрудники компании не имеют к ним доступа.

Поделиться:

0 Комментариев

Оставить комментарий

Обязательные поля помечены *
Ваш комментарий *
Категории
Популярные новости