Поделиться
Какие инструменты нужны для автоматизации обработки терабайтов данных в государственных структурах
Центр экологической промышленной политики (ЦЭПП), являющийся подведомственной организацией Минпромторга России, накопил огромные объёмы данных о промышленных предприятиях страны — речь идёт о терабайтах информации. Однако по мере роста объёмов ручная обработка стала серьёзным ограничением: на подготовку одного аналитического отчёта уходило несколько дней, а из-за ошибок в разрозненных файлах страдала достоверность итоговых выводов. Внедрение платформы Modus (ETL + BI) позволило автоматизировать весь процесс работы с данными — от их инженерии до визуализации — и сократить время подготовки отчётов с трёх дней до трёх часов.
Ситуация до внедрения
Первым шагом на пути к упорядочиванию стала собственная разработка — «Единый информационный ресурс» (ЕИР), предназначенный для сбора и систематизации накопленного массива данных. Однако хранение информации и её анализ — это совершенно разные задачи. Традиционный ручной подход превратился в узкое место из-за стремительного роста объёмов данных. В результате подготовка отчётов затягивалась на дни, а из-за расхождений в цифрах в разных файлах и частых ошибок качество управленческой аналитики снижалось. Примерно 20% архивных Excel-файлов имели нестандартные форматы, что требовало ручной проверки.
Почему выбрали Modus
В рамках курса на импортозамещение ЦЭПП искал российское решение, которое охватывало бы весь цикл работы с данными — от инженерии до визуализации. Выбор был сделан в пользу решений Modus (Modus ETL и Modus BI) по четырём ключевым критериям:
Цели и задачи
Основная задача заключалась в построении полного цикла работы с данными: от инженерии и очистки до визуализации и предоставления доступа пользователям. В более конкретном выражении это подразумевало:
- нормализацию и очистку данных, удаление дубликатов и исправление ошибок форматирования;
- разработку корпоративного дата-хранилища и его последующее обслуживание;
- создание автоматизированного ETL-конвейера — как по графику, так и в реальном времени;
- верификацию качества данных: их целостность и согласованность;
- стыковку с BI-системой и формирование данных для аналитических потребностей.
Как проходило внедрение
Реализация проекта заняла три фазы и завершилась за 8 месяцев.
Роль Modus ETL
Modus ETL взял на себя сбор данных из различных источников, включая нестандартные Excel-архивы, их преобразование по стандартам качества и загрузку в хранилище:
- Работа с проблемными архивами: для 20% файлов, имевших необычные форматы, были написаны отдельные скрипты миграции — ни одна запись не была утеряна при переносе.
- Автоматизированный конвейер: запуск по расписанию и в реальном времени — данные обновляются без вмешательства аналитиков.
- Контроль качества данных: встроенная проверка целостности и согласованности каждой загрузки — именно это уменьшило число ошибок в данных на 90%.
- Безопасность: ролевая модель доступа и обработка обезличенных агрегированных данных реализованы в соответствии с требованиями законодательства о конфиденциальности.
Роль Modus BI
Modus BI был интегрирован с хранилищем на третьем этапе и предоставил визуальный аналитический слой для трёх направлений работы ЦЭПП. Гибкость платформы позволила оперативно настроить её под особенности учреждения. Результат — 50 дашбордов с единой ролевой моделью доступа и возможностью работы из любого региона страны.
Результаты
ETL-конвейер исключил ручной труд из обработки данных — время цикла сократилось с нескольких дней до минут. За этим последовали системные улучшения во всех направлениях:
Побочный, но значимый эффект: внедрение открыло новые возможности для деятельности. «Ситуационный центр промышленности» появился именно благодаря тому, что данные стали доступны в реальном времени — и сразу возникла потребность в оперативном мониторинге.
Как система работает сегодня
На платформе внедрены ролевая модель доступа и работа с обезличенными и агрегированными данными — в соответствии с требованиями законодательства о конфиденциальности. Сегодня система охватывает большинство ключевых направлений института:
Цифры и НДТ: 25 информационных панелей для отслеживания показателей технических справочников и построения прогнозов.
Оперативный центр промышленности: 15 дашбордов для анализа данных в режиме реального времени. Руководители и специалисты мгновенно видят актуальную ситуацию, не обращаясь в отдел аналитики.
Координационный штаб КЭР: 10 панелей для экспертной оценки в рамках межведомственного сотрудничества по комплексным экологическим разрешениям. Доступ открыт круглосуточно из любого региона страны.
■ Рекламаerid:2W5zFK8YHrZРекламодатель: ООО «БиАй Про»ИНН/ОГРН: ИНН 7725495427 / ОГРН 1187746698204Сайт: https://modusbi.ru
Короткая ссылка
