Применение ИИ в MDM: современные методы стандартизации справочной информации
Платформа управления мастер-данными (Master Data Management) служит важнейшим элементом инфраструктуры больших организаций, гарантируя достоверность ключевых данных, улучшение бизнес-процедур и минимизацию операционных угроз благодаря централизованному контролю над основными корпоративными сведениями. Чтобы повысить продуктивность MDM-системы и уменьшить объем ручных операций для пользователей и специалистов, активно используются технологии искусственного интеллекта. В частности, компания «БФТ-Холдинг» расширила функционал своего программного решения «БФТ.ЕНСИ» умным сервисом AI MasterData, автоматизирующим процедуру стандартизации НСИ. О том, каких результатов позволяет достичь интеграция этих инструментов, рассказывает Максим Зацепин, руководитель департамента систем управления данными «БФТ-Холдинга».
Роль процедуры стандартизации в системе управления мастер-данными
Программный комплекс для управления мастер-данными «БФТ.ЕНСИ» представляет собой развитое решение, которое соответствует всем актуальным стандартам рынка систем этого типа и автоматизирует полный цикл работы с информацией. К примеру, для сбора и консолидации данных в платформу встроен ETL-модуль, а для их проверки и стандартизации предусмотрен целый арсенал гибко настраиваемых low-code-инструментов. Построение и поддержка справочников материально-технических ресурсов (МТР) базируется на сложных иерархических классификаторах. Также реализованы специализированные инструменты для совместной работы с данными, управления доступом, внесения правок в справочники, контроля версий, поиска информации, формирования отчетов и других бизнес-процессов. Для пополнения и обогащения данных «БФТ.ЕНСИ» способна подключаться к самым разным внутренним и внешним источникам, включая общедоступные общероссийские классификаторы и справочные системы.
Чтобы справочник МТР эффективно использовался всеми отделами предприятия, содержащиеся в нём позиции должны быть нормализованы — то есть приведены к единому стандартному формату, очищены от ошибок и неточностей, полностью описаны и лишены дублирования. Процесс нормализации выполняют специалисты, ответственные за корректное ведение справочников, по определённому алгоритму. Сначала сотрудник добавляет ненормализованную запись, заполняя соответствующую форму в интерфейсе MDM-платформы или импортируя информацию из внешнего источника (например, файла Excel, закупочной или ERP-системы). Затем он исправляет возможные орфографические и синтаксические ошибки в описании и выполняет классификацию записи МТР, опираясь на свой опыт, знания, а также на классификацию аналогичных позиций. После этого, в соответствии с выбранной категорией, уточняются технические характеристики МТР, которые представлены в параметрическом описании записи. Если этих характеристик недостаточно для формирования исчерпывающего описания карточки МТР, сотруднику приходится искать необходимые сведения в каталогах производителей и прочих источниках. Заполнив карточку записи МТР, сотрудник создаёт список стандартизированных наименований и при необходимости дополняет объект кодами ОКПД 2 и других классификаторов.
Очевидно, что ручная нормализация каждой записи МТР — это сложная и ресурсоёмкая задача, особенно при больших объёмах данных. Согласно нашей статистике, обработка 100 тысяч записей может занимать до 15 месяцев.
В нашем продукте «БФТ.ЕНСИ» мы добились значительного сокращения этих временных затрат благодаря применению специализированного сервиса AI MasterData. Этот инструмент, созданный на базе GPT/LLM и других технологий искусственного интеллекта компанией НОРБИТ — технологическим партнером БФТ-Холдинга, — позволяет провести нормализацию аналогичного объема данных всего за 30 дней, сводя к минимуму необходимость ручного труда.
Как функционирует сервис AI MasterData
Работа с AI MasterData укладывается в три основных шага: ненормализованная позиция вносится в систему «БФТ.ЕНСИ», затем отправляется в сервис для нормализации и после обработки возвращается в виде параметризованной записи в MDM-справочник. Последующая обработка и согласование записей могут выполняться автоматически или с привлечением эксперта для проверки отдельных значений атрибутов.
Стоит подчеркнуть, что сервис AI MasterData, будучи партнерской разработкой, тем не менее полностью встроен в состав «БФТ.ЕНСИ» и становится доступным сразу после запуска MDM-платформы.
В своей работе AI MasterData сочетает классические алгоритмические подходы с современными методами машинного обучения и генеративного ИИ. К его ключевым функциям относятся:
- классификация данных НСИ согласно внутренним корпоративным справочникам и общегосударственным классификаторам,
- автоматическое построение иерархии категорий и набора атрибутов,
- коррекция орфографических и синтаксических неточностей,
- поиск схожих позиций,
- обнаружение и устранение повторяющихся записей (дедупликация),
- извлечение значений характеристик,
- дополнение атрибутов информацией из внешних источников,
- формирование унифицированного названия,
- панели мониторинга для контроля качества данных.
Рассмотрим на стандартном примере, какие стадии проходит каждая запись в процессе нормализации.
Начальная стадия — предварительная обработка. Система проверяет входящую запись по существующим справочникам и может сигнализировать о возможном дубликате. При необходимости она также расшифровывает сокращения (например, заменяет «подшип.» на «подшипник»), исправляет опечатки, приводит к стандарту аббревиатуры и единицы измерения, удаляет лишние символы (вроде двойных пробелов) и выполняет прочие операции по улучшению качества исходных данных.
Следующая стадия — отнесение к категории. Система анализирует запись, выявляя атрибуты, которые позволяют отнести ее к определенной категории справочника. Это могут быть, к примеру, наименование товара, производитель или артикул, схожий с уже известными системе. Помимо определения основной категории, сервис предлагает альтернативные варианты на случай, если основной выбор окажется некорректным.
Третья, промежуточная стадия — так называемый Guardrail (контрольный барьер). На этом этапе система решает, можно ли продолжить автоматическую обработку записи, или ее необходимо направить на проверку специалисту.
Четвертый шаг — параметризация, то есть выделение из описания дополнительных свойств в рамках заданной категории. Этот этап включает два основных компонента. Сначала система стремится получить атрибуты напрямую из текста записи: понимая, какой объект описан, она может выявить, скажем, бренд производителя, модель, а также различные числовые параметры (размеры, площадь поперечного сечения и другие). Однако часто этой информации недостаточно. Поэтому сервис предусматривает процедуру дополнения записи сведениями из внешних ресурсов: например, онлайн-каталогов производителей или поставщиков, технической документации в электронном виде. Кроме того, могут использоваться заранее загруженные в систему базы знаний.
Пятый шаг — финальная обработка. Система решает, требуется ли привлечение эксперта для окончательной верификации записи или её можно направлять в MDM. Также применяются специальные инструменты — проверки, которые помогают обнаружить аномальные характеристики, нехарактерные для объекта данной категории: к примеру, если в описании болта указана длина в километрах. Подобные ситуации также нуждаются в ручном контроле. Для этого в сервисе предусмотрен удобный интерфейс для администратора.
Эффективность применения интеллектуального сервиса нормализации в MDM
Учитывая растущие объемы данных, которые обрабатываются различными подразделениями крупных организаций, даже при использовании MDM-систем их справочники НСИ далеко не всегда находятся в идеальном состоянии. Расхождение между реальным объектом и его описанием, отсутствие в записи материально-технических ресурсов ключевых атрибутов, некорректные единицы измерения — всё это ведет к многочисленным ошибкам, снижающим эффективность бизнес-процессов и создающим финансовые и репутационные угрозы. Среди наиболее распространенных трудностей — сложности с поиском нужных МТР, невозможность подбора аналогов, избыточные закупки.
Результативность применения интеллектуального сервиса нормализации НСИ во многом определяется подходом к управлению справочником МТР в MDM-системе. Современные MDM-системы предлагают широкий спектр инструментов для систематизированного ведения справочника МТР. В «БФТ.ЕНСИ» реализованы следующие возможности:
- Классификатор МТР формализует описание свойств и характеристик объектов и включает иерархическую структуру (классы МТР) и фасетную часть — набор технических параметров МТР с допустимыми значениями. Это позволяет на нижнем уровне привязывать шаблоны описания базовых классов, а также задавать формулы для автоматического создания наименований записей МТР;
- Шаблон описания базового класса — это инструмент для формирования перечня технических характеристик (атрибутов) базового класса, необходимых правил проверки и областей допустимых значений;
- Справочник МТР — это база записей материально-технических ресурсов, где проводится их классификация и нормализация, а также указываются значения технических характеристик, определённых классом МТР;
- Мастер-классификатор — инструмент, который в едином интерфейсе отображает дерево классификатора МТР, связанные с узлом классификатора записи справочника МТР и их технические характеристики, а также обеспечивает работу с мастер-данными справочника МТР.
Для обеспечения высокого качества данных в справочнике МТР в «БФТ.ЕНСИ» применяются инструменты управления данными (первоначальное заполнение и согласованное внесение правок), ручного и автоматического контроля дубликатов, проверки и валидации данных, а также обогащения информации через интеграцию с внешними источниками.
Процесс нормализации МТР в «БФТ.ЕНСИ» с использованием AI MasterData на практике реализуется следующим образом. Обычно в «БФТ.ЕНСИ» загружается файл Excel, содержащий ненормализованные названия записей МТР. Эти данные система передаёт в AI MasterData, где выполняется категоризация, извлечение атрибутов и формирование необходимого набора характеристик, а также обогащение данных. Специалист, работающий с MDM-системой, получает уже параметрически описанную запись в справочнике МТР, для которой «БФТ.ЕНСИ» автоматически генерирует полное и краткое наименование согласно предустановленному шаблону. Эксперту остаётся лишь при необходимости проверить эти данные и утвердить изменения в справочнике МТР. Если степень достоверности значений атрибутов, сформированных AI MasterData, не ниже порогового уровня, задаваемого администратором системы, такие записи справочника МТР утверждаются автоматически.
Сочетание системного подхода к ведению справочника МТР и интеллектуального сервиса нормализации НСИ с AI MasterData значительно повышает качество нормативно-справочной информации, что, в свою очередь, оптимизирует операционную деятельность компаний. Согласно статистике БФТ-Холдинга, полученной в ходе внедренческих проектов, в среднем это приводит к
- уменьшению трудовых затрат на управление нормативно-справочной информацией — на 18%,
- снижению цен закупки благодаря замещению потребностей аналогами — на 15%,
- сокращению убытков за счет улучшения качества данных и повышения точности вычислений, отчётов и аналитики — на 12%,
- уменьшению неликвидных запасов благодаря достоверным сведениям об объёмах на складах и сроках годности товаров — на 15%,
- сокращению среднего времени выполнения цикла от запроса до закупки материально-технических ресурсов — на 10%,
- снижению расходов на поддержание полноты и достоверности данных — на 90%.
Располагая экономическими показателями определённой организации, можно точнее оценить преимущества, которые даёт стандартизация НСИ с применением решений «БФТ.ЕНСИ» и AI MasterData. Кроме того, надёжные основные данные и справочники в MDM-системе служат фундаментом для последующего масштабирования и цифровизации бизнеса, укрепления его стабильности и конкурентоспособности, а также для корректного функционирования связанных корпоративных систем.
■ Рекламаerid:2W5zFGNPLdEРекламодатель: ООО "БФТ"ИНН/ОГРН: ИНН 7706673610 / ОГРН 1077762072497Сайт: https://bft.ru
