В Московском техническом университете связи и информатики (МТУСИ) под руководством доцента кафедры «Информационная безопасность» Александра Большакова создана интеллектуальная система, которая автоматически выявляет и останавливает кибербуллинг в соцсетях. Алгоритм применяет методы машинного обучения для обработки текстов и с высокой достоверностью идентифицирует враждебный контент. Об этом изданию CNews сообщили в пресс-службе вуза.
Кибербуллинг превратился в одну из ключевых опасностей интернет-среды. Пользуясь анонимностью соцсетей, злоумышленники направляют оскорбления и угрозы в адрес других людей, что способно причинить жертвам значительный психологический ущерб.
Обычные способы противодействия травле — такие как чёрные и белые списки недопустимых выражений — демонстрируют низкую эффективность. Они либо не замечают замаскированные оскорбления, либо помечают нейтральные высказывания, порождая множество ошибочных блокировок.
Специалисты МТУСИ внедрили кардинально иной метод: задействовать машинное обучение для оценки контекста и содержания сообщений вместо простого отсева по ключевым словам.
Система проходила обучение на массиве из 248,29 тыс. реальных комментариев из соцсетей, распределённых по четырём типам: Нейтральные сообщения, Оскорбления, Угрозы, Совмещённые оскорбления и угрозы.
Алгоритм освоил распознавание сложных моделей агрессивного поведения и может подстраиваться под новые виды кибербуллинга по мере поступления дополнительных данных.
Разработанное решение продемонстрировало высокую степень точности классификации: Нейтральный контент — 99%; Оскорбления — 84%; Угрозы — 75%; Совмещённые оскорбления и угрозы — 78%.
Это говорит о том, что система в состоянии обнаруживать и блокировать подавляющую часть эпизодов травли, практически не задевая безвредные сообщения.
Контекстуальный разбор: в отличие от примитивных фильтров, программа оценивает содержание и обстоятельства сообщения, что даёт возможность выявлять скрытые угрозы и оскорбления.
Самообучаемость: алгоритм совершенствуется при столкновении с новыми видами кибербуллинга, обновляя модель на основе свежей информации.
Минимум погрешностей: высокая точность распознавания сокращает число ложных тревог и не ущемляет права рядовых пользователей.
Сергей Дмитриевич Ерохин, ректор МТУСИ: «Кибербуллинг — это острая социальная проблема, затрагивающая миллионы людей, в первую очередь молодёжь. Наша разработка представляет собой действенный технологический инструмент для ограждения пользователей соцсетей от травли и враждебности. Это существенный этап в формировании защищённого цифрового пространства для российской аудитории».
Созданная система может быть внедрена в социальные сети и мессенджеры для автоматического контроля контента. Технология функционирует в реальном времени, определяя и блокируя агрессивные сообщения до их прочтения адресатом.
