Одно из первых решений на рынке, которое боролось с троллингом в Сети, было представлено еще в 2012 году сервисом по удалению спама Imperium. Годом позже британская компания SMC4 анонсировала выход приложения SMC4 Lite, предназначавшегося в основном для знаменитостей, которые хотели оградить себя от хейтеров в Twitter. Приложение блокировало оскорбительные фразы, связанные с сексизмом, расизмом и ненормативной лексикой. А в 2017-м "дочка" Google Jigsaw объявила войну троллингу, представив в свободный доступ часть кода, который команда в течение года разрабатывала для противодействия харассменту в Сети. Сейчас у многих крупных интернет-площадок есть свой софт, помогающий бороться с троллингом.
В целом технологии сводятся к тому, чтобы научить компьютер различать нормальное поведение пользователя и отклонения от нормы, которые способны нанести моральный вред собеседнику. "Так или иначе все успешные решения основаны на системах искусственного интеллекта (ИИ) и машинном обучении. На первоначальном этапе система благодаря помощи лингвистов обучается словам и комбинациям слов, которые чаще всего связаны с оскорблениями, затем учится вычленять их из сообщений. Самое сложное - обучить систему понимать контекст, чтобы не пропускать с виду невинные фразы, двусмысленно оскорбляющие человека, и, наоборот, не блокировать выражения, содержащие грубую лексику, но при этом не затрагивающие честь и достоинство собеседника, например, выражающие яркие положительные эмоции", - рассказал "РГ" управляющий партнер Marketing Logic Дмитрий Галкин. В основном как раз на такие случаи и приходятся те проценты "погрешности", которые система пропускает. И если грубые фразы можно отфильтровать полностью независимо от контекста, то двусмысленность - это то, что сегодня представляет наибольшую сложность для ИИ
Кроме непосредственной фильтрации сообщений алгоритмы против троллинга анализируют поведение пользователя, чтобы по первым сообщениям и поведению в Сети в целом определить, собирается ли он оскорбить кого-то в будущем. Технологии сейчас позволяют предсказывать такие шаги на 80 и более процентов. Вкупе с предиктивной аналитикой система фильтрации позволяет эффективно бороться с троллингом.