Токсичность
В системе «Медиалогия SM» реализована автоматическая разметка сообщений по признаку «Токсичность» (помимо обычных категорий).
Общая информация
Определение токсичности производится при помощи специальной нейросети, которая обучается на большом массиве соответствующих данных.
Пример сообщения с признаком токсичности:
Токсичными считаются сообщения, содержащие в тексте:
- оскорбление — явные грубые или оскорбительные утверждения в адрес конкретного человека, компании или группы людей
- угрозу — присутствует угроза причинения вреда здоровью или имуществу другому человеку или, например, его семье
- дискриминация — негативные высказывания в адрес человека или группы людей, например, из-за их религиозных взглядов, пола, национальности
- мат/нецензурное — недовольство или оскорбление с упоминанием нецензурной лексики. Здесь мат (или заменяющие его, но идентичные по смыслу выражения) используется не просто для выражения эмоций (которые могли бы быть, например, позитивными), а именно как выражение негативного отношения
- грубое высказывание — ярко выраженное недовольство, но без цели лично кого-то оскорбить
- другое — высказывания, которые не попадают в другие категории, но которые также можно счесть грубыми или обидными, например, троллинг, неподтвержденные обвинения, косвенная, пассивная агрессия
Фильтрация списка по токсичности
При помощи блока фильтров «WOM и спам» можно вывести все сообщения в отчёте, содержащие токсичный контент, либо без него (подробнее можно почитать здесь).
Также быстро отфильтровать сообщения по токсичности можно кликом на неё в области сообщения в ленте:
Фильтр применится к списку сообщений:
Вывод токсичности в списке сообщений
Можно настраивать вывод токсичности у сообщений в ленте. Для этого нужно перейти в настройки интерфейса в меню-«шестерёнке»:
Включить или выключить вывод токсичности можно при помощи пункта «Категории и токсичность»:
WOM
WOM (word of mouth) – авторский контент, комментарии, отзывы и мнения, в которых c большой вероятностью содержится субъективное отношение пользователей к объекту мониторинга.
WOM позволяет выделить полезный контент для оценки потребительского опыта, а также избавиться от нерелевантных упоминаний (например, рекламы, спама, новостных сообщений СМИ).
Данный признак выставляется автоматически. При необходимости его можно вручную выставить или убрать у сообщения кликом по нему.
Признак WOM можно увидеть/проставить: При необходимости пользователи системы могут добавлять некоторые блоги в анти-спам справочники. Сообщения из данных блогов не будут помечаться как спам. Для добавления блога в справочник необходимо обратиться к вашему менеджеру.
Объявления
В системе предусмотрена возможность выделить сообщения как объявления по аналогии с тем, как это реализовано для разметки сообщений в качестве спама.
Данный признак выставляется автоматически и помогает выделить из общего потока именно сообщения с объявлениями.
При необходимости его можно вручную выставить или убрать у сообщения кликом по нему. Признак можно увидеть/проставить:
- в списке сообщений:
- в карточке сообщения:
При помощи блока фильтров «WOM и спам» можно вывести все сообщения в отчёте, содержащие объявления, либо без них (подробнее можно почитать здесь).
Объявлениями в системе считаются:
- сообщения, которые размещены одним автором в нескольких местах в рамках одной соцсети
- сообщения, которые размещены в группах типа «Доски объявлений». Группа определяется как «Доска объявлений» по содержанию определенных слов в ее названии. Эти слова сформированы специалистами на основе изучения большого массива объявлений (например, подработка, фриланс, вакансии, сбор средств)
- сообщения с текстом, который содержит слова, характерные для объявлений. Эти слова сформированы специалистами на основе изучения большого массива объявлений (например, сбор, скидка, срочный сбор, qiwi);
- сообщения, которым пользователи выставили данный признак самостоятельно
Объявления не определяются для некоторого справочника блогов, который пополняется вручную, а также для постов с Youtube. Сообщения, опубликованные в них не будут помечены как объявления, даже если по формальным критериям они являются объявлениями. Чтобы добавить блог в данный справочник, необходимо обратиться к вашему менеджеру
- в списке сообщений:
- в карточке сообщения:
При помощи блока фильтров «WOM и спам» можно вывести все сообщения в отчёте, содержащие WOM, либо без него (подробнее можно почитать здесь).
Спам
Спам – пользовательский контент, который «зашумляет» медиаполе и в большинстве случаев не несет полезной для пользователей информации (например, коммерческие посты, реклама).
Общая информация
Данный признак выставляется автоматически и помогает выделить из общего потока именно спам-сообщения. При необходимости его можно вручную выставить или убрать у сообщения кликом по нему.
Признак можно увидеть/проставить:
-
в списке сообщений:
- в карточке сообщения:
При помощи блока фильтров «WOM и спам» можно вывести все сообщения в отчёте, содержащие спам, либо без него (подробнее можно почитать здесь).
Как система определяет, что сообщение является спамом
Спам определяется при помощи нейросети, которая обучается на большом массиве спам-сообщений.
Все спам-сообщения внутри нейросети делятся на следующие типы: общий спам, SEO, сбор средств, реклама, пробив по базе данных, банковский спам, аренда жилья, ДТП, страхование, продажи машин, вакансии, поздравления, потери/находки.
Каждое сообщение перед попаданием в базу проверяется нейросетью на соответствие этим типам. Если нейросеть смогла отнести сообщение хотя бы к одной из этих сфер, то оно помечается как спам.
Также спамом считаются сообщения следующих категорий:
- объявление/коммерция
- реклама/промо
- продажа/покупка/аренда квартир
- продажа страховок
- авто (продажа/покупка авто/запчастей)
- работа, вакансии
- акции, скидки
- корпоративы, праздники, поздравления
- инструкции, лайфхаки, рецепты
- розыгрыш-приз-подарок
- банковский спам
- реклама туров, отелей
Как обучается нейросеть
Для определения спама по каждой из перечисленных сфер, специалисты Медиалогии формируют списки сообщений, которые являются спамом. Нейросеть обучается на данных примерах и далее может самостоятельно отмечать поступающие сообщения как спам.
Сообщения определяются как спам не по ключевым словам, а на основе обучения нейросети на большом массиве заранее подготовленных данных
При ручном изменении признака действие передано в нейросеть, тем самым пользователи принимают непосредственное участие в её дообучении.
Все спам-сообщения в системе имеют нулевое значение СМ Индекса и нейтральную тональность.
При необходимости пользователи системы могут добавлять некоторые блоги в анти-спам справочники. Сообщения из данных блогов не будут помечаться как спам. Для добавления блога в справочник необходимо обратиться к вашему менеджеру.
Объявления
В системе предусмотрена возможность выделить сообщения как объявления по аналогии с тем, как это реализовано для разметки сообщений в качестве спама.
Данный признак выставляется автоматически и помогает выделить из общего потока именно сообщения с объявлениями.
При необходимости его можно вручную выставить или убрать у сообщения кликом по нему. Признак можно увидеть/проставить:
- в списке сообщений:
- в карточке сообщения:
При помощи блока фильтров «WOM и спам» можно вывести все сообщения в отчёте, содержащие объявления, либо без них (подробнее можно почитать здесь).
Объявлениями в системе считаются:
- сообщения, которые размещены одним автором в нескольких местах в рамках одной соцсети
- сообщения, которые размещены в группах типа «Доски объявлений». Группа определяется как «Доска объявлений» по содержанию определенных слов в ее названии. Эти слова сформированы специалистами на основе изучения большого массива объявлений (например, подработка, фриланс, вакансии, сбор средств)
- сообщения с текстом, который содержит слова, характерные для объявлений. Эти слова сформированы специалистами на основе изучения большого массива объявлений (например, сбор, скидка, срочный сбор, qiwi);
- сообщения, которым пользователи выставили данный признак самостоятельно
Объявления не определяются для некоторого справочника блогов, который пополняется вручную, а также для постов с Youtube. Сообщения, опубликованные в них не будут помечены как объявления, даже если по формальным критериям они являются объявлениями. Чтобы добавить блог в данный справочник, необходимо обратиться к вашему менеджеру