Оценка алгоритмов поиска заимствований в текстах: PlagEvalRus 2016-2017

В 2016-2017 гг. планируется организовать семинар по оценке алгоритмов поиска заимствований в текстах PlagEvalRus. Настоящее письмо кратко информирует о ходе проведения семинара и приглашает всех заинтересованных участников заполнить предварительную заявку по адресу: https://goo.gl/forms/8BK7ScHODmLcCfOF3.

Срок подачи заявок – 1 октября.

Официальная страница семинара: http://ru-eval.ru/plageval
Контактный адрес: plagevalrus@gmail.com

В ходе тестирования планируется решение задачи поиска внешних заимствований (External Plagiarism Detection). Тематика текстов смещена в сторону заимствований в научных текстах (академический плагиат). Предлагаются следующие дорожки (точный набор зависит от количества участников):

• Дословные заимствования. Copy and paste (c&p) plagiarism detection.
• Заимствования с парафразами. Paraphrased plagiarism detection.
• Переводные заимствования с английского на русский. Cross-language plagiarism detection (en-ru).
• Переводные заимствования с русского на украинский. Cross-language plagiarism detection (ru-uk).

Каждая дорожка представляет собой поисковое задание: в заданном тексте необходимо найти заимствованные фрагменты и для них указать тексты-источники заимствований из заданной коллекции источников. Участникам предоставляются коллекции текстов источников и обучающие данные по каждой дорожке.

Ход тестирования и оценка результатов

Перед тестированием участникам выдаётся набор заданий по каждой дорожке. Полученные ответы сравниваются с эталонными ответами, созданными организаторами. Заимствование считается успешно найденным, если фрагмент, найденный участником, вложен во фрагмент эталонного ответа или совпадает с ним. Найденные участниками заимствования, которые не указаны в эталонных ответах организаторов на контрольные задания, не будут учитываться при оценке.

Примерный график проведения

• сентябрь - октябрь: сбор заявок и обсуждение условий тестирования
• ноябрь - декабрь: предоставление обучающих данных и подготовка участников к тестированию
• январь: прогоны тестовых заданий и предоставление результатов организаторам
• февраль - март: оценка результатов
• апрель - май: подготовка итогового отчета
• июнь: подведение итогов (предположительно на конференции Диалог)

Организаторы

Иван Смирнов (Институт системного анализа ФИЦ ИУ РАН, Москва), Михаил Копотев (Хельсинкский университет, Финляндия), Андрей Кутузов (Университет Осло, Норвегия), Илья Соченков (Институт системного анализа ФИЦ ИУ РАН, Москва), Ольга Ляшевская (НИУ «Высшая школа экономики», Институт русского языка РАН им. В. В. Виноградова, Москва), Рита Кузнецова (компания Антиплагиат.ру), Олег Бахтеев (компания Антиплагиат.ру), Любовь Иванова (НИУ «Высшая школа экономики», Москва, секретарь семинара).

Подробные правила и ход проведения тестирования планируется разослать всем заинтересованным участникам для предварительного обсуждения. Приглашаем всех потенциальных участников заполнить анкету-заявку до 17 октября по адресу: https://goo.gl/forms/8BK7ScHODmLcCfOF3.

Вопросы и дополнительную информацию можно получить по адресу: plagevalrus@gmail.com.

С уважением,
организаторы семинара