Форум "Оценка методов автоматического анализа текста:
морфологические парсеры русского языка"

 Приглашение к участию 
 Новости 
 О проекте 
 Манифест 
 Общие принципы 
 Заявка на участие 
 Участники 
 Дорожки 
 Экспертиза 
 Материалы Форума 
  Тестовые коллекции 
  Таблицы оценок 
 Сроки проведения 
 Публикации 
 FAQ 
 Форум и рассылка 
 
 Диалог 2010 

Дорожки

Оценка алгоритмов проводится по нескольким независимым дисциплинам (дорожкам). Каждая дорожка посвящена одной конкретной задаче анализа текста со строго определенными правилами оценки систем-участников. От участников не требуется участие во всех дорожках сразу, поэтому у них есть возможность сосредоточиться на решении только одной из предлагаемых задач.

Задачи и правила проведения дорожек определяются совместно с участниками. Следить за обсуждением дорожек и правил их проведения и участвовать в обсуждении вы можете на форуме и подписавшись на список рассылки. Проект общего регламента для проведения дорожек направлен участникам и экспертам для обсуждения и правки. Предшествующую дискуссию можно увидеть здесь и здесь.

Предварительный состав дорожек 2010 года:
  • ЛЕММАТИЗАЦИЯ          
    выдача правильной леммы
     
  • POS          
    правильное определение части речи
     
  • МОРФОЛОГИЯ          
    правильное извлечение прочей грамматической информации (падеж, род и т.д.)
     
  • РЕДКИЕ СЛОВА          
    правильная лемматизация и частеречная характеристика так называемых "несловарных слов"
     
  • КОЛЛЕКЦИИ: "ГРЯЗНЫЕ" ТЕКСТЫ          
    качество разметки текстов особого вида, например, автоматически распознанных сканов и т.п.
     
  • ДИЗАМБИГУАЦИЯ: ЛЕММЫ          
    выдача единственно правильной леммы
     
  • ДИЗАМБИГУАЦИЯ: POS          
    выдача единственно правильной части речи