Форум "Оценка методов автоматического анализа текста:
морфологические парсеры русского языка"

Дорожка "ДИЗАМБИГУАЦИЯ: POS" (части речи)

Категория: дизамбигуация.

Задача

Правильно определить часть речи, к который принадлежит исходная словоформа. Система должна предлагать единственно правильный/наиболее вероятный вариант из всех возможных. Если в разборе представлено несколько вариантов POS, оценивается первая по счету POS.
Общая процедура проведения дорожки стандартна.

Коллекция

В качестве исходного набора данных используется Основная коллекция.

Формулировка задания для участвующей системы

Система-участник получает исходные данные. Ответом системы является файл(ы) в согласованном формате. Части речи записываются в теге "pos". Если система предлагает несколько вариантов частей речи, каждый вариант записывается в отдельном теге.

Особенности проведения дорожки

Как известно, набор частеречных тегов у разных морфологических парсеров различается. Участники совместно согласуют список категорий, участвующих в оценке, и правила приведения исходного набора категорий к этому списку.
??? Участники берут на себя обязательство привести результаты работы своей системы к согласованному стандарту.

Методология оценки

Общая методология оценки стандартна. Оценивается правильность единственного/наиболее вероятного варианта из всех возможных. Если в разборе представлено несколько вариантов POS, оценивается первая по счету POS.

Форум "Оценка методов автоматического анализа текста: морфологические парсеры русского языка"