Форум "Оценка методов автоматического анализа текста:
морфологические парсеры русского языка"

Дорожка "МОРФОЛОГИЯ" (другие грамматические теги)

Категория: без дизамбигуации.

Задача

Правильно определить грамматические теги, которые характеризуют исходную словоформу, например, род, число, падеж, время и т.д. Оценивается наличие правильного набора грамматических тегов, представленных в разборе. Часть речи не входит в набор оцениваемых грамматических тегов и оценивается отдельно в дорожке "POS".
Общая процедура проведения дорожки стандартна.

Коллекция

В качестве исходного набора данных используется Основная коллекция.

Формулировка задания для участвующей системы

Система-участник получает исходные данные. Ответом системы является файл(ы) в согласованном формате. Грамматические теги записываются в теге "gram". Если система предлагает несколько вариантов наборов грамматических тегов, каждый вариант записывается в отдельном теге.
???Возможны два варианта оценки: оценка всего набора целиком и оценка отдельных тегов. В первом случае требуется, чтобы внутри набора теги были упорядочены в алфавитном порядке.

Особенности проведения дорожки

Как известно, набор грамматических тегов у разных морфологических парсеров различается. Участники совместно согласуют список категорий, участвующих в оценке, и правила приведения исходного набора категорий к этому списку.
??? Участники берут на себя обязательство привести результаты работы своей системы к согласованному стандарту.

Методология оценки

Общая методология оценки стандартна. Оценивается наличие правильного грамматического тега (набора грамматических тегов) среди всего множества вариантов, представленных в разборе.

Форум "Оценка методов автоматического анализа текста: морфологические парсеры русского языка"