Форум "Оценка методов автоматического анализа текста:
морфологические парсеры русского языка"

 Приглашение к участию 
 Новости 
 О проекте 
 Манифест 
 Общие принципы 
 Заявка на участие 
 Участники 
 Дорожки 
 Экспертиза 
 Материалы Форума 
  Тестовые коллекции 
  Таблицы оценок 
 Сроки проведения 
 Публикации 
 FAQ 
 Форум и рассылка 
 
 Диалог 2010 

Экспертиза

Экспертиза состоит в выборочной проверке предоставленных ответов (анонимных результатов работы систем).

"Золотой стандарт"

Выбранные фрагменты текстовой коллекции размечаются независимо двумя или более экспертами в соответствии с установленным форматом. Размеченные фрагменты, на которых достигнуто 100% согласие аннотаторов, включаются в "золотой стандарт" (объемом порядка 100 предложений). Тестируется соответствие ответов системы "золотому стандарт". После подведения итогов экспертизы "золотой стандарт" будет доступен всем участникам.

Официальные метрики: Эксперты также проводят содержательную оценку логов расхождений между "правильными" ответами и ответами систем. Методология оценки:
  • постановка задания:
    • эксперт оценивает все случаи расхождения "золотого стандарта" и ответов системы; эксперт также имеет доступ к ответам системы, которые оценены как "правильные"
  • оценка правильности:
    • права система/прав "золотой стандарт"/невозможно оценить
  • типология ошибок:
    • системная ошибка (разборы нескольких различных словоформ обнаруживают данный тип ошибки) / нет
    • ошибка связана с ошибкой в определении других элементов данного разбора / нет
    • гипотезы о том, что могло вызвать ошибку в ответе
???"Частотный словарь"

При содержательной оценке эксперты имеют также возможность оценить между собой частотные словари разборов каждой из тестируемой систем.

Результаты экспертизы будут доложены на круглом столе.