Языковая модель SberDevices признана лучшей по пониманию текстов

Языковая модель SberDevices признана лучшей по пониманию текстов

Энкодерная языковая модель ruRoberta-large (355 млн параметров, finetune), разработанная SberDevices, признана лучшей по оценке главного русскоязычного бенчмарка Russian SuperGLUE, уступив место только человеку.

Место в рейтинге зависит от того, насколько качественно нейросеть выполняет задания на логику, здравый смысл, целеполагание и понимание смысла текста. Это открытый проект, которым пользуются все исследователи данных, работающие с русскоязычными языковыми моделями.

Также на сегодняшний день в топ-10 входят ещё 5 моделей SberDevices: ruT5-large-finetune, ruBert-large finetune, ruT5-base-finetune, ruBert-base finetune, RuGPT3XL few-shot.

Оценка общего понимания языка моделью формируется на основе результатов девяти заданий и включает в себя диагностический датасет (LiDiRus) – тест, в котором размечены различные языковые явления, такие как логика, предикативно-аргументная структура (например, кореференция, номинализация) и др. Диагностический датасет показал, что модель ruRoberta-large (finetune) не просто запоминает задания или угадывает результат, а выучивает особенности и осваивает разнообразие феноменов русского языка. Это доказывает высокий скор LiDiRus – 0,343, в то время как “человеческий” составил 0,626.

Каждая модель также должна решить остальные восемь заданий, среди которых DaNetQA — набор вопросов на здравый смысл и знание, с ответом да или нет, RCB (Russian Commitment Bank) — классификация наличия причинно-следственных связей между текстом и гипотезой из него, PARus (Plausible Alternatives for Russian) — целеполагание, выбор из альтернативных вариантов на основе здравого смысла и другие.

Ссылки:
ruRoberta-large https://huggingface.co/sberbank-ai/ruRoberta-large/tree/main
Russian SuperGLUE https://russiansuperglue.com/ru/leaderboard/2
диагностический датасет LiDiRus https://russiansuperglue.com/ru/tasks/task_info/LiDiRus
Репозиторий с примерами применения https://github.com/sberbank-ai/model-zoo


Источник: Хабр, Блог компании Сбер, 26 августа 2021, Языковая модель SberDevices признана лучшей по пониманию текстов на русском языке