МГУ и Яндекс создали LORuGEC – первый открытый датасет и метод обучения нейросетей сложным правилам русского языка

МГУ совместно с Яндексом представили LORuGEC — первый открытый датасет, посвящённый редким и сложным ошибкам русского языка, а также новый метод обучения ИИ, который позволяет моделям точнее исправлять грамматику, пунктуацию и орфографию. Датасет и алгоритм обучения опубликованы в открытом доступе и могут использоваться в образовательных сервисах, проверке работ или создании языковых инструментов. О разработке Яндекс рассказал на Конгрессе молодых ученых в «Сириусе» — главном мероприятии Десятилетия науки и технологий в России, проходящем 26–28 ноября.

Работа получила высокую оценку сообщества: статья про LORuGEC и метод дообучения нейросетей получила приз за лучшую научную работу на воркшопе по инновациям в применении ИИ для образования, прошедшем на международной конференции ACL 2025. Там же свои разработки представили Google, Apple, IBM, Bloomberg AI и другие технологические компании.

Первый открытый датасет сложных ошибок русского языка

Большие языковые модели научились уверенно писать тексты, но тонкости русской грамматики остаются сложным вызовом. В открытых корпусах данных почти отсутствуют примеры ошибок по действительно трудным правилам — тем, что проверяют на олимпиадах и ЕГЭ.

LORuGEC исправляет этот пробел. В него вошло почти 1000 предложений, каждое привязано к конкретной языковой норме. Датасет охватывает 48 правил русского языка, среди которых:

• пунктуация в сложноподчинённых предложениях;
• слитное и раздельное написание слов с «не»;
• согласование подлежащего и сказуемого в сложных конструкциях;
• другие ошибки, характерные для экзаменационных и академических текстов.

Материал подготовлен совместно с лингвистами и опирается на справочную литературу, что обеспечивает высокую точность и достоверность примеров.

Метод обучения, который помогает моделям избегать лишних исправлений

Чтобы нейросеть могла исправлять редкие и сложные ошибки, исследователи предложили новый подход — Retrieval-Augmented Generation (RAG) для задач грамматической коррекции. Его ключевая идея — не переобучать модель на небольшом датасете, а подсказывать ей правильные примеры прямо во время генерации.

Модель GECTOR анализирует входное предложение, определяет тип ошибки и находит в LORuGEC несколько предложений с аналогичными нарушениями. Затем эти примеры передаются большой языковой модели как подсказки. Благодаря этому:

• ИИ не исправляет текст лишний раз — меняет только действительно ошибочные места;
• модель различает близкие, но разные ошибки (например, конкретный пропуск запятой перед «что»);
• качество коррекции повышается без дорогостоящего дообучения.

Результаты показали рост точности на 5–10% по международной метрике F0,5. У YandexGPT 5 Pro точность достигла 83%, у YandexGPT 5 Lite — 71%. Метод успешно показал себя и на зарубежных моделях, что подтверждает его универсальность.

«В создании датасета нам помогали студенты-лингвисты и справочная литература. Мы собрали тысячу предложений, в которых не только исправлены ошибки, но и указаны соответствующие правила. Затем разработали метод, который подбирает примеры с такими же ошибками и помогает ИИ корректно их исправлять. Это пример успешной коллаборации науки и индустрии: совместная работа лингвистов и инженеров позволила создать решение, которое действительно понимает тонкости русского языка».

Алексей Сорокин, старший научный сотрудник Института ИИ МГУ, разработчик в отделе Поиска Яндекса