Недавно вышли новые большие языковые модели (LLM): Gemini Pro от Google и Claude 3 от компании Anthropic. Мы решили протестировать их на переводе текста с удмуртского на русский. И результат поражает. Качество перевода удивительно хорошее. А главное, эти модели лучше передают смысл текста, по сравнению с другими переводчиками, которые стараются переводить слово в слово. Пока эти модели хуже справляются с обратным переводом, с русского на удмуртский, но это вопрос времени, пройдёт год и качество вырастет. Причин, почему модели стали лучше понимать удмуртский, мы не знаем, поскольку обучающий набор данных закрыт для кого-либо, но можем предположить, что модели увидели много примеров, где есть текст на русском и следом тот же текст, но уже на удмуртском, как, например, в сообществах «Куара», «Удмуртский каждый день».

Примеры запросов:

User:

Переведи на русский фразу "Мон Ижкарын улӥсько"

Claude 3 Sonnet:

"Мон Ижкарын улӥсько" переводится с удмуртского языка на русский как "Я живу в Ижевске".

Разбор перевода:

Мон - я
Ижкарын - в Ижевске (Ижкар - старое название города Ижевска на удмуртском языке)
улӥсько - живу

Удмуртский язык относится к пермской ветви финно-угорских языков и является государственным языком Удмуртской Республики наряду с русским языком. Город Ижевск является столицей Удмуртской Республики.

User:

Переведи с удмуртского на русский:

Ульфат Бадретдиновлэсь романзэ туж тупасал лыдӟыны пиналъёслы но егитъёслы яке солы, кинлэн лыдӟемез уг поты ӝожомытӥсь литератураез: романын автор мур суредамтэ куректӥсь адямиосты, соослэсь секытэсь шӧдонъёссэс. Ӝутэм ужпумъёс нош – шудон уж ӧвӧл: романын оглом удмурт интеллигенцилэн историез возьматэмын. Автор тодматэ 1910-тӥ аръёсысь удмурт азьветлӥсьлэн Максим Прокопьевлэн улон сюресэныз. Максим Прокопьев ожын быре, нош аслаз гурт калыкез сое адӟонтэм каре.

Claude 3 Sonnet:

Вот перевод с удмуртского на русский:

Было очень интересно читать роман Ульфата Бадретдинова и молодежи, и детям, или тем, кто не увлекается мрачной литературой: в романе автор живописует людей с трудными судьбами, их горькие испытания. Но счастливые концы - не его конек: в романе освещена история удмуртской интеллигенции в целом. Автор знакомит с жизненным путем удмуртского просветителя 1910-х годов Максима Прокопьева. Максим Прокопьев был вдали от дома, но его собственный народ не признавал его.

User:

Переведи с удмуртского на русский:

Финн-угор дуннеысь азьветлӥсьёс та дыре люкаськемын Саранске: татын ортче Россиысь финн-угор калыкъёслэн форумзы. Палэнэ ӧз кыльы «КУАРА» но.

Проектъёсъя менеджермы Ольга Степанова егитъёслэн секцизылэн ужаз пыриськиз но огинмылэн проектъёсыз сярысь мадиз. Секцие люкаськемъёслэн юанъёссы но вазиськонъёссы возьматӥзы: ужмы адӟем карымон!

Gemini Pro:

Лидеры финно-угорского мира собрались сейчас в Саранске: здесь проходит форум финно-угорских народов России. Не осталась в стороне и «КУАРА».

Руководитель проектов Ольга Степанова приняла участие в работе секции молодежи и рассказала о проектах организации. Выступления и дискуссии участников секции показали: работа ведется, налицо положительные результаты!

Попробовать (потребуется VPN):
Claude 3: https://claude.ai/
Gemini Pro: https://aistudio.google.com

Эшъёс, создан общий удмуртский чат для общения в Telegram! Теперь все неравнодушные к удмуртской культуре, удмуртскому языку и в целом Удмуртлыку имеют возможность общаться, делиться мыслями, идеями, и узнавать что-то новое друг у друга. Давайте же создадим классное удмуртское комьюнити, целью которого является объединение людей с общими интересами, обсуждение новостей, обмен опытом и просто общение.

Присоединяйтесь!

Мы, «Удмурт диджитал», совместно с телеграм-каналом «О чём поёт вотячка» сделали перевод сборника рассказов «Перепеч» Багай Аркаша с помощью нейронных сетей! Это первый перевод произведения с удмуртского языка, сделанный с помощью современных больших языковых моделей. И кажется, что это первый нейросетевой перевод книги для миноритарного языка России.

Перевод осуществлён моделью Claude 3 Opus с последующей редактурой человека. Подробнее о процессе перевода можно ознакомиться в книге.

Над проектом работали: Егор Лебедев (перевод с удмуртского), Анастасия Шумилова (редактура), Вера Штыкова (вёрстка, художественное оформление).

В наше время часто возникает потребность преобразовать текст с удмуртского языка на другой и обратно. Нехватка собственных знаний может затруднить этот процесс, а онлайн-словари не учитывают контекст слова и его частотность. В таком случае не остаётся ничего, кроме как обратиться к нейросетевым переводчикам. Эти инструменты могут быть полезны для тех, кто изучает удмуртский язык, работает с удмуртоязычными документами или просто интересуется культурой и литературой Удмуртии. Предлагаем ознакомиться с основными и наиболее распространёнными из них.

1. «Яндекс.Переводчик»

Один из первых удмуртских машинных переводчиков, появившихся в интернете. Главный недостаток — низкое качество текста. Система не справляется даже со склонением простых глаголов, поскольку обучалась на ограниченном наборе данных. Последнее обновление происходило в 2016 году, поэтому пользоваться этим сервисом не рекомендуем.

2. «Neurotõlge»

Создан специалистами Тартуского университета в Эстонии. Допускает значительно меньше ошибок по сравнению с «Яндекс.Переводчиком», но всё ещё требует доработок. Обучался на 33 тысячах параллельных предложениях. В наборе присутствуют почти все финно-угорские языковые пары.

3. «Майбыр Переводчик»

Базируется на разработках всё той же группы TartuNLP (Тартуский университет). Сервис разработан коми-активистом Алексеем Ивановым. На настоящий момент самый совершенный машинный переводчик для удмуртского языка. Поддерживает синтез речи. Также интерфейс включает локализацию на удмуртском языке. Рекомендуем использовать именно его.

А для того чтобы качество переводчиков стало ещё лучше, вы можете присоединиться к сбору параллельного корпуса на платформе «Tatoeba». Там мы переводим предложения с русского языка на удмуртский, пополняя тем самым базу данных. Ранее мы делали пост с инструкцией по регистрации на этом сервисе.

Суред: Чудья Жени.

Приглашаем удмуртских переводчиков принять участие в проекте SuperMinor. Цель проекта — собрать данные, состоящие из инструкций, преимущественно на миноритарных языках России. Такой датасет нужен, чтобы улучшить навыки генерации больших языковых моделей на данных языках.

Как показывают недавние эксперименты, уже сейчас нейросети дают достаточно качественные ответы на удмуртском. Например, на вопрос: «Кин со Кузебай Герд?» («Кто такой Кузебай Герд?») — модель Claude 3 Opus выдает приемлемый ответ.

В дальнейшем собранные сведения помогут в создании виртуальных ассистентов, чат-ботов и систем машинного перевода для удмуртского языка. Наиболее активных участников автор проекта обещает поощрять денежными призами, а также книгами про языки и искусственный интеллект.

Не упустите шанс внести свой вклад в развитие удмуртского языка и технологий искусственного интеллекта! Для тех, кто заинтересовался и хотел бы поучаствовать в проекте — пишите в личные сообщения: @odomort. Для координирования мы добавим вас в чат переводчиков.

Автор проекта: Сергей Аверкиев (@doomgrad)

Сайт проекта: https://sumi.ac/