⛏️ Как и где копать данные для обучения моделей машинного перевода

Чтобы получить хорошие результаты, команде Яндекс Переводчика нужны сотни миллионов и даже миллиарды пар предложений на разных языках. Причём речь идёт не только о русском и английском, ведь Переводчик поддерживает 102 языка.

Чтобы найти подходящий материал среди всего, что есть в интернете, ребята используют более десятка вспомогательных ML-моделей. А ещё создают сложную архитектуру их взаимодействия и учитывают последние достижения в сфере computer science.

⚪️ Статья будет полезна тем, кто работает со сбором и обработкой неструктурированной информации в интернете. А особенно тем, кто потом использует её в обучении нейросетей.

🔳 Переходите по ссылке, чтобы узнать, что за зверь такой YandexGPT-MT

Подписывайтесь:
💬 @Yandex4ML
📹 @YandexML