Мультиязычная модель машинного перевода от FAIR превзошла двуязычные модели на соревновании WMT-21.
Статья: arxiv.org/abs/2108.03265
Блог: ai.facebook.com/blog/the-first-ever-multilingual-model-to-win-wmt-beating-out-bilingual-models/
Мультиязычный перевод сложно делать. Несмотря на то, что за последние годы научились обучать большие модели, которые улучшают качество перевода на низкоресурсных языках, с высокоресурсными языками это долгое время не работало и двуязычные модели продолжали работать лучше мультиязычных.
FAIR (Meta AI?) в новой статье наконец-то преодолели этот порог. Их модель превосходит двуязычные, чего добились с помощью более умного (и объемного) майнинга обучающих данных - как параллельных так и непараллельных и использования mixture of experts (MoE) для скейлинга модели до 52B параметров.
_______
Источник | #dlinnlp
Статья: arxiv.org/abs/2108.03265
Блог: ai.facebook.com/blog/the-first-ever-multilingual-model-to-win-wmt-beating-out-bilingual-models/
Мультиязычный перевод сложно делать. Несмотря на то, что за последние годы научились обучать большие модели, которые улучшают качество перевода на низкоресурсных языках, с высокоресурсными языками это долгое время не работало и двуязычные модели продолжали работать лучше мультиязычных.
FAIR (Meta AI?) в новой статье наконец-то преодолели этот порог. Их модель превосходит двуязычные, чего добились с помощью более умного (и объемного) майнинга обучающих данных - как параллельных так и непараллельных и использования mixture of experts (MoE) для скейлинга модели до 52B параметров.
_______
Источник | #dlinnlp
Внезапно обычным смертным и правда начали раздавать доступ к DALL-E 2. И я даже оказался в их первой тысячи. Поэтому давайте хайпать
1. Reviewer #2 doing its business
1. Falling into a black hole, high-quality physics simulation
1. Colorless green ideas sleep furiously
1. The ritual to create Artificial General Intelligence, a painting in an old book
1. Falling into a black hole, unreal engine, ray tracing
1. Human spacecraft exploring planets around Alpha Centauri
1. То же изображение, но с "pixel art corgi on the planet"
1. Quark-gluon plasma
_______
Источник | #dlinnlp
1. Reviewer #2 doing its business
1. Falling into a black hole, high-quality physics simulation
1. Colorless green ideas sleep furiously
1. The ritual to create Artificial General Intelligence, a painting in an old book
1. Falling into a black hole, unreal engine, ray tracing
1. Human spacecraft exploring planets around Alpha Centauri
1. То же изображение, но с "pixel art corgi on the planet"
1. Quark-gluon plasma
_______
Источник | #dlinnlp
Один из неожиданных и очень крутых демо NeurIPS это робот от Disney 😍
_______
Источник | #dlinnlp
@F_S_C_P
-------
поддержи канал
-------
_______
Источник | #dlinnlp
@F_S_C_P
-------
поддержи канал
-------
🤔4👍2😱1
Наткнулся на сайт который кажется как толока но для профессионалов в программировании, математике, физике и других дисциплинах. Очень забавная ниша которой кажется не существовало ещё год назад.
Вообще очень интересно докуда это дойдёт через пару лет когда выйдет GPT6. Многие из тех вещей которые мы сейчас делаем каждый день в GPT4 я лично вообще не мог себе представить всего 2 года назад. Что если реально уже скоро будут какие-то нетривиальные результаты LLM в том чтобы автономно заниматься физикой или математикой?
Я хоть серьёзными науками и не занимаюсь (практический DL на науку не тянет), но впервые подумал что и нас можно будет со временем заменить. Надо поставить себе напоминалку сделать ретроспективу этого поста в январе 2026 😅
tryoutlier.com
_______
Источник | #dlinnlp
@F_S_C_P
-------
поддержи канал
-------
Вообще очень интересно докуда это дойдёт через пару лет когда выйдет GPT6. Многие из тех вещей которые мы сейчас делаем каждый день в GPT4 я лично вообще не мог себе представить всего 2 года назад. Что если реально уже скоро будут какие-то нетривиальные результаты LLM в том чтобы автономно заниматься физикой или математикой?
Я хоть серьёзными науками и не занимаюсь (практический DL на науку не тянет), но впервые подумал что и нас можно будет со временем заменить. Надо поставить себе напоминалку сделать ретроспективу этого поста в январе 2026 😅
tryoutlier.com
_______
Источник | #dlinnlp
@F_S_C_P
-------
поддержи канал
-------
Telegram
DL in NLP
Наткнулся на сайт который кажется как толока но для профессионалов в программировании, математике, физике и других дисциплинах. Очень забавная ниша которой кажется не существовало ещё год назад.
Вообще очень интересно докуда это дойдёт через пару лет когда…
Вообще очень интересно докуда это дойдёт через пару лет когда…
🤔6