NoLanguageLeftWaiting
Если хочется делать стриминговый перевод для трансляций или прям настоящий синхрон, быстро упираешься в тупняк классических офлайн-моделей: они часто ждут, пока человек договорит фразу целиком, и из-за этого появляется заметная задержка.
На GitHub нашелся опенсорсный проект NoLanguageLeftWaiting. Ребята взяли офлайн-переводчик Meta NLLB и переделали его в режим реального синхронного перевода: модель может переводить на лету, не дожидаясь конца предложения.
Плюс они закрывают типичные боли “псевдо-синхрона”: когда пунктуация вставляется криво, а работа с префиксами и контекстом превращается в кашу.
Что по возможностям:
* перевод между ~200 языками
* два варианта бэкенда: HuggingFace и CTranslate2
* внутри сразу два размера модели: 600M и 1.3B
Сейчас они ещё пилят speculative decoding (спекулятивное декодирование), чтобы ускорить вывод. Идея: часть гипотез быстро “пробрасывать” и потом частично валидировать, чтобы не тормозить на каждом шаге. По их замерам валидация занимает примерно 0.15 секунды.
Если делаешь голосовой перевод, субтитры для стрима или любой кросс-языковой созвон, где задержка решает, проект прям стоит потыкать.
📁 Language: #Python 100.0%
⭐️ Stars: 41
➡️ Cсылка на GitHub
📱 @git_developer
Если хочется делать стриминговый перевод для трансляций или прям настоящий синхрон, быстро упираешься в тупняк классических офлайн-моделей: они часто ждут, пока человек договорит фразу целиком, и из-за этого появляется заметная задержка.
На GitHub нашелся опенсорсный проект NoLanguageLeftWaiting. Ребята взяли офлайн-переводчик Meta NLLB и переделали его в режим реального синхронного перевода: модель может переводить на лету, не дожидаясь конца предложения.
Плюс они закрывают типичные боли “псевдо-синхрона”: когда пунктуация вставляется криво, а работа с префиксами и контекстом превращается в кашу.
Что по возможностям:
* перевод между ~200 языками
* два варианта бэкенда: HuggingFace и CTranslate2
* внутри сразу два размера модели: 600M и 1.3B
Сейчас они ещё пилят speculative decoding (спекулятивное декодирование), чтобы ускорить вывод. Идея: часть гипотез быстро “пробрасывать” и потом частично валидировать, чтобы не тормозить на каждом шаге. По их замерам валидация занимает примерно 0.15 секунды.
Если делаешь голосовой перевод, субтитры для стрима или любой кросс-языковой созвон, где задержка решает, проект прям стоит потыкать.
Please open Telegram to view this post
VIEW IN TELEGRAM
❤9👍1
local_ai_ocr
Если нужно вытаскивать текст из документов или PDF, загружать файлы в онлайн-конвертеры всегда как-то стрёмно. А у многих локальных тулов то распознавание так себе, то форматирование превращается в кашу.
Случайно наткнулся на GitHub на open-source проект local_ai_ocr: он собран на модели DeepSeek-OCR и заточен под локальное офлайн-распознавание текста на Windows.
Он умеет с GPU-ускорением обрабатывать картинки и PDF: не просто точно вытягивает текст, но и может сразу экспортировать в Markdown, чтобы сохранить сложные таблицы и верстку.
Работает полностью офлайн: ничего не нужно отправлять в облако. Скачал, распаковал, запустил init-скрипт и можно пользоваться, без сложной настройки окружения.
Если для тебя критична приватность данных или нужна максимально точная “реконструкция” форматирования документа, штука точно стоит того, чтобы попробовать.
📁 Language: #Python 67%
⭐️ Stars: 493
➡️ Cсылка на GitHub
📱 @git_developer
Если нужно вытаскивать текст из документов или PDF, загружать файлы в онлайн-конвертеры всегда как-то стрёмно. А у многих локальных тулов то распознавание так себе, то форматирование превращается в кашу.
Случайно наткнулся на GitHub на open-source проект local_ai_ocr: он собран на модели DeepSeek-OCR и заточен под локальное офлайн-распознавание текста на Windows.
Он умеет с GPU-ускорением обрабатывать картинки и PDF: не просто точно вытягивает текст, но и может сразу экспортировать в Markdown, чтобы сохранить сложные таблицы и верстку.
Работает полностью офлайн: ничего не нужно отправлять в облако. Скачал, распаковал, запустил init-скрипт и можно пользоваться, без сложной настройки окружения.
Если для тебя критична приватность данных или нужна максимально точная “реконструкция” форматирования документа, штука точно стоит того, чтобы попробовать.
Please open Telegram to view this post
VIEW IN TELEGRAM
❤2👍1