🏆 Google выпустила EmbeddingGemma — самую умную и лёгкую модель в опенсорсе, которая работает на ноутбуках и телефонах даже без интернета.

• 308М параметров — лучшая нейронка среди открытых моделей до 500М параметров.
• Требует меньше 200 МБ оперативной памяти.
• Работает мгновенно без подключения к сети — задержка всего 15 мс.
• Поддерживает больше 100 языков, включая русский.
• Подключается к популярным инструментам, библиотекам и фреймворкам.

Если давно искали топовую локальную модель, держите — тут.

@notboring_tech

📚 У автора лучших лекций про нейросети 3blue1brown появился дубляж видео на русский язык — очень удобно для всех, кто хочет слушать качественную озвучку, а не читать субтитры.

Видео про работу нейронок полностью дублировали на русский:

• Краткое объяснение LLM
• Как LLM могут хранить факты
• Визуализация внимания, сердце трансформера
• LLM и GPT — как работают большие языковые модели

Начинаем осень с полезного — сохраняем в закладки.

@notboring_tech

🔥 Основатели популярных ИИ-приложений Cal AI, PlugAI, RizzGPT, Umax, Quittr и NGL рассщедрились и сделали свой курс за $1000 бесплатным — внутри лежат 13 часов видео-лекций про запуск стартапов в 2025 году.

Курс разбит на четыре модуля: идея, дизайн, разработка и дистрибуция с помощью UGC-креаторов. Авторы рассказали, как командами по 2-3 человека и без инвесторов вырастили свои приложения с нуля до $100 тысяч в месяц.

Сохраняйте — тут.

@notboring_tech

💣 Мой знакомый Миша Попов с первого запроса навайбкодил и выложил полезный парсер участников телеграм-чатов — он вытаскивает 2000 ников в Excel-файл за пару минут (!) вместо часов ручной работы.

Это только один из юзкейсов, как ИИ-инструменты реально помогают делать кратно больше за меньшее время — Миша тестит много нейронок каждый день и делится лучшими в своём канале @neurorelations.

• Ещё недавно он навайбкодил годный инструмент для быстрой проверки и доработки текста в Телеграме: без тире, которыми злоупотребляет ChatGPT.
• Сам Миша работает Developer Relations Manager в Яндексе: он строит мосты между IT-компанией и сообществом инженеров.
• В своём гайде он рассказал, что надо прочитать, изучить и узнать, чтобы попасть в деврел.

Полезных постов у Миши очень много, подписывайтесь — тут.

⚡️ Meta* совершила революцию в ИИ и представила RAG 2.0 — исследователи научились ускорять LLM в 30 (!!!) раз и обрабатывать в 16 раз больше контекста без потери точности.

Объясняю за минуту на пальцах:

• Основная проблема: увеличение длины документа в 2 раза замедляет работу ИИ в 4 раза. ИИ внимательно читает каждое слово, теряя много времени и ресурсов.
• Новый фреймворк REFRAG решает эту проблему и построен на «трёх китах»:
1. Кодировщик считывает полученный документ и сжимает каждый фрагмент текста из 16 токенов в единый плотный вектор (chunk embedding). При этом все важные данные не сжимаются.
2. Основной LLM съедает эти эмбеддинги вместо исходных токенов и уменьшает объём контекста аж в 16 раз.
3. Фреймворк минимизирует ненужные вычисления (квадратичное внимание и кэш значений) и ускоряет первый ответ в 30 раз, а всю обработку — в 7 раз.
• REFRAG уже протестировали в RAG, диалогах и задачах с большими документами — новая система превосходит даже LLaMA и ведущие модели, сохраняя точность.

Инвестиции Цукерберга наконец-то окупаются! В перспективе REFRAG — новый стандарт в RAG-системах, чат-ботах и агентах для веб-поиска. Работу можно почитать здесь, а исходный код скоро выйдет на GitHub.

*Meta запрещена в России.

@notboring_tech