На связи r&d NDT подъехали наши локальные тесты под наш продуктовый бенчмарк RAG на enterprise задачах извлечения данных поиск по фин. документам, анализ отчётов.

Скоро подготовлю большой пост где будет лидерборд около 10 моделей on-premise

Угадайте какая модель выиграла?

Кстати у нас есть добрый и ламповый чат этого канала где обсуждают LLM и могут ответить на ваши вопросы про ИТ заходите чтобы не пропустить актуальное обсуждение

https://t.iss.one/neuraldeepchat

Titan - альтернатива трансформерам от Google #разбор

Google тут втихую выложил интересную работу про LLM с улучшенной памятью и потенциальным контекстом более 2M. Если учитывать то, что Google в последнее время кучно выпускает модели, которые попадают в TOP-10 моего бизнес-бенчмарка, то потенциал у этой затеи очень интересный.

Если в обычном Transformer память о прошлых токенах хранится только в рамках короткого окна self-attention (и приходится хитрить со Structured Checklists, чтобы оптимизировать внимание), то в Titans вводится многокомпонентная система памяти:

(1) Краткосрочная память (ограниченное скользящее окно внимания).
(2) Долгосрочная память (онлайн-обучаемая нейронная память).
(3) Постоянная память (фиксированный набор параметров для общих знаний).

Такое построение позволяет модели "учиться" на неожиданных событиях прямо во время inference. По сравнению с трансформерами, Titans обеспечивают:

(1) Более эффективную работу с очень длинными контекстами, перекладывая «глобальное» запоминание с дорогого self-attention на лёгкий по вычислительным затратам механизм памяти (ближе к O(n) или O (n log n), нежели тупиковый O(n*n))
(2) Увеличенную способность «доставать» нужную информацию из глубокого прошлого за счёт специального, динамически обновляемого модуля.

Это теоретически дает превосходство на ряде бенчмарков, где требуется действительно долгосрочное моделирование (например, cверхдлинные «needle-in-haystack» задачи, задачи из time-series и геномики).

Получится ли у Google забить тот самый гвоздь в крышку гроба трансформеров - еще предстоит посмотреть. Но если это случится в 2025 году - это будет здорово, даже если снова придется пересматривать все архитектуры!

Прочитать статью можно тут.

Ваш, @llm_under_hood 🤗

PS: Google могли бы оптимизировать модели под использование GPU и CPU тесном тандеме, и тогда они могли бы работать только на системах вроде Google TPU или новых супер-чипов NVidia. Но именно в этой архитектуре обновления памяти специально распараллеливаются так, чтобы работать хорошо на традиционных акселераторах. Молодцы!

Стоит ли провести стрим где мы за тоже время возможно быстрее создадим с вами RAG систему по другому каналу или чату где увеличим кол-во данных и сделаем агентов для поиска информации с планированием и заданиями?

Кодить будем через Клод + pycharm разберем чанкование конвертацию данных и промптирование RAG

https://t.iss.one/neuraldeep?livestream

Запланировал трансляцию в ТГ на вторник 21 числа в 19:00

Пока все говорят о новом "убийце GPT" — мы его уже добавили на Арену. Речь о модели DeepSeekR1, которой предрекают уже первые места на лидербордах. Предлагаем вам самим протестировать и сделать выводы.

Пишут, что R1 превзошла все существующие модели OpenAI в тестах по программированию и математике.

Кстати, пользоваться Ареной и попробовать новинку можно и прямо в Telegram.

Ну что уже через 4 часа сядем с вами попрогать RAG (чистый handmade + Claude) никаких langchain или других крутых словечек только питон и только хардкорно разбирать задачу

Что нас ждет?

Порисуем схему
Попробуем на локальной модели (возьмем арендуем GPU и поднимем LLM с huggingface + structured output)
Поднимем топовую векторную бд
Cоздадим base пайплайн RAG
Упакуем все в API
Упакуем все в докер
И пообщаемся с RAG через тг бота

https://t.iss.one/neuraldeep?livestream

В соседнем канала про LLM задали вопрос как понять скорости генерации на разных бэкендах structured output(эта штука заставляет модель отвечать вам жесткой схемой json формата например) при локальном инференсе
Так вот погуглил ничего вразумительного не нашел для своей спеки так что держите сделал сам

4090 OC
T-lite(qwen)
vllm
и 4 типа тестирования
xgrammar
outlines
lm-format-enforcer
Без бэкенда форматирования

Вот автоматизация браузера через gpt-4o API без подписок и блекджеков

Если интересно что за репозиторий и как настроить запишу видео кодинг где объясню как промптимть и настраивать кстати работает и с локальным моделями

Не пойму что за хайп вокруг оператора

Тут кстати модель агента ходит по интернету и собирает выручку компании по годам

OpenAI Operator бесплатно но как?

Ну а что я же умею могу практикую как там еще сказать?

Взял этот репо (кидал в чате)

В итоге приложил усилия и знания DevOps + Python + Network engineer

Развернул все на удаленном сервере
Упаковал настройки и сбил все в два фрейма прокинул NoVNC в iframe по https из контейнера
Раскидал сервисы через nginx
Сделал дефолт конфиг поправил логику агента что бы не так сильно тупил
Ковырнул у проекта промпты тоже дал своих настроек

Ну конечно не такой прям оператор как у openai но стоит не $200


1) Суть в том что это виртуальный браузер который живет на удаленной машине
2) Модель совершенно обычная gpt-4o
3) Может выполнять любые действия с браузером
4) Браузер кликабельный через вэб пользователь может делать с ним что угодно

Но я уверен что нужны кейсы (как пишут в чате Operator просто игрушка 10 минут и забыли)

Operator (Openai) vs Open Source: зачем нам вообще AI-UI-агенты?

Ну что, народ, давайте на трезвую голову посмотрим на всю эту историю с Operator и UI агентами

Почему? Потому что за хайпом вокруг релиза от OpenAI мы забыли главный вопрос - а зачем это вообще нужно?

Да я видел как в других каналах мы открывали Оператора в операторе
Как круто находили проблемы в маршрутизаторах (или нет?)
Как круто прикалывались над друзьями или парсили новости?

Что мы имеем?

OpenAI Operator ($200/месяц)
- Красивый интерфейс
- Облачное решение
- Высокие метрики в тестах
- Удобный юзабилити?
- НО: где применить?

Open Source решения
- Browser Use (бесплатно) OpenSource
- Computer Use (бесплатно) от Антропиков
- Разные эксперименты
- НО: сложно настроить

В чём проблема?
Главная проблема и Operator и опенсорса одна - непонятно, где это реально применять
Вот смотрите существующие кейсы которые ходят по сети лично меня они не впечатляют

Заказ пиццы (но не всегда точно)
Настройка роутера (с переменным успехом)
Заполнение форм (когда повезёт)

Для бизнеса пока сырое и вот почему на мой взгляд
Нужна 100% точность
Важна безопасность
Критична скорость

Почему так?
Вспомним Rabbit r1 - ребята пытались сделать носимый девайс с LLM. Провалились, но показали важную вещь:

LAM (Large Action Model) или Computer-Using Agent (CUA) это не просто API:
- Нужно понимать интерфейс на уровне ОС
- Важна работа с визуальными элементами
- Нужен контекст действий
Или просто говоря нужны кейсы

Текущие решения застряли между
- API интеграцией (быстро но ограниченно)
- Визуальным интерфейсом (гибко но ненадёжно)

Что дальше?

Нужны реальные бизнес-кейсы я пока их не вижу
1) Не просто "круто, работает"
2) А "решает конкретную проблему"
3) С измеримой выгодой?

Развитие в двух направлениях
1) Специализированные агенты под конкретные задачи
2) Универсальные системные помощники

Operator крутой, опенсорс развивается, но главный вопрос остаётся - где это реально применять? Пока что выглядит как дорогая игрушка для энтузиастов.

Как думаете, какие реальные применения могут быть у таких агентов?


Browser Use (89% точности в бенчмарках)

Репо: https://github.com/browser-use/browser-use

Computer Use (52% точности, но умеет больше)

Репо: https://github.com/anthropics/anthropic-quickstarts/tree/main/computer-use-demo

Stagehand (гибридное решение)

Репо: https://github.com/browserbase/stagehan

Значит, смотрите, все как учил вас в 2025!

Сначала отстреливаем каждую из семи щупалец. После того как он перестанет вас хватать, целимся в светящийся оранжевый треугольник, между сенсорами. Как убьете, не подходите сразу для сбора дропа — после смерти они, как правило, взрываются!