Короткий обзор распаковка 4090(48GB)

Про шум
Про особенности работы
И какие бывают подводные

Вопросы:

А в чем прикол перестановки чипа? Если карта новая то кто переставлял? Немного запутанно

Ответ:

Завод пилит 4090 (24гб)

Хотим 48гб

готовим под 48 гб всю плату с 0 но без ЦП (центральный процессор)


Снимаем ЦП с 4090(24гб) на подготовленную плату

Зашиваем биос успех (миниум дейсвтий и вы красачег с 4090 (48гб)

Пока готовлю свой бенч Harness Hardware Long Benchmark (HHLB) мысль пришла в голову

Агент = VM, а не процесс и даже не docker

Почему? 90% задач из повседневной жизни по автоматизации становятся почти ничем на измеримом уровне, теперь агенты требуют больше железа, и доступов а значит им нужна инфраструктура и докером тут не обойтись уже

Я вижу будущее general code agents в облаках и инфре крупных компаниях именно так

KVM-виртуалка с одним бинарником general code agent (Claude Code, Codex CLI, OpenCode) вызывается headless из любого места по API (тут что хотите хоть вебсокеты)
Минимальное железо: 1 CPU, 1 GB RAM, 20 GB SSD.

Машине выданы все доступы — сеть, модели, инфраструктура, базы знаний,
При инициализации загружается AGENTS.md/CLAUDE.md с целеполаганием и задачами
Дальше агент должен работать автономно

Ключевое отличие от текущих подходов: агент может сам улучшать свой runtime ставить зависимости, менять конфиги,
добавлять тулы все как ouroboros только масштабнее
Всё на уровне изоляции KVM, не процесс где-то на чьём-то ПК а прям qcow2

И самое важное snapshots не просто промпт версионируем, или гит внутрь закидываем
А прям снапоштим всю ВМ
В любой момент можно откатить состояние всей VM, а не пытаться откатить промпт и логикой удалить все зависимости

Сломал себя? snapshot-revert и ты в рабочей точке
Но возможно я начитался новостей и просто кто-то уже напилит запуск таких 1000 VM на 16 ядрах

Выиграет тот кто сможет создать устойчивую инфрастуруктуру и подготовить процессы и железо под этот формат

Делаем второй комьюнити стрим

Итак, в эту субботу в 14.00 по МСК будет наш второй zoom-созвон, отвечаем на любые ваши вопросы.

На этот раз в жюри шоу Голос:
- Валера @neuraldeep
- Рефат @nobilix
- секретный гость - Мистер X

Правила все те же - это просто zoom звонок, вы на него залетаете, поднимаете руку, включаете камеру (если одеты) и спрашиваете что душе угодно:

- сколько первых мест возьмут openclaw агенты в bitgn 11 апреля? (все, но не твой крабик на кими)

- какой лучший курс купить по ИИ в 2026 году? (но ответ уже есть)

- будут ли n8n инженеры получать 600к к концу 2026 года? (да, можно и про n8n в этот раз)

- ...и что-то посерьезнее, плиииз!


Ссылка на Google Calendar:
https://calendar.app.google/C6CTc7uRF2GVL1fp8

SEE YOU THERE 👊🏻

Кидайте заранее вопросы в комменты, останется время - поотвечаем на них

Скандальчик очередной с атакой на цепочку поставок. На сей раз под ударом все кто имеют в цепочке зависимостей библиотку axios в npm (очень популярная библиотека для сетевых запросов).

Более пяти часов она ставила зашифрованный малварь на машины жертв. Объемы инсталляций библиотеки— 100 млн в месяц, так что заражены могут быть миллионы машин.

Проверяйте себя

https://x.com/feross/status/2038807290422370479?s=46&t=X0WelBfVXZJ6DwiINUU8mA

Если вы запускали npm install в последние сутки: Проверка, попали ли вы под атаку:

# blackhole C2 Domain
echo '127.0.0.1 sfrclak.com' | sudo tee -a /etc/hosts

# flush DNS cache for good measure
sudo dscacheutil -flushcache

# check for IoC - if this file exists you are pwned
# shut down your machine immediately
ls /Library/Caches/com.apple.act.mond

Сижу перевекторизирую 235 млн сообщений с miniLM на bge-m3

Данные уже в opensearch, модель поднята на A100, казалось бы — запусти скрипт и иди спать

Но нет. ML кластер с A100 в одном сегменте сети, opensearch в другом, я со своим ноутом на корпоративном VPN в третьем. Скрипт надо запихать поближе к данным а доступов нет. Сказка да и только, буду пробиваться через техподдержку

Это ещё до того как я посчитал что встроенный ingest pipeline opensearch гоняет документы по одному — каждый = отдельный HTTP запрос к модели. 235 млн × 25ms = 68 дней. Но может я ошибаюсь и кто-то подскажет как правильно? Может как скролл настроить правильно?

Написал внешний скрипт с батчингом 3000 docs/s (воу), 21 час вместо 68 дней. Осталось его доставить туда где он сможет достучаться до обоих сервисов одновременно с минимальной задержкой

По пути vLLM v0.18.0 тихо убрал --task embed (узнал через краш в 2 ночи), потом CUDA graphs баг в RoBERTa который попал в релиз раньше фикса. A100 80GB при этом занята на 8.7 из 80 что смешно — тестами с клодом пришёл к тому что 5 контейнеров vLLM это максимум для утилизации GPU, поставил traefik перед ними для балансировки

Реалии корпоративного AI/LLM/ML зоопарка (расскажу как-нибудь в следующих постах про это)

Вот из таких историй и складывается реальный ML на проде не из красивых архитектурных схем а из сетевых сегментов, крашей в 2 ночи и 68 дней которые надо превратить в 21 час

В прошлом году на Data Fusion подсмотрел как ребята тренят классификаторы на катбусте под гарды — вернулся и собрал свой guardrails v2 на этом подходе. Сэкономил недели которые бы потратил на эксперименты с архитектурой

В этом году иду за кейсами по массивным ML пайплайнам потому что вот это всё с переиндексацией 235 млн документов явно не последний раз

И в этом году Data Fusion 2026 сделали аж более 70 сессий, ИИ-агенты, RL, CV, NLP, робототехника, рекомендательные системы, AI в кибербезопасности и науке. ML-лиды, DS, инженеры, исследователи и бизнес на одной площадке, спикеры из ВТБ, AIRI, МФТИ, Сколтеха, Яндекса, X5, Ростелекома

Я планирую приехать, если кто тоже будет пишите, пересечёмся поговорим про этот вот все =)

Митап с Валерой Ковальским про SGR, GraphRAG по коду и его воркфлоу

Ну, в AI индустрии Валеру не знает, наверно, только ленивый. Но на всякий случай:

- Head of AI Engineering, автор канала @neuraldeep
- Популяризатор SGR подхода (Scheme-Guided Reasoning) и автор популярного фреймворка-реализации SGR https://github.com/vamplabAI/sgr-agent-core (1100+ звезд!)
- Автор 10+ опенсорс проектов, включая ру базу скиллов https://neuraldeep.ru
- Наверное, один из наиболее востребованных экспертов по RAG и агентным системам в СНГ.

Что будет на митапе?
В прямом эфире создадим агента по SGR, который собирает связи по кодовой базе для последующего создания GraphRAG. Но самое интересное, что агента мы будем кодить вместе с Валерой по его воркфлоу (а значит, мы узнаем почему в узких кругах Валеру называют "120 минут").

Встречаемся сегодня в 14:00 по МСК онлайн.
Ссылка на встречу: https://luma.com/dheyf8hl

Мы в эфире с Валерой: https://www.youtube.com/watch?v=cMRo2CYrRNQ

Мне стало страшно перезагружать нотубук и потом искать все сессии в терминале

В папках ./claude ./codex лежало спокойствие
И я решил навайбкодить дашборд для сессий Claude Code + Codex (дабы не рыскать по сессиям в терминале)

Встречайте CodeDash для тех кто любит терминал, и не нашел еще решения такой проблемы, или если вы нашли присылайте в коментарии app не предлагать =)

npx codedash-app@latest run

ну и по классике вы всегда можете допилить что хотите сами

Репо: https://github.com/vakovalskii/codedash


Добавил легкий переезд сессий с одного пк на другой codedash export / codedash import читайте в репо

Ссылка на зум: https://us06web.zoom.us/j/85633161275?pwd=MH9bycZ9k1kPv3sYRuV9C66aDJQWva.1

Вопрос 1
14: 01 Вопросы про память у кодинг агентов как организовывать документацию

Залетайте задать свой вопрос!

Следующий вопрос 2

14:10 Что будет актуально через время какой запрос у бизнеса будет дальше после агентов

Следующий вопрос 3

14:25 Что интересного нашли в утечках claude code

Следующий вопрос 4-5

14:30 Локальные модели? Стоит ли работяге их катать? На локал компе и каком
14:35 Агностики ЛЛМ/Луддиты в компании что с ними делать?

Следующий вопрос 5

14:45 Как определить какие задачи передавать агентам и как их делать детерминированно? Как доверять ответам агентов?

Следующий вопрос 6

14:55 Как проверять нейрослоп от агента? Людьми? Есть ли способ автоматизировать?

Следующий вопрос 7

14:55 Карьера? Зарабатывает ли AI Инженер больше других простых инженеров? Куда учится или свопится?

15:10 Как найти эксперта? И как найти сеньеров для продакшена?

15:15 Как все таки вести документацию есть ли лайхаки? Нужно ли упарываться?

15:25 Как протащить ИИ инструменты через СБ? Где граница потери процесса обучения, мы теряем детали?

К нам присоединился Коля автор канала https://t.iss.one/oestick

https://us06web.zoom.us/j/85633161275?pwd=MH9bycZ9k1kPv3sYRuV9C66aDJQWva.1

Весь мой вайбкод одним предложением!

За мем спасибо Дяде

NeuralDeep апдейт за две недели

(база знаний для агентов)

Пара цифр для затравки:
— 42 навыка и MCP сервера в каталоге (было 15 на старте)
— 38 скиллов + 4 MCP сервера
— 94 зарегистрированных пользователя
— 426 установок через CLI
— 16 авторов-контрибьюторов

За последнюю неделю прилетело 10 новых поинтов от комьюнити:

DaData (скилл + MCP) — проверка контрагентов, валидация адресов, 31 инструмент
Ozon Seller API — работа с маркетплейсом Ozon через агент
ZenMoney — интеграция с финансовым трекером.
MPStats — аналитика маркетплейсов
SberMobile — мобильный Сбер. Автор: Лев
Travel Search RU — поиск билетов и туров
xBSL AI Skills — 1С:BSL разработка
Neural Deep Search — мультимодальный поиск SearXNG+Tavily для self-hosted

Что нового по фичам:

Личный кабинет — теперь каждый автор может редактировать и удалять свои навыки прямо на сайте (neuraldeep.ru/dashboard)

Сортировка по дате — на всех страницах (навыки, MCP, CLI) теперь можно отсортировать по новизне, звёздам

Комментарии на MCP — раньше были только на скиллах

RU-метки — проверили и раздали всем российским сервисам правильные теги

Тесты контента — CI теперь гоняет аудит: пустые теги, кривые имена, битые данные не пролезут
Trending 24h — починен подсчёт (раньше считал с начала времён, теперь честные 24 часа)

Топ по установкам:
1. 1С Enterprise — 94
2. Яндекс Wordstat — 61
3. Яндекс Метрика — 49
4. Яндекс Вебмастер — 33
5. Битрикс24 — 27

Проект open source, любой может залить свой скилл или MCP через GitHub

Сайт: neuraldeep.ru
Репо: github.com/vakovalskii/neuraldeep

Stay Tuned!

Tool Calling на максималках для хард инженеров

Как на самом деле работает Tool Calling: от HTTP до парсеров

Саша @polyakovbest затронул тему неточности на курсах ШАД про tool calling
Все правы но каждый в своём слое, я даже ответил достаточно развернуто в комментариях

Давайте закрепим как это работает по-настоящему, я залезал в кишки vLLM и переписывал парсер для тулов чтобы проследить весь путь

Три слоя одной правды

Лектор ШАД говорит: «тулы передаются через системный промпт». Саша поправляет: «тулы объявляются в отдельной секции API-запроса». Оба правы, но на разных уровнях абстракции.

Вот что происходит на самом деле (см. диаграмму):

Слой 1: HTTP-запрос
Ты отправляешь tools: [...] отдельной секцией
На уровне API это отдельное поле, не system prompt
Саша тут прав на 1000%.

Слой 2: Chat Template (Jinja2)
Вот тут начинается магия
Открываем tokenizer_config.json любой модели (Qwen3, Hermes и т.д.):

{%- if tools %}
  "# Tools\n\nYou may call one or more functions..."
  <tools>{tool schemas}</tools>

Chat template берёт твои tools: [...] и рендерит их ПРЯМО в system prompt. Лектор ШАД на этом уровне не врёт (но вводит в заблуждение если не раскрывает сути дальше)

Слой 3: Constrained Decoding (xgrammar)
Параллельно JSON-схемы тулов попадают в guided_decoding=GuidedDecodingParams(json={...})
Это xgrammar/outlines — constrained decoding на уровне логитов та магическая штука что заставляет тулы возвращаться не сломанными и со всеми аргументами что вы заложили на старте
Модель физически не может сгенерировать невалидный JSON, маска токенов не даст

Слой 4: Hermes Parser (post-processing)
Модель генерит обычный текст: <tool_call>{"name": "...", "arguments": {...}}</tool_call>
Это приходит в поле content
Парсер Hermes ловит XML-теги, извлекает JSON и перекладывает в структурированный ответ

Важный нюанс: tool_calls: null, finish_reason: "stop"
Не tool_use!
Парсер делает всю магию post-processing'ом. Инженерия, да и только.

Почему важно изучать матчасть всю а не по кусочкам? И Саша поднимает очень крутую тему с тем что стоит смотреть чуть чуть дальше доки)

Все банально, залезть в chat template, поднять модельку самому, вывести full логи (это уровень тру llm инженеров) и на этот уровень почти никто не заглядывает, редко вижу где авторы разбирают логиты или темплейты или уж упаси того за ногу запуск чего-то экзотического с разбором инференс движка

На сегодня очень небольшой список тех за кем я слежу и читаю, это те кто лезет настолько глубого в инференс и выкладывает что-то на гитхаб что даже я разбираю их посты с гуглом в обнимку!

https://t.iss.one/evilfreelancer (Паша очень хардовый инженер по обучение запуску и девопсу)
https://t.iss.one/sergeinotevskii (Сергей, лично тоже. наком рулит всей AI платформой в Bitrix)

Но вы будете так же правы если на сегодня не сталкиваетесь с проблемами tool call при работе с облачными моделями, оно вам не текущем этапе жизни точно не нужно


Проприетарные API (Anthropic, OpenAI) прячут всё это серверно ты не видишь ни chat template, ни constrained decoding, ни парсер
Получаешь красивый tool_calls: [{...}] и finish_reason: tool_use
Но внутри ровно та же цепочка, это просто стоит понимать

Ранее разбирал историю SO + FC + MCP в трёх частях: [часть 1] | [часть 2] | [часть 3]

В коментариях прислал пример полного запроса в LLM когда включен максимальный уровень дебага в vLLM

Считаю базой то что сюда надо заглянуть любому уважающему себя инженеру
Не обязательно переписывать парсер но понимать контракт между API, chat template и constrained decoding нужно
Между инференс-фреймворком и провайдером существует контракт что и куда попадает через chat template
Старайтесь не нарушать его и изучать как он работает
Иначе ты не инженер, а пользователь чужих абстракций