Вайб Цех

Первый раз в жизни собираю митап!

Когда мы прогоняли сегодня с ребятами материал для конфы я понял, мы собрали реально очень полезную инфу для вас!

И от 0 и до 100 по сложности есть!

Значит будет интересно!

Ссылка на онлайн стрим https://red-mad-robot.timepad.ru/event/3605115/

25.10.2025


Дядя вещает вещи: https://t.iss.one/dealerAI

UPDATE OpenAI deactivating (пост тут)

Нашел причину бана своих акков! Вырубайте enable_preview_features=False

Оказалось проблема была не в IP и не в RU тексте

LiteLLM сливал все внутренние метаданные прокси напрямую в OpenAI

Что утекало

Если клиент передавал хоть какую то metadata (например sessionId в теле реквеста то LiteLLM добавлял к ней ВСЮ внутреннюю инфу прокси хотя должен был писать во внутренний лог

{
  "metadata": {
    "sessionId": "abc-123",              // от клиента
    "headers": {                          // ВСЁ ЭТО УТЕКАЛО
      "x-real-ip": "1.2.3.4",
      "x-forwarded-for": "5.6.7.8, ...",
      "user-agent": "RestSharp/112.1.0"
    },
    "user_api_key_spend": 287.83,
    "endpoint": "https://my-proxy.com/..."
  }
}

OpenAI видел (лайт ллм душка прям все собирал)
Все IP адреса через x-forwarded-for
Что вы используете прокси
Информацию о расходах и ключах
User-Agent = автоматизация
Внутреннюю структуру сервиса

→ Бан 3 аккаунтов (одному было 2 года обидно)

Как это произошло

У меня появилось приложение клиент которого использует RestSharp для подключения к прокси (популярная C# библиотека 9.8k звезд) просто передавал sessionId для трекинга (честно не знаю то ли это клиент делает то ли разработчик)

metadata = new { sessionId = "abc-123" }

Прям внутрь реквеста к ллм

        "role": "user",
        "content": "Привет! Как дела?"
      }
    ],
    "temperature": 1,
    "metadata": {
      "sessionId": "a5b3e26b-18c7-4017-9bcd-c2db6e450f78"
    },
    "stream_options": {
      "include_usage": true
    }
  }'

И всё LiteLLM начинал сливать всю инфу в OpenAI

Код проблемы, пока нашел с курсором но передал так же людям проверить!

https://github.com/BerriAI/litellm/blob/main/litellm/proxy/litellm_pre_call_utils.py#L892

https://github.com/BerriAI/litellm/blob/main/litellm/proxy/proxy_server.py#L7855

https://github.com/BerriAI/litellm/blob/main/litellm/proxy/route_llm_request.py#L122

https://github.com/BerriAI/litellm/blob/main/litellm/llms/openai/chat/gpt_transformation.py#L436


Вы в зоне риска если
Используете LiteLLM Proxy
Клиенты передают metadata
Используете nginx перед LiteLLM
В РФ + VPS за рубежом

Большинство клиентов не передают metadata вообще и юзают обычные клиенты на питоне типа AsyncOpenAI
Но если хоть один клиент начинает использовать metadata утечка уже началась....


Кто на LiteLLM и ходит к openai напрямую проверьте это по списку

1 Проверьте логи что реально уходит к провайдеру (сделайте тест с передачей метадаты)
2 Временно запретите клиентам передавать metadata


UPDATE: необходимо вырубать enable_preview_features=False без него мы проверили трафик и все чисто)

Далее буду осторожнее
Со мной такое в первый раз (за один акк прям обидно 2 года ему было)

n8n+SGR?

Кастомная нода?

Автор: @mixaill76

Ждемс

Чем больше огоньков, тем быстрее Миша выпустит это в open source, а мы с ним запишем стрим как это все быстро настроить 🔥

Миша подключился прогревать вас, переосмысленное посторонние ReAct агентов: https://t.iss.one/neuraldeepchat/22012

N8N+SGR

Вы конечно жестко умеете мотивировать 200+ реакций

Миша за сегодня все оформил и выложил, встречаете!

Репо_форк:
https://github.com/vamplabAI/n8n-nodes-sgr-tool-calling


Репо_main: https://github.com/MiXaiLL76/n8n-nodes-sgr-tool-calling


Скачать готовую ноду: https://www.npmjs.com/package/n8n-nodes-sgr-tool-calling

Делимся в коментах куда будете интегрировать!

Заходите в чатик, там будет трансляция начало в 10 по МСК


https://t.iss.one/vibe_tseh_bot?start=68ecea57695764f721310ded

Пост для вопросов к митапу

Ищем стажёра-исследователя в мою команду R&D red_mad_robot

Ты будешь на передовой технологий: исследовать тренды, тестировать идеи и собирать прототипы. Работать в команде с исследователями, техписателями и продакт-менеджерами. Поэтому когда чего-то не знаешь — поможем разобраться и поддержим на каждом этапе.

Если тебе в кайф разбираться в сложных темах и создавать новые решения — нам по пути.

Что ждёт тебя
- участие в реальных R&D-проектах в области машинного обучения и обработки естественного языка;
- разработка прототипов и проведение исследований на Python;
- работа с LLM: промпт-инжиниринг, API (Hugging Face, OpenAI), архитектура трансформеров (BERT, GPT);
- анализ данных и их подготовка.

Что важно
- базовые знания Python и работы с данными;
- понимание train/val/test, overfitting и других основ ML/NLP;
- интерес к LLM и желание развиваться в этой области;
- самостоятельность и внимательность к деталям.

Что предлагаем
- участие в проектах, которые двигают рынок технологий;
- менторство от экспертов red_mad_robot;
- возможность работать удалённо или из офиса;
- белую зарплату, ДМС и все привычные плюшки.

Мы верим, что R&D — это возможность создавать новое, а не просто выполнять задачи.

Отправляй резюме и портфолио в @VaKovaLskii

P.S присылай в лс с тегов #red_mad_robot

Залипаю тут на проект https://nof1.ai/ — Live Arena, где модельки (Claude 4.5 Sonnet, DeepSeek V3.1 Chat, Gemini 2.5 Pro, GPT 5, Grok 4, Qwen 3 Max) соревнуются в трейдинге.

Реальные деньги, реальный рынок. Старт был 18 октября и продлится до 3 ноября.

К сегодняшнему дню DeepSeek уже удвоился, в то время как GPT 5 с Gemini в сильной просадке.

Из интересного в проекте — можно смотреть все сделки и логику принятия решения по каждому трейду.

Модельки — горячие трейдеры)) Меньше 10го плеча не заходят.

Закинуть что ли косарик на DeepSeek для теста?

@alexs_journal

Попытал удачу на реддит

https://www.reddit.com/r/LocalLLaMA/comments/1ohh1l2/86_accuracy_on_simpleqa_with_gpt41mini_opensource/

А вдруг)))

ROMA так и поднял 5к звезд


P.S Накидайте + плиз

gpt-oss-safeguard-20b

https://openai.com/index/introducing-gpt-oss-safeguard/

https://huggingface.co/openai/gpt-oss-safeguard-20b


Очень хорошая новость (две новых модельки для guardrails)

Хочется отметить что на мой взгляд обучение своих моделей для задач модерации на базе BERT/Presido все еще актуально из за inference time

Но если вы небольшой стартап и у вас есть пару 4090 то мой рекомендасйон

Из коробки надо промптить под свои задачи (в целом ок, интересно что с SO у vLLM будет и как будут падать метрики так как ризон + SO не совместимы как я помню)

новость от сюда Data Secret

Други, дорогие, Вы очень многое сделали для канала. Пришла благая весть, наш админ попал в историю. Хорошую.

Он в шорт-листе премии RuCode2025

И ему нужна Ваша поддержка)

https://vk.com/wall-44001716_10214

Дядя - Абрамов Александр)

После нашего крутого Вайб Цех () хочу отметить еще один ивент на который пойду — Conversations

Кстати, до конца года будет еще 3-4 ивента на которых буду лично или выступать (ждите анонсов)

Часто вижу мало технических докладов, но в этот раз вижу сильные "названия":

Самокат про GenAI-поиск
От «что-то к чаю» до +N% к продажам: строим и масштабируем поисковый GenAI-сервис в Самокате — Арнольд Сааков, ecom.tech
Тут надеюсь что-то про разметку будет

MCP для оптимизации экономики
LLM для слов, MCP для цифр: как можно оптимизировать экономику проектов с помощью MCP-серверов — Иван Четвериков, Raft
Очень хочу послушать про MCP, надеюсь затронут локальные LLM

Conversations пройдет в Москве 5 декабря. Буду там в роли слушателя!

P.S. Полную программу можно посмотреть на сайте

Startup pack от Kovalskii как за вечера собрать два MVP?

Меня спросили, какой стек я использую для запуска MVP и что
легко упаковывается для проверки гипотез через AI Coding

Покажу на примере двух проектов, которые активно развиваю по вечерам сам

1) https://speechcoreai.com/ — ASR платформа

Frontend

Vue.js 3 + TypeScript + Vite, Pinia для стейта, TailwindCSS

Browser Extension

Vanilla JavaScript, Chrome Manifest V3

Backend

FastAPI + Uvicorn, MongoDB + Motor async, Redis для очередей и кеша, MinIO как S3-хранилище

Auth

Google OAuth 2.0, JWT tokens

AI/ML

WhisperX + PyTorch CUDA, OpenAI API для саммаризации, WebSockets для real-time

Infrastructure

Docker Compose, Nginx

Железо: Ryzen 9 + 64GB RAM + RTX 4500

Время разработки: 4 недели по вечерам + помощь Артема


2) https://chat.sgr-core.com/ — Research AI агент

Второй MVP собрал за 3 дня, переиспользуя наработки из первого

Frontend

Vue 3 + TypeScript + Vite, Feature-Sliced Design

Backend

FastAPI + PostgreSQL 18 (вместо MongoDB), asyncpg connection pool, Server-Sent Events для стриминга

Auth

Google OAuth 2.0, JWT через python-jose

Search & AI

Tavily API + trafilatura, Schema-Guided Reasoning,
Multi-tool orchestration,
OpenAI SDK async для работы с моделями,
Memory через файловую систему

Infrastructure

Docker Compose, PostgreSQL + Adminer, Nginx (Знакомо? ага все сложное очень просто)

Железо: VPS с 4 ядрами и 8GB RAM

Тут уже справился почти в одиночку (первый драфт фронта собирал senior фронт далее я его забрал на ai код доработки)


Что переиспользуется между проектами

Frontend Vue 3 + Vite + Pinia проверенный стек
FastAPI + Pydantic быстро и типобезопасно
Auth Google OAuth + JWT без переписывания
Работа с моделями OpenAI SDK async паттерны
Docker Compose одна команда запуска
Nginx знакомая конфигурация (быстрый конфиг и upstream)


Моя рекомендация

Не обвязывайся на старте Vercel/Supabase/AWS сервисами

Первый проект живет на обычном сервере: Ryzen 7 + 32GB RAM + RTX 4070
Второй на простой виртуалке: 4 ядра + 8GB RAM

Зачем оверкилл? (Увидел у ребят в одном видосе как они на k8s собирают проект с кол-во юзеров ну максимум 1rps обеспечат в пик (так тоже можно но зачем?))

Не стоит упарываться в k8s или федеративное масштабирование для MVP!
Если не уверен, что обеспечишь прирост пользователей x100-x1000 от друзей и комьюнити не борщи

Могу привести в пример несколько проектов которые знаю что ребята живут на 1-2 виртуалках чуть ли не через screen запуская свой продукт и делают ставку на привлечение пользователей а не на ублажение арх паттернов, оставьте эти решения до 1 млн MAU и 100 rps к базе

Как я вижу чаще продукты решают масштабирование по мере роста, а не заранее (только если не уверены в том что знают как дотянутся до аудитории)


Держи базовый стек знакомым Vue + FastAPI + Docker (пример)
Переиспользуй auth и работу с моделями
Меняй только критичное под задачу
Валидируй гипотезу, а не архитектуру

От идеи до рабочего MVP: 3-6 недели по вечерам (при моей загрузке)

Стек выше самодостаточен для проверки идей и может быть переиспользован (сохраняй!)

P.S Не истина в последней инстанции, делитесь и вашими паками в комментариях!