Настроим рабочее место разработчика
Попробуем уложится в 1-2 часа

Ну что чутка раньше начнем
Раньше закончим!

https://telemost.360.yandex.ru/live/eec190763e54494891c33a2f092cd9e2

Всем спасибо за участие! Стрим завершился

Мы собрали более 350 зрителей на стартовом вводном стриме «Как настроить рабочее место разработчика по мнению Валеры Ковальского».

Пишите в комментариях, что бы вы хотели разобрать в следующих сериях.
Отберу лучшие запросы и разберем!

Что мы ставили и настраивали тут

Запись будет!

После вступления в группу для коментов не забывайте пройти капчу по ссылке https://t.iss.one/neuraldeepchat

Сколько на самом деле стоит 1M токенов на своём железе

Сделал калькулятор того, как стоимость своего GPU переходит в себестоимость токенов.
Оказалось, что достаточно нетривиальная задача, тк челленджит все знания об LLM: как работают слои, чем MoE отличается от dense, как устроен KV cache. В общем обновил по пути все свои знания GenAI. Понятно, что куча допущений внутри, а параметры собирал Fable, надо тестировать на реальных серверах, но это может быть отправной точкой.

Что по выводам?

• Строить или покупать — это вопрос утилизации, не технологии. Сможет ли сервис создать высоукую утилизацию сервера и есть ключевой вопрос.
• MoE — скидка на скорость, но не на память. Кол-во активных параметров 3 млрд из 35: карта пишет быстро, но веса лежат целиком. Отсюда контринтуитивный результат: большие MoE модели на дешёвых картах — экономически лучшая пара, пока хватает VRAM.
• ROI-ловушка. 390% годовых и выше работает при УЖЕ НАЙДЕННОМ спросе; поиск клиентов, SLA, биллинг в модели не учтены. Поэтому супер важно обеспечить потребление, а не накупить дорогих игрушек.

Скачивайте, подставляйте свои данные и посмотрите себестоимость. Найдете ошибки - дайте знать)

Илья Филиппов

Copyosity 1.0.0 первый стабильный релиз

Давайте рассматривать это все как эксперимент!

Иногда по вечерами, и вот он
нативный менеджер буфера обмена для macOS, который реально понимает то, что ты копируешь и нравится в первую очередь он мне лично =) Реальность персональных аппов тут как тут! Крч делал исключительно для себя любимого, что бы мне было удобно и все нравилось + опыт!

Не электрон-помойка как мы привыкли видеть, а Tauri + Rust + Apple Vision под капотом
Живёт в менюбаре и не отсвечивает, пока не позовёшь.

История буфера всё скопированное, полнотекстовый поиск, закрепление, коллекции
Локальная SQLite, ничего не улетает
OCR на устройстве скопировал скриншот текст внутри картинки ищется через Apple Vision, без облака

Голос в текст зажал хоткей, наговорил, вставил чистый текст с пунктуацией
Командная палитра с ИИ-агентом полноценный ReAct-чат: видно тулколлы и reasoning, диалог можно продолжать
Веб-поиск, заметки, напоминания, календарь прямо из палитры
Хоткеи на всё ⌘⇧V история, ⌘⇧C меню у курсора, ⌘⇧Space палитра, ⌥Space голос
Итеграция с neuraldeep.ru для получения доступа к моделям

Главное для 1.0: автообновление наконец работает как надо тянет подписанные апдейты с GitHub и ставит сам
Всё подписано Developer ID, нотаризовано Apple Gatekeeper открывает чисто даже офлайн
Есть сборки под Apple Silicon и Intel, Windows(скоро)

Из идей сделать синк между устройствами
И редизайн настроек
Может чуть чуть поколдую с агентом

Байт на коменты )))))

⬇️ https://vakovalskii.github.io/copyosity/
🐙 https://github.com/vakovalskii/copyosity

Сегодня выступаю на ML&DS Offstage от Ozon.

Собираемся закрытым составом ML- и DS-инженеров, тема вечера - агенты, поиск и LLM-платформы.

Мой доклад про SGR Agent Core, открытый фреймворк для агентов, расскажу, как и зачем на нём собирать своих агентов, на примерах конфигов, схемах и в коде.

Мой слот начинается в 20:35, заглядывайте в гости.

А вы забыли уже про SGR Agent Core?

А оно живет и развивается!

https://github.com/vamplabAI/sgr-agent-core

Kimi K3

Ждем весов, будет 2.5T не меньше!

UPDATE:

https://www.kimi.com/blog/kimi-k3

Говорят рвет все что только было до этого

Мы начинаем наш стрим "Харнесс будущего. Какой он?"

Подключайтесь: https://youtube.com/live/LAUdN1-4mgI

Говорить с Qwen на одном языке

Давно хотел выложить свои локальные наработки для агентов и промптинга Qwen через кодинг агентов

Выложил гайд и skill для того, чтобы строить и промптить под модели семейства Qwen3.x на их родном диалекте так, как это делает сама Alibaba.

РЕПО: https://github.com/vakovalskii/qwen-native-agents

Да((

Kimi K3 - в топе бенчмарка LLM для агентов

По очкам модель сравнима с GPT-5.5 Pro, но раз в 15 дешевле и раза в 2 быстрее. С такими показателями она автоматом попадает на оба Парето-Фронта, сдвигая их.

Эта модель с открытыми весами размером аж в 2.8T параметров, веса обещают выложить в открытый доступ 27 июля.

Из минусов - гигантский размер и большее количество пропущенных уязвимостей. Но плюсы перевешивают. Модель с открытыми весами впервые в топе моего бенчмарка LLM на бизнес задачах (среди всех трех поколений, которые тянутся с 2023 года).

Очень круто, что засилье OpenAI моделей в топах наконец прервано. Будем теперь ждать, пока открытым модели поменьше не подвинут с фронтира и остальные экземпляры OpenAI!

Ваш, @llm_under_hood 🤗

От менеджера сессий к мультитерминальному решению

Я решил угореть и заснуть терминал прямо в наше с вами решении https://github.com/vakovalskii/codbash 230+ звезд 20+ контрибутеров

За 3 месяца разработки мы поддержали и встроили более 10 CLI-агентных решений для анализа и менедж сессий

Zero-deps не очень получилось поддержать =)

Зато теперь можно прокинуть такой браузер наружу и кодить по сети =), или поставить только cli или запускать через браузер или поставить dmg

Что-то начало к чему-то большему.

И я ушел с Iterm2 на Codbash.

Все так же в open-source.

Присоединяйтесь в сообщество более 20 контрибьюторов! (планирую раздачу подписок на neuraldeep.ru всем активным!)

Установить DMG

Вообще, как вы видите сейчас, нефть будущего — это вовсе не софт, а железки. Покрайней мере, пока мы не вошли в сингулярность, когда ИИ начнет штамповать их
себе самостоятельно.

Всем бизнесам нужен инференс, но есть проблема: когда компании переводят процессы на LLM, они просто охреневают от счетов за API OpenAI или Claude.

Рынок ломается о стоимость вычислений. Которые можно сильно сократить, если оптимизировать косты на железо и работать со специализированными небольшими моделями, четко подобранными под задачу.

К чему это я?

Мы с @neuraldeep хотим построить свой AI-датацентр в Европе. Мы даем бизнесу тот же результат, но в 90–100 раз дешевле крупных провайдеров.

Продуктово это не просто классический хостинг, а хаб, где мы монетизируем одну железяку трижды: продаем голые токены, сдаем GPU в аренду и продаем бандлы подписок на AI-продукты (чат, RAG, OCR, транскрибация и т.д.).

Самое важное: хаб уже работает в проде и генерит кэш. Без копейки платного маркетинга откручено 21.9 млрд токенов, за 2 месяца, собрано более 1000 платящих юзеров, а операционная маржинальность инференса 90%.

Сейчас мы поднимаем Seed-раунд на $5M (за 25% доли, оценка $20M post-money),
чтобы кратно отмасштабировать флот серверов на весь мир.

Почему мы порвем этот рынок:

1) Идеальная локация. Я живу в хостинговой столице мира — Финляндии. Тут самая дешевая электроэнергия в ЕС и сосредоточены мощности Google, Microsoft, Hetzner, Небиус. В самой Финке нет амазона Амазона (мы платим за доставку из Германии), зато есть его датацентры.
2) Налоги. Местная система может отбирать 60% с зарплаты, но зато максимально благосклонно относится к реинвестированию хоть в трактора хоть в видеокарты. Будем эффективно списывать затраты на железо.
3) Умный CAPEX. Мы не сжигаем капитал на флагманские стойки с B300 под жидкостным охлаждением за бешеные миллионы. Наша ниша позволяет использовать просьюмерские RTX PRO 6000 — это дает нам на 58% больше токенов на каждый вложенный доллар.
4) Валера (@neuraldeep) — абсолютно гениальный технарь с лояльной аудиторией в 15k AI-разработчиков, который готов это отскелить на любой масштаб.

В отличие от венчура, где 90% хипстерских стартапов проедают деньги и закрываются, у нас большая часть раунда пойдет напрямую в закупку GPU.

Это хард-ассет бизнес. Риски даунсайда минимальны: даже если всё пойдет по одному месту, GPU сохраняют свою ликвидность и их можно продать любому другому датацентру, которым сейчас не хватает свободных мощностей. Вы инвестируете в ликвидное железо с окупаемостью 10-15 месяцев, а не в воздух.

Рынок GPU-инфраструктуры сейчас горячий как никогда, и окно возможностей открыто именно сейчас.

Так что если вы инвестор и вам интересно вложиться в понятную AI-инфраструктуру с подтвержденной экономикой — велкам в личку. Пришлю наш питч-дек, финмодель под NDA и отвечу на любые вопросы.