🤖 Красота! Теперь сделать собственного AI-агента стало проще простого
Достаточно выполнить:
>
и буквально за 6 строк кода на Python вы получите ИИ-агента, который может искать и получать информацию через Google Chrome MCP DevTools.
💡 Самое интересное — вы всего в 1–2 шагах от того, чтобы подключить Gepa и автоматически оптимизировать промпты вашего агента.
То есть агент не просто отвечает, а постепенно учится улучшать свои результаты.
🚀 Минимум кода — максимум возможностей.
#Python #AI #dspy #MCP #PromptEngineering #Gepa
https://github.com/mainak55512/qwe
@pythonl
Достаточно выполнить:
>
uv pip install mcp2py dspy и буквально за 6 строк кода на Python вы получите ИИ-агента, который может искать и получать информацию через Google Chrome MCP DevTools.
💡 Самое интересное — вы всего в 1–2 шагах от того, чтобы подключить Gepa и автоматически оптимизировать промпты вашего агента.
То есть агент не просто отвечает, а постепенно учится улучшать свои результаты.
🚀 Минимум кода — максимум возможностей.
#Python #AI #dspy #MCP #PromptEngineering #Gepa
https://github.com/mainak55512/qwe
@pythonl
❤17👍6🔥4😢2
Forwarded from Machinelearning
Андрей опубликовал разбор своего нового пет-проекта. Он создал систему, которая анализирует архивные треды Hacker News и с помощью LLM проверяет, сбылись ли предсказания пользователей спустя 10 лет.
Проект использует так называемые «послезнание» (hindsight), чтобы сравнивать старые комментарии с реальностью, выявлять визионеров и находить самые громкие ошибки.
Технически решение представляет собой пайплайн, который собирает данные через API Algolia и обрабатывает их с помощью структурированного промпта.
Тестовый прогон на 930 обсуждениях (месячный архив статей Hacker News) занял около часа и обошелся всего в 58 долларов.
На выходе система генерирует статический сайт с «Залом славы» аналитиков и рейтингом точность прогнозов.
Исходный
@ai_machinelearning_big_data
#AI #ML #LLM #Tutorial #Karpaty
Please open Telegram to view this post
VIEW IN TELEGRAM
❤9🔥3😢3👍1
Новая работа MIT: LLM, который видит и меняет состояние Python
В MIT предложили подход, при котором языковая модель работает не только с текстом, а напрямую с живым состоянием Python-кода - переменными, объектами в памяти и текущей точкой выполнения.
Подход называется NIGHTJAR.
Главный результат
В экспериментах NIGHTJAR сократил объем кода в среднем на 39.6% без потери корректности.
В чем была проблема
Обычная LLM:
- читает текст
- генерирует текст
- не видит реальные данные программы
Поэтому типичный пайплайн выглядит так:
- данные сериализуются в текст
- отправляются модели
- ответ парсится
- программа вручную обновляется
Много glue-кода, много мест для ошибок.
Что меняет совместное состояние
Shared state полностью меняет модель взаимодействия:
- LLM может читать и писать переменные
- изменять объекты прямо в памяти
- останавливать и пропускать циклы
- работать с текущим состоянием выполнения
Модель не «рассуждает о коде», она с ним взаимодействует.
Как это реализовано
LLM не получает прямой доступ к памяти.
Она отправляет небольшие команды:
- прочитать переменную
- записать значение
- обновить объект
- выйти из цикла
Python-обработчик выполняет эти команды.
Такой контракт авторы называют natural function interface.
Результаты
На бенчмарке SPSBench с 25 программами:
- корректность осталась на уровне ручной интеграции или выше
- код стал заметно короче
- но время выполнения иногда росло до 4.3 раза
Причина проста - каждое обращение к состоянию может требовать отдельного вызова модели.
Почему это важно
- меньше шаблонного glue-кода
- проще писать сложную логику с участием LLM
- шаг к более тесной интеграции AI и runtime
- фундамент для новых агентных и интерактивных систем
Это не про ускорение.
Это про изменение архитектуры взаимодействия между программой и моделью.
📌 Статья: arxiv.org/abs/2512.14805
#AI #LLM #Python
В MIT предложили подход, при котором языковая модель работает не только с текстом, а напрямую с живым состоянием Python-кода - переменными, объектами в памяти и текущей точкой выполнения.
Подход называется NIGHTJAR.
Главный результат
В экспериментах NIGHTJAR сократил объем кода в среднем на 39.6% без потери корректности.
В чем была проблема
Обычная LLM:
- читает текст
- генерирует текст
- не видит реальные данные программы
Поэтому типичный пайплайн выглядит так:
- данные сериализуются в текст
- отправляются модели
- ответ парсится
- программа вручную обновляется
Много glue-кода, много мест для ошибок.
Что меняет совместное состояние
Shared state полностью меняет модель взаимодействия:
- LLM может читать и писать переменные
- изменять объекты прямо в памяти
- останавливать и пропускать циклы
- работать с текущим состоянием выполнения
Модель не «рассуждает о коде», она с ним взаимодействует.
Как это реализовано
LLM не получает прямой доступ к памяти.
Она отправляет небольшие команды:
- прочитать переменную
- записать значение
- обновить объект
- выйти из цикла
Python-обработчик выполняет эти команды.
Такой контракт авторы называют natural function interface.
Результаты
На бенчмарке SPSBench с 25 программами:
- корректность осталась на уровне ручной интеграции или выше
- код стал заметно короче
- но время выполнения иногда росло до 4.3 раза
Причина проста - каждое обращение к состоянию может требовать отдельного вызова модели.
Почему это важно
- меньше шаблонного glue-кода
- проще писать сложную логику с участием LLM
- шаг к более тесной интеграции AI и runtime
- фундамент для новых агентных и интерактивных систем
Это не про ускорение.
Это про изменение архитектуры взаимодействия между программой и моделью.
📌 Статья: arxiv.org/abs/2512.14805
#AI #LLM #Python
🔥18👍6❤5
🧭 LLMRouter - умная маршрутизация запросов между LLM
UIUC (ULab) выложили LLMRouter - проект про то, что скоро станет стандартом в AI-продуктах:
не выбирать “одну лучшую модель”,
а маршрутизировать запросы между несколькими LLM так, чтобы было:
- дешевле
- быстрее
- точнее
Идея простая:
разные модели сильны в разном.
Одна лучше пишет код, другая - рассуждает, третья - дешёвая для рутины.
Но большинство продуктов до сих пор делают тупо:
“все запросы → одна LLM”.
LLMRouter делает наоборот:
- анализирует входной запрос
- оценивает сложность / тип задачи
- выбирает подходящую модель
- может учитывать цену, latency, качество, политики
В итоге:
✅ обычные вопросы идут в дешёвую модель
✅ сложные reasoning-задачи - в сильную
✅ код/инструменты - в специализированную
✅ и всё это автоматически
Почему это важно:
как только у тебя 3-5 моделей (OpenAI/Anthropic/Gemini/open-source),
маршрутизация превращается в экономию десятков тысяч долларов в месяц.
Короче: это “load balancer” для LLM, но с мозгами.
GitHub: https://github.com/ulab-uiuc/LLMRouter
#LLM #AI #Routing #Agents #MLOps
@pythonl
UIUC (ULab) выложили LLMRouter - проект про то, что скоро станет стандартом в AI-продуктах:
не выбирать “одну лучшую модель”,
а маршрутизировать запросы между несколькими LLM так, чтобы было:
- дешевле
- быстрее
- точнее
Идея простая:
разные модели сильны в разном.
Одна лучше пишет код, другая - рассуждает, третья - дешёвая для рутины.
Но большинство продуктов до сих пор делают тупо:
“все запросы → одна LLM”.
LLMRouter делает наоборот:
- анализирует входной запрос
- оценивает сложность / тип задачи
- выбирает подходящую модель
- может учитывать цену, latency, качество, политики
В итоге:
✅ обычные вопросы идут в дешёвую модель
✅ сложные reasoning-задачи - в сильную
✅ код/инструменты - в специализированную
✅ и всё это автоматически
Почему это важно:
как только у тебя 3-5 моделей (OpenAI/Anthropic/Gemini/open-source),
маршрутизация превращается в экономию десятков тысяч долларов в месяц.
Короче: это “load balancer” для LLM, но с мозгами.
GitHub: https://github.com/ulab-uiuc/LLMRouter
#LLM #AI #Routing #Agents #MLOps
@pythonl
👍19❤11🔥7
Forwarded from Machinelearning
PythonRobotics - открытая коллекция кода на Python и учебник по алгоритмам робототехники, которую собрал Ацуши Сакаи.
К каждой теме есть визуальные анимации, математические объяснения и рабочий код.
Библиотека не перегружена, ее легко читать и понимать, она содержит практические алгоритмы. которые реально используются в индустрии.
Это отличный образовательный ресурс с 2 212 коммитами, вкладом 138 разработчиков и активной поддержкой.
Если вы изучаете робототехнику, создаете автономные системы или преподаете алгоритмы — этот ресурс для вас.
У проекта лицензия MIT, так что можно свободно использовать его в личных или коммерческих проектах.
А еще, это отличный пример, как выглядит хороший опен-сорс: образовательный, практичный, хорошо документированный и развиваемый сообществом.
@ai_machinelearning_big_data
#AI #ML #Robotics #Github
Please open Telegram to view this post
VIEW IN TELEGRAM
👍11❤8
🤖 Chat an idea - get a full research paper.
Появился интересный open-source проект - AutoResearchClaw.
Это система автономного AI-ресёрча: вы просто пишете идею исследования, а агент запускает полный исследовательский цикл автоматически.
Что делает система:
• генерирует гипотезу и план исследования
• ищет и анализирует научные работы
• запускает эксперименты
• пишет код и анализирует результаты
• формирует графики и выводы
• собирает готовую научную статью
Фактически это AI-pipeline “от идеи до paper”.
Один запрос →
полный research workflow без участия человека.
Проект построен как мульти-агентная система, где разные агенты выполняют отдельные задачи: поиск литературы, эксперименты, анализ и написание текста.
Такие системы могут сильно ускорить:
• научные исследования
• ML-эксперименты
• генерацию идей и гипотез
• подготовку академических статей
https://github.com/aiming-lab/AutoResearchClaw
#AI #LLM #AIAgents #MachineLearning #Research
🐍 Python полезные ресурсы 🚀Max
@pythonl
Появился интересный open-source проект - AutoResearchClaw.
Это система автономного AI-ресёрча: вы просто пишете идею исследования, а агент запускает полный исследовательский цикл автоматически.
Что делает система:
• генерирует гипотезу и план исследования
• ищет и анализирует научные работы
• запускает эксперименты
• пишет код и анализирует результаты
• формирует графики и выводы
• собирает готовую научную статью
Фактически это AI-pipeline “от идеи до paper”.
Один запрос →
полный research workflow без участия человека.
Проект построен как мульти-агентная система, где разные агенты выполняют отдельные задачи: поиск литературы, эксперименты, анализ и написание текста.
Такие системы могут сильно ускорить:
• научные исследования
• ML-эксперименты
• генерацию идей и гипотез
• подготовку академических статей
https://github.com/aiming-lab/AutoResearchClaw
#AI #LLM #AIAgents #MachineLearning #Research
🐍 Python полезные ресурсы 🚀Max
@pythonl
❤12👍3😁2🔥1🎉1
Forwarded from Machinelearning
Соло-разработчик с доступом к Claude Code теперь может развернуть целую гейм-дев студию с креативным директором, лидами отделов и профильными специалистами.
В основу геймдизайнерских подходов заложены MDA Framework, теория самодетерминации и проектирование состояния потока.
Claude Code Game Studios - шаблон для Claude Code, который организует ИИ-сессию в трёхуровневую иерархию из 48 специализированных агентов.
На вершине 3 директора (креативный, технический и продюсер), работающие на модели Opus.
Уровнем ниже 8 руководителей отделов на Sonnet: геймдизайнер, ведущий программист, арт-директор, директор по звуку, нарративный директор и другие.
Третий уровень - специалисты на Sonnet и Haiku: от геймплэй-программиста и дизайнера экономики до DevOps-инженера и специалиста по доступности.
Агенты взаимодействуют по четкому протоколу: вертикальная делегация задач сверху вниз, горизонтальные консультации между агентами одного уровня, эскалация конфликтов к общему руководителю.
Каждый агент работает строго в границах своего домена и не модифицирует чужие файлы без явного поручения.
Помимо агентов, шаблон включает 37 команд, покрывающих весь цикл разработки: планирование спринтов, ревью кода и дизайна, аудит ассетов, генерацию идей, подготовку к релизу.
Отдельная категория - командные воркфлоу, которые координируют работу нескольких агентов над конкретной фичей: боевой системой, нарративом, интерфейсом или звуком.
Параллельно работают 8 хуков, привязанных к событиям git и жизненному циклу сессии. Они срабатывают автоматически: валидируют коммиты на захардкоженные значения и корректность данных, предупреждают о пушах в защищённые ветки, подгружают контекст текущего спринта при старте и фиксируют результаты при завершении.
Ещё один слой - 11 правил, привязанных к путям в проекте. Они применяются при редактировании файлов в соответствующих директориях и задают стандарты для каждой зоны кодовой базы.
Агенты задают вопросы, предлагают несколько вариантов с плюсами и минусами, показывают черновик. Но финальное решение всегда за человеком, ничего не фиксируется без его одобрения.
Для каждого предусмотрен свой лид-агент с набором суб-специалистов: у Godot это GDScript, шейдеры и GDExtension, у Unity - DOTS/ECS, VFX и UI Toolkit, у Unreal - GAS, Blueprints и Replication.
Проект открыт к кастомизации: агентов можно добавлять и удалять, промпты редактировать, хуки - перенастраивать.
@ai_machinelearning_big_data
#AI #ML #Vibecoding #Gamedev #Claude
Please open Telegram to view this post
VIEW IN TELEGRAM
❤7😱6🔥5👍1
Forwarded from Machinelearning
This media is not supported in your browser
VIEW IN TELEGRAM
Китайская лаборатория релизнула GLM-5.1 - флагманскую MoE-модель с 754B параметров нового поколения, ориентированную на агентную инженерию.
Фокус релиза - на кодинг и долгие агентные сессии.
GLM-5.1 построена так, чтобы оставаться продуктивной на длинной дистанции: декомпозировать задачу, запускать эксперименты, читать результаты, находить блокеры и пересматривать стратегию.
Z ai утверждает, что модель устойчиво оптимизирует решение на протяжении сотен итераций и тысяч вызовов инструментов, то есть результат тем заметнее, чем дольше она запускают.
API доступен на платформе Z ai, веб-версия на chat.z.ai обещана в ближайшие дни. Веса опубликованы на Hugging Face под лицензией MIT.
Для локального развертывания уже готовы сборки под SGLang 0.5.10+, vLLM 0.19.0+, xLLM, KTransformers и свежую ветку Transformers.
@ai_machinelearning_big_data
#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👍13❤4
Forwarded from Machinelearning
Команда Claude Code опубликовала в X руководство по loops. Это паттерны, в которых агент повторяет рабочий цикл, пока не сработает условие остановки.
Главная мысль: уходить от ручного режима, где разработчик задаёт направление на каждом шаге, и передавать агенту контроль по нарастающей.
Всего выделяют 4 типа циклов, различая их по способу запуска, условию остановки и степени автономии. Логически получается некая лестница делегирования, где на каждой ступени вы отдаёте агенту очередное полномочие.
Здесь вы отдаёте агенту проверку. Ручные шаги верификации заполняются в
SKILL.md и чем более количественные критерии, тем точнее агент оценивает собственную работу./goal забирает у вас условие прерыванияВы описываете, что значит готово, а дальше при каждой попытке Claude завершить работу отдельная модель-оценщик сверяет результат с вашим критерием (скажем, долей пройденных тестов) и возвращает агента к работе, пока цель не достигнута или не исчерпан заданный лимит попыток.
/loop или /schedule берёт на себя триггер запуска.Это удобно для повторяющейся рутины и при работе с внешними системами (например, дайджест по таскам, реакция на новое ревью или упавший CI).
Рутина срабатывает по событию или расписанию и живёт, пока вы её не выключите. В связке с динамическими воркфлоу агенту передаётся уже сам промпт. Вот этот сценарий уже ближе всего к полной автоматизации.
Не каждая задача требует сложного цикла, начинать стоит с простейшего решения.
Кодовую базу следует держать чистой, а для ревью подключать второй агент. Для этого есть встроенный /code-review.
Контролировать расход токенов чёткими границами: точные условия остановки, подбор модели под задачу (рутину - на модели поменьше и побыстрее, решения с ризонингом - на самой мощной).
Динамические воркфлоу способны породить сотни агентов, так что масштаб лучше проверять на небольшой выборке.
@ai_machinelearning_big_data
#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
❤4👍3🔥2🎉1
Forwarded from Machinelearning
Media is too big
VIEW IN TELEGRAM
Институт General Intuition вместе с французской лабораторией Kyutai и Epic Games представил MIRA, генеративный симулятор, воспроизводящий матчи Rocket League в формате 2 на 2 в реальном времени.
На входе только история кадров и нажатия клавиш всех четырёх игроков: ни физического движка, ни рендер-движка, ни явных 3D-представлений в инференсе нет.
В отличие от Odyssey, где логика вычислений и рендеринг разведены, MIRA пошла по пути генеративной симуляции в латентном пространстве видео.
В основе - диффузионный трансформер на 5 млрд параметров и отдельный видеокодек-представление на 600 млн.
Вместо автоэнкодера кодек строится поверх замороженного DINOv3-L, и латентное пространство выходит настолько стабильным, что специальные приёмы против дрейфа не понадобились, модель работает из коробки на обычном diffusion forcing.
Экраны четырёх игроков MIRA сшивает в единую сетку латентов, чтобы механизмы пространственного внимания работали между ракурсами и держали машины, мяч и события согласованными на всех видах.
Механизм action dropout достраивает поведение машин, для которых команды не пришли, компенсируя пропуски в потоках действий.
Всего на обучение MIRA ушло около 10 тыс часов геймплея, целиком сгенерированных ботами.
Латентный подход бьёт пиксельный на порядок: gFID 10.7 против 81–105 и ARR 0.91 против 0.49–0.61 (ARR измеряет, насколько отданные команды считываются обратно из генерации).
Ключ к стабильности именно в DINOv3-L, без него картинка дрейфует в 1.3–1.7 раза сильнее, а с ним gFID держится ровным вплоть до 5 минут, и на практике роллаут идёт часами без коллапса.
ARR, кстати, совпадает с оценками живых людей (корреляция Пирсона 0.84).
Контекст модели около четырёх секунд, поэтому повторы голов она попросту досочиняет - выглядит правдоподобно, но не совпадает с тем, что было на самом деле.
Часы и счёт плывут на переходах, а за 40 минут игры набегает порядка 80 некомандных бустов и 30 прыжков.
Авторы опубликовали код обучения и инференса, а также сет Rocket Science из 1000 часов каток в 720p с потоками действий и физическими состояниями.
На одной NVIDIA B200 модель выдаёт 20 FPS при 576p в реальном времени. Потыкать в играбельное демо можно тут.
@ai_machinelearning_big_data
#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
❤7🔥4👍2🎉1
Все уже пользуются AI coding agents. Но почти никто не понимает, как они реально работают.
Вместо магии и маркетинга там показывают базовый цикл агента: модель отвечает, просит вызвать tool, код выполняет действие, результат возвращается обратно в контекст, и цикл продолжается.
Дальше на этот скелет постепенно навешиваются реальные части агентной системы:
* tool use
* permissions
* hooks
* memory
* context compaction
* subagents
* background tasks
* MCP
* worktree isolation
71.1K звёзд у tutorial repo — хороший сигнал. Люди устали от “AI agents за 5 минут” и хотят наконец понять, что там внутри.
https://github.com/shareAI-lab/learn-claude-code
#AI #OpenSource
learn-claude-code разбирает Claude Code-style agent harness с нуля. Авторская формула простая: Bash is all you need.Вместо магии и маркетинга там показывают базовый цикл агента: модель отвечает, просит вызвать tool, код выполняет действие, результат возвращается обратно в контекст, и цикл продолжается.
Дальше на этот скелет постепенно навешиваются реальные части агентной системы:
* tool use
* permissions
* hooks
* memory
* context compaction
* subagents
* background tasks
* MCP
* worktree isolation
71.1K звёзд у tutorial repo — хороший сигнал. Люди устали от “AI agents за 5 минут” и хотят наконец понять, что там внутри.
https://github.com/shareAI-lab/learn-claude-code
#AI #OpenSource
❤7🔥5👍4
Обычный вызов LLM часто напоминает лотерею: модель может нарушить формат, пропустить требование или вернуть ответ, который сложно проверить.
Mellea предлагает писать такие системы как типизированные generative-программы.
Достаточно описать Python-функцию:
from pydantic import BaseModel
from mellea import generative, start_session
class UserProfile(BaseModel):
name: str
age: int
@generative
def extract_user(text: str) -> UserProfile:
"""Извлеки имя и возраст пользователя."""
m = start_session()
user = extract_user(
m,
text="Alice is 31 years old."
)
Mellea превращает docstring в инструкцию, аннотации типов - в схему ответа, а затем проверяет результат и при необходимости автоматически повторяет генерацию.
Возможности проекта:
- структурированные ответы через Pydantic;
- проверяемые требования и автоматический repair;
- rejection sampling и majority voting;
- поддержка OpenAI, Ollama, Hugging Face, Bedrock, LiteLLM и WatsonX;
- интеграция с существующим кодом;
- публикация generative-программ как MCP-инструментов.
Проект начат в IBM Research, написан на Python и распространяется под лицензией Apache 2.0.
https://github.com/generative-computing/mellea
#python #ai #llm #opensource #agents
Please open Telegram to view this post
VIEW IN TELEGRAM
❤12🔥9👍5
🚀 LoopX удерживает ИИ-агента в одной задаче более 200 часов
Главная проблема долгих агентных сценариев - ограниченный контекст. Модель забывает решения, теряет цель, повторяет работу и не понимает, что делать после ожидания, ревью или смены сессии.
LoopX выносит состояние за пределы LLM и хранит его в отдельной контрольной плоскости:
- цель и ограничения;
- текущие задачи и ответственных;
- решения, требующие участия человека;
- доказательства выполненной работы;
- квоты и расписание запусков;
- handoff для восстановления после смены модели, сессии или хоста.
Каждый запуск агента ограничен конкретным шагом. После выполнения он записывает результат, доказательства и следующую задачу. Затем LoopX решает: продолжать, ждать внешнего события или запросить решение человека.
В открытых демонстрациях циклы исправления Issue/PR в OpenViking и AutoML-эксперимента сохраняли состояние более 200 часов. Это время всей траектории с ожиданием, ревью и повторными запусками, а не непрерывная работа модели.
По сути, LoopX - это Kanban-доска, превращённая в систему выполнения для агентов. Её состояние напрямую определяет следующий допустимый шаг.
Поддерживаются Codex, Claude Code, Cursor, OpenCode и собственные рантаймы. Проект распространяется по лицензии MIT.
https://github.com/huangruiteng/loopx
#AI #AIAgents #OpenSource #Codex #ClaudeCode #Automation
Главная проблема долгих агентных сценариев - ограниченный контекст. Модель забывает решения, теряет цель, повторяет работу и не понимает, что делать после ожидания, ревью или смены сессии.
LoopX выносит состояние за пределы LLM и хранит его в отдельной контрольной плоскости:
- цель и ограничения;
- текущие задачи и ответственных;
- решения, требующие участия человека;
- доказательства выполненной работы;
- квоты и расписание запусков;
- handoff для восстановления после смены модели, сессии или хоста.
Каждый запуск агента ограничен конкретным шагом. После выполнения он записывает результат, доказательства и следующую задачу. Затем LoopX решает: продолжать, ждать внешнего события или запросить решение человека.
В открытых демонстрациях циклы исправления Issue/PR в OpenViking и AutoML-эксперимента сохраняли состояние более 200 часов. Это время всей траектории с ожиданием, ревью и повторными запусками, а не непрерывная работа модели.
По сути, LoopX - это Kanban-доска, превращённая в систему выполнения для агентов. Её состояние напрямую определяет следующий допустимый шаг.
Поддерживаются Codex, Claude Code, Cursor, OpenCode и собственные рантаймы. Проект распространяется по лицензии MIT.
https://github.com/huangruiteng/loopx
#AI #AIAgents #OpenSource #Codex #ClaudeCode #Automation
🔥8❤7👍3🎉2
🚀 LLMs-from-scratch пробил 100 000 звёзд на GitHub - и это уже одна из лучших практических баз по устройству современных LLM.
Проект Себастьяна Рашки показывает весь путь с нуля - без магии высокоуровневых библиотек:
- токенизация и attention;
- pretraining;
- классификация;
- instruction fine-tuning;
- LoRA, DPO и evaluation;
- KV cache и оптимизация памяти;
- эффективная загрузка весов.
Причём репозиторий давно вышел за рамки «соберём маленький GPT».
Там уже есть реализации Llama, Qwen, Gemma и OLMo с нуля, а также современные архитектурные техники:
- GQA;
- MLA;
- Sliding Window Attention;
- Gated DeltaNet;
- DeepSeek Sparse Attention;
- cross-layer KV sharing;
- Mixture-of-Experts.
Самое полезное - уменьшенные версии моделей можно запускать локально и подключать к тем же training scripts, чтобы реально экспериментировать с архитектурой, а не только читать статьи.
Рашка продолжит добавлять новые варианты attention и архитектуры, а RL и Reasoning From Scratch развивает в отдельных репозиториях.
Если хочется не просто использовать LLM через API, а действительно понять, что происходит внутри трансформера - это один из тех репозиториев, которые стоит пройти руками.
🔗
#AI #LLM #MachineLearning #DeepLearning #OpenSource
Проект Себастьяна Рашки показывает весь путь с нуля - без магии высокоуровневых библиотек:
- токенизация и attention;
- pretraining;
- классификация;
- instruction fine-tuning;
- LoRA, DPO и evaluation;
- KV cache и оптимизация памяти;
- эффективная загрузка весов.
Причём репозиторий давно вышел за рамки «соберём маленький GPT».
Там уже есть реализации Llama, Qwen, Gemma и OLMo с нуля, а также современные архитектурные техники:
- GQA;
- MLA;
- Sliding Window Attention;
- Gated DeltaNet;
- DeepSeek Sparse Attention;
- cross-layer KV sharing;
- Mixture-of-Experts.
Самое полезное - уменьшенные версии моделей можно запускать локально и подключать к тем же training scripts, чтобы реально экспериментировать с архитектурой, а не только читать статьи.
Рашка продолжит добавлять новые варианты attention и архитектуры, а RL и Reasoning From Scratch развивает в отдельных репозиториях.
Если хочется не просто использовать LLM через API, а действительно понять, что происходит внутри трансформера - это один из тех репозиториев, которые стоит пройти руками.
🔗
github.com/rasbt/LLMs-from-scratch#AI #LLM #MachineLearning #DeepLearning #OpenSource
❤19👍7🔥3
🛡️ Uber открыла ADR - систему защиты для корпоративных AI-агентов.
ADR расшифровывается как Agentic AI Detection and Response. Проект уже используется внутри Uber и предназначен для наблюдаемости, тестирования безопасности и обнаружения угроз в агентных системах.
Что умеет ADR:
- собирает телеметрию от AI coding agents;
- отслеживает действия агентов и вызовы инструментов;
- помогает находить подозрительное поведение;
- позволяет строить security monitoring вокруг автономных агентов;
- включает инструменты для security benchmarking и threat detection.
Особенно интересно, что ADR смотрит на AI-агента уже не как на обычное приложение, а как на отдельного участника инфраструктуры, за действиями которого нужно постоянно следить.
Похоже, рядом с EDR для компьютеров и серверов появляется новый класс инструментов - EDR, но уже для автономных AI-агентов.
GitHub:
https://github.com/uber/ADR
#AI #AIAgents #Cybersecurity #Uber #OpenSource
ADR расшифровывается как Agentic AI Detection and Response. Проект уже используется внутри Uber и предназначен для наблюдаемости, тестирования безопасности и обнаружения угроз в агентных системах.
Что умеет ADR:
- собирает телеметрию от AI coding agents;
- отслеживает действия агентов и вызовы инструментов;
- помогает находить подозрительное поведение;
- позволяет строить security monitoring вокруг автономных агентов;
- включает инструменты для security benchmarking и threat detection.
Особенно интересно, что ADR смотрит на AI-агента уже не как на обычное приложение, а как на отдельного участника инфраструктуры, за действиями которого нужно постоянно следить.
Похоже, рядом с EDR для компьютеров и серверов появляется новый класс инструментов - EDR, но уже для автономных AI-агентов.
GitHub:
https://github.com/uber/ADR
#AI #AIAgents #Cybersecurity #Uber #OpenSource
❤5👍5🔥3
🔥 Kimi K3 на 2,78 ТРИЛЛИОНА параметров запустили на CPU с 8 ГБ RAM. Без GPU, BLAS и фреймворков
Проект
Фокус в MoE и стриминге весов. Из 896 экспертов на токен выбираются только 16, а остальные веса не обязаны постоянно лежать в оперативной памяти. Огромная часть модели читается прямо с диска, поверх этого работает LRU-кэш экспертов.
Цена такого трюка очевидна: скорость. При 8 ГБ RAM автор получил около 26,5 секунды на токен, при 64 ГБ уже 19,8 секунды, а на машине с 128+ ГБ, где нужные данные помещаются в память, около 5,6 секунды.
Получается любопытная смена ограничения: гигантскую MoE уже можно заставить работать без серверной фермы. Вопрос теперь скорее в том, сколько диска и времени на токен вы готовы отдать за такой inference.
#AI #Kimi #LLM #C #LocalAI
Проект
kimi-k3-in-c реализует inference Kimi K3 практически с нуля на portable C99. Чекпоинт модели занимает 1,56 ТБ, но пик RAM при запуске составил всего 8,24 ГБ.Фокус в MoE и стриминге весов. Из 896 экспертов на токен выбираются только 16, а остальные веса не обязаны постоянно лежать в оперативной памяти. Огромная часть модели читается прямо с диска, поверх этого работает LRU-кэш экспертов.
Цена такого трюка очевидна: скорость. При 8 ГБ RAM автор получил около 26,5 секунды на токен, при 64 ГБ уже 19,8 секунды, а на машине с 128+ ГБ, где нужные данные помещаются в память, около 5,6 секунды.
Получается любопытная смена ограничения: гигантскую MoE уже можно заставить работать без серверной фермы. Вопрос теперь скорее в том, сколько диска и времени на токен вы готовы отдать за такой inference.
github.com/FareedKhan-dev/kimi-k3-in-c#AI #Kimi #LLM #C #LocalAI
🔥22❤4👍4🎉3😱1
Forwarded from Machinelearning
Главный упор сделали на обработку перегруженных страницы, где текст, изображения и подписи идут плотно и наслаиваются друг на друга.
По данным Mistral, модель точнее определяет границы каждого элемента - рамки не съезжают, изображения не наезжают одно в другое по ошибке.
На нагруженных технических диаграммах модель реже теряет блоки, а текстовые выноски считывает как самостоятельные объекты, а не сливает в один массив.
Отдельно заявлена работа с многоколоночными документами, OCR 4.1 сохраняет исходную структуру страницы и отдает каждую колонку отдельной областью текста.
В настроенных процессах тем, кто пользуется моделью, менять ничего не нужно. Алиас
mistral-ocr-latest уже переводит существующие интеграции на новую версию.Руками модель можно попробовать в Mistral Studio.
@ai_machinelearning_big_data
#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥9👍4❤3🎉1
This media is not supported in your browser
VIEW IN TELEGRAM
Интегрируйте OCR в ваш Python-продукт за 15 минут 🚀
Создаёте SaaS, автоматизируете B2B или собираете ИИ-агентов на Python? Забудьте про облачные костыли и отправку конфиденциальных данных на чужие сервера!
Provision OCR — российский движок для локального распознавания документов в защищенном контуре.
⚡️ Python-friendly: интеграция через REST API и gRPC для FastAPI, Django или Flask.
⚡️ Docker-ready: быстрый запуск в один контейнер без сложной настройки окружения.
⚡️ 100% локальности: полное соответствие требованиям безопасности.
⚡️ Производительность: от <3 сек/стр. на GPU (RTX 2070+) или работа на CPU, точность до 99%.
⚡️Готовые шаблоны любых документов на русском: договоры, счета-фактуры и другие.
💻 Пример интеграции с Django:
https://github.com/Provision-Labs/Django_OCR_UI
💡 Дистрибутив в нашем Telegram-канале: @ProvisionLabs
#Python #Django #FastAPI #OCR #ProvisionOCR #Backend #OnPremise #AI #DevOps #OpenSource #ИИ
Создаёте SaaS, автоматизируете B2B или собираете ИИ-агентов на Python? Забудьте про облачные костыли и отправку конфиденциальных данных на чужие сервера!
Provision OCR — российский движок для локального распознавания документов в защищенном контуре.
⚡️ Python-friendly: интеграция через REST API и gRPC для FastAPI, Django или Flask.
⚡️ Docker-ready: быстрый запуск в один контейнер без сложной настройки окружения.
⚡️ 100% локальности: полное соответствие требованиям безопасности.
⚡️ Производительность: от <3 сек/стр. на GPU (RTX 2070+) или работа на CPU, точность до 99%.
⚡️Готовые шаблоны любых документов на русском: договоры, счета-фактуры и другие.
💻 Пример интеграции с Django:
https://github.com/Provision-Labs/Django_OCR_UI
💡 Дистрибутив в нашем Telegram-канале: @ProvisionLabs
#Python #Django #FastAPI #OCR #ProvisionOCR #Backend #OnPremise #AI #DevOps #OpenSource #ИИ
👍9❤7🔥4😱2🎉2
Forwarded from Machinelearning
HardenedVault, которая специализируется на безопасности Linux и компиляторов, выложила среду исполнения SonicBoom, написанной с нуля на C++ и CUDA. Python ей не нужен ни для работы, ни для сборки.
Цель проекта – локальный запуск языковых моделей на потребительских видеокартах.
Всё упаковано в одну библиотеку
libsonicboom.so, которую можно подключить из любого языка через стандартный интерфейс C, основным языком для работы с ней авторы выбрали Scheme в реализации GNU Guile.SonicBoom загружает модели в GGUF, генерирует текст на процессоре или видеокарте и поднимает локальный сервер, совместимый с API OpenAI.
Если новый запрос начинается с того же текста, что и предыдущий, заново обрабатывается только добавленная часть, и результат до токена совпадает с полным пересчётом.
Скорость вывода дают уровни над вычислительными ядрами, а не сами ядра. Умножение квантованных матриц и токенизаторы частично перенесены из
llama.cpp.Над ними работает планировщик, который до запуска переписывает граф модели целиком, сливает соседние операции и записывает весь шаг генерации токена в один CUDA Graph, т. е. в готовую последовательность команд для видеокарты.
Ещё выше стоит компилятор на базе MLIR. Он сам генерирует часть ядер для GPU, в том числе для механизма внимания, и при первом запуске подбирает самый быстрый вариант под конкретную карту.
На RTX 3050 с 8 ГБ памяти сравнили SonicBoom и
llama.cpp на одних и тех же моделях.Gemma 4 E4B через SonicBoom дала генерацию в 53 токена в секунду против 44,8 у
llama.cpp.У Qwen2.5-0.5B вышло 344,7 токена в секунду против 307,6.
Когда контекст дорастает до 512 токенов, SonicBoom на Qwen уже чуть отстаёт.
Единственный сторонний результат на RTX 4060 Ti оказался хуже
llama.cpp, 73,6 токена в секунду против 78, но его получили на сборке, ещё не настроенной под эту видеокарту.Пока проверены только две модели, Gemma 4 E4B-it и Qwen2.5-0.5B-Instruct, и только видеокарты серии RTX 30.
Модель всегда выбирает самый вероятный токен, температуру и другие настройки случайности задать нельзя.
Следующими в планах стоят модели Llama и Mistral, работа через Vulkan, генерация ядер для видеокарт других производителей и диффузионные модели.
Дальше SonicBoom планирует вырасти в фреймворк в духе PyTorch, где модель пишут на Scheme и компилируют в граф вычислений. Прототип этого режима уже обучает небольшой трансформер.
@ai_machinelearning_big_data
#AI #ML #LLM #InferenceEngine #SonicBoom
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
❤11🔥8👍5😱1🎉1🤩1
Forwarded from Machinelearning
ZONOS3-Mini синтезирует речь и клонирует голос по образцу, рассчитана на использование в реальном времени на телефонах, ноутбуках и браузере.
Модель копирует голос по записи длиной до минуты, но также можно собрать новый, задав возраст, акцент и тембр. Эмоции, темп и подачу можно настраивать вплоть до отдельных слов.
Поддерживается девять языков, среди них английский, китайский, японский, немецкий, испанский и французский, русского нет.
Под капотом MoE на 800 млн общих при 100 млн активных параметров, где из 64 экспертов на каждом шаге включаются два.
Из 11 слоёв девять построены на Gated DeltaNet и два на обычном глобальном внимании.
Звук кодирует собственный кодек ZAC-1 с частотой 15 кадров в секунду.
Задержка до первого звука в браузере на Pixel 9 меньше 570 мс, на MacBook Air с M3 меньше 150 мс, а на одной H100 при восьми одновременных запросах в среднем 80 мс.
Пиковая выработка на той же H100 - 457 секунд звука за секунду.
По внутреннему бенчмарку ZTTS2-Eval, новинка занимает первое место среди открытых моделей, за ней идут Fish S2 Pro и MOSS TTS v1.5.
Модель запускается в браузере через WebGPU, классическим путём с SGLang и vLLM, на Mac через MLX и на обычных процессорах через ggml.
По API в облаке Zyphra Inference она стоит 10 долларов за мегабайт текста, лимиты - один запрос за раз и 100 генераций в сутки.
@ai_machinelearning_big_data
#AI #ML #TTS #ZONOS3 #Zyphra
Please open Telegram to view this post
VIEW IN TELEGRAM
❤4👍4🎉3🔥2