Forwarded from Женя Янченко
Ребят, в комментариях к предыдущему посту про частичные индексы написали, что проблема с NULL значениями в индексах уникальности решена с PostgreSQL 15.
Моя история ещё из 2021 года 👨🦳
Сейчас можно добавить такую формулировку при создании индекса в конце:
И null values для целей индекса будут считаться одинаковыми, не нужно будет создавать два индекса.
Моя история ещё из 2021 года 👨🦳
Сейчас можно добавить такую формулировку при создании индекса в конце:
NULLS NOT DISTINCTИ null values для целей индекса будут считаться одинаковыми, не нужно будет создавать два индекса.
Forwarded from Pavel Zloi
Частенько друзья, знакомые или коллеги интересуются, какие книги я бы порекомендовал инженеру, который только начинает разбираться с тем, как внедрять ML-системы и вообще, как работает "кухня" разработки интеллектуальных систем, ну и поскольку я не учёный, а скорее инженер-интегратор, я рекомендую пару книг за авторством Алекса Соя (которые мне в своё время тоже очень рекомендовали).
⬜️ System Design. Подготовка к сложному интервью
Она даёт фундамент, поясняет, из каких компонентов собирают те или иные решения, как софт взаимодействует с железом, как выполняется балансировка, в общем очень много чего, от проектирования базовых и тривиальных решений до архитектур сложных высоконагруженных систем.
Помимо непосредственно самого содержания книги в ней мне очень нравится объёмная ссылочная информация на разные источники, в том числе и исходники на гитхабе или научные публикации.
🟨 System Design. Машинное обучение. Подготовка к сложному интервью
После базовой базы описанной в первой книге можно уже спокойно браться за вторую книгу, которая уже непосредственно про ML рассказывает, хотя наверно будет правильнее сказать MLOps, так как в больше степени там говорится про то какие ИИ-решения бывают, как выбрать наиболее подходящее под задачу, как выполнять оценку, какие типовые решения бывают.
И конечно же масса ссылок на дополнительную документацию, которую тоже очень интересно читать.
PS. И пусть вас не пугает то что книги называются подготовка к сложному интервью, информация изложена в них простым и понятным языком, поэтому даже без глубоких познаний в той или иной теме можно относительно быстро разобраться.
⬜️ System Design. Подготовка к сложному интервью
Она даёт фундамент, поясняет, из каких компонентов собирают те или иные решения, как софт взаимодействует с железом, как выполняется балансировка, в общем очень много чего, от проектирования базовых и тривиальных решений до архитектур сложных высоконагруженных систем.
Помимо непосредственно самого содержания книги в ней мне очень нравится объёмная ссылочная информация на разные источники, в том числе и исходники на гитхабе или научные публикации.
🟨 System Design. Машинное обучение. Подготовка к сложному интервью
После базовой базы описанной в первой книге можно уже спокойно браться за вторую книгу, которая уже непосредственно про ML рассказывает, хотя наверно будет правильнее сказать MLOps, так как в больше степени там говорится про то какие ИИ-решения бывают, как выбрать наиболее подходящее под задачу, как выполнять оценку, какие типовые решения бывают.
И конечно же масса ссылок на дополнительную документацию, которую тоже очень интересно читать.
PS. И пусть вас не пугает то что книги называются подготовка к сложному интервью, информация изложена в них простым и понятным языком, поэтому даже без глубоких познаний в той или иной теме можно относительно быстро разобраться.
Forwarded from Neural Kovalskii
Я ставлю крест на RAG: почему поиск по базе — это теперь задача для джуна, а будущее — за Generic Agent
Байт засчитан =)
Капля истории
Мы с вами начали с фундамента AI-инфраструктуры тестировали Llama на кластерах 4090, показывал вам тюн Whisper и считали экономику on-premise решений
Затем углубились в сложный RAG и Vibe Coding: заняли топ с малыми моделями в Enterprise RAG Challenge изучили Circuit Tracing для поиска галлюцинаций и научились собирать MVP за 7 дней
В середине 2025 перешли к автономным системам: запустили open-source SGR Deep Research доказали эффективность на бенчмарках и выпустили фреймворк SGR Agent Core
Честно говоря к концу 2025 года стало очевидно что RAG превратился в стандартную инженерную задачу которую может собрать джун по туториалам
Настоящий вызов сместился к агентам
И вот тут начинается самое интересное потому что большинство того что называют агентами на рынке это просто красивые цепочки в no-code конструкторах Workflow где вы заранее продумали каждый if-else
Это не агенты это детерминированные пайплайны с LLM внутри
Я потратил последние месяцы на то чтобы понять как строить настоящие автономные системы (Запускал демо ERC3, строил решения для демо в agentic comerce)
Результат всей моей работы оказался тут sgr-agent-core фреймворк уже набрал 815 звезд на GitHub и работает в продакшене у реальных клиентов
Но главное не звезды а то понимание физики процесса которое я получил, и это так же ответ зачем было его делать
Generic Agent = Based Prompt + ReAct+PlanAct + Context Engineering + Memory + Tool Search
Это не просто формула это средя для автономности Based Prompt задает законы физики для модели как она должна думать планировать реагировать на ошибки
ReAct это безальтернативный цикл без которого автономности не существует модель должна рассуждать действовать анализировать результат и корректировать план
Context Engineering потому что контекст не резиновый и агент должен уметь управлять своим вниманием сжимать историю отбрасывать неактуальное держать фокус
Memory это не просто кэш это архитектурное решение о том что помнить что забывать когда делать compaction
Tool Search критически важный компонент для энтерпрайза когда у вас 500 плюс API-ручек вы не можете скормить их все в контекст настоящий агент сначала понимает задачу находит нужный инструмент в репозитории и только потом использует
В ближайшие дни у меня будет несколько площадок где я буду давать очень скромный прогноз без хайпа обещаю
Очень хочу показать что курсы по AI-агентам дают вам базу с langchain или n8n и обещают что теперь вы зарабатываете 300к в наносекунду но они не расскажут про управление форматом и структурами внутри tools про constraint и args про то как на самом деле работает structured output (пришлите в коменты если такой курс есть) как управлять ризонингом в агентах и как его вызывать самому (наш тул reasoning+plan)
Must Read от создателей LLM
Перед тем как что-то изобретать и задавать вопросы прочитайте что говорят те кто делает сами модели
OpenAI A Practical Guide to Building Agents
OpenAI Building Agents Track
Anthropic Building Effective Agents
Anthropic Context Engineering
Anthropic Building Agents with Claude Agent SDK
Все они говорят +- одно начинайте с простого не тащите сразу LangGraph на 20 нод сделайте одного агента с одним инструментом заставьте работать потом масштабируйте
Я строю агентов на локальных моделях и как оказалось что бы строить generic agent нужно мощное железо🗿
Это не потому что я против OpenAI это потому что я хочу полный контроль над инференсом над латенси над стоимостью
Когда ты делаешь продакшен на локальных моделях ты понимаешь каждый байт контекста каждый вызов инструмента каждую миллисекунду задержки
Это сделать тебя лучшим инженером над API вызовами
По этому далее будет усиление на контент именно про них, про агентов, и про sgr-agent-core будем выводить фреймворк на 10к звезд!
Если ты со мной ставь🖥 Linux =)
Stay tuned!
Капля истории
Мы с вами начали с фундамента AI-инфраструктуры тестировали Llama на кластерах 4090, показывал вам тюн Whisper и считали экономику on-premise решений
Затем углубились в сложный RAG и Vibe Coding: заняли топ с малыми моделями в Enterprise RAG Challenge изучили Circuit Tracing для поиска галлюцинаций и научились собирать MVP за 7 дней
В середине 2025 перешли к автономным системам: запустили open-source SGR Deep Research доказали эффективность на бенчмарках и выпустили фреймворк SGR Agent Core
Честно говоря к концу 2025 года стало очевидно что RAG превратился в стандартную инженерную задачу которую может собрать джун по туториалам
Настоящий вызов сместился к агентам
И вот тут начинается самое интересное потому что большинство того что называют агентами на рынке это просто красивые цепочки в no-code конструкторах Workflow где вы заранее продумали каждый if-else
Это не агенты это детерминированные пайплайны с LLM внутри
Я потратил последние месяцы на то чтобы понять как строить настоящие автономные системы (Запускал демо ERC3, строил решения для демо в agentic comerce)
Результат всей моей работы оказался тут sgr-agent-core фреймворк уже набрал 815 звезд на GitHub и работает в продакшене у реальных клиентов
Но главное не звезды а то понимание физики процесса которое я получил, и это так же ответ зачем было его делать
Generic Agent = Based Prompt + ReAct+PlanAct + Context Engineering + Memory + Tool Search
Это не просто формула это средя для автономности Based Prompt задает законы физики для модели как она должна думать планировать реагировать на ошибки
ReAct это безальтернативный цикл без которого автономности не существует модель должна рассуждать действовать анализировать результат и корректировать план
Context Engineering потому что контекст не резиновый и агент должен уметь управлять своим вниманием сжимать историю отбрасывать неактуальное держать фокус
Memory это не просто кэш это архитектурное решение о том что помнить что забывать когда делать compaction
Tool Search критически важный компонент для энтерпрайза когда у вас 500 плюс API-ручек вы не можете скормить их все в контекст настоящий агент сначала понимает задачу находит нужный инструмент в репозитории и только потом использует
В ближайшие дни у меня будет несколько площадок где я буду давать очень скромный прогноз без хайпа обещаю
Очень хочу показать что курсы по AI-агентам дают вам базу с langchain или n8n и обещают что теперь вы зарабатываете 300к в наносекунду но они не расскажут про управление форматом и структурами внутри tools про constraint и args про то как на самом деле работает structured output (пришлите в коменты если такой курс есть) как управлять ризонингом в агентах и как его вызывать самому (наш тул reasoning+plan)
Must Read от создателей LLM
Перед тем как что-то изобретать и задавать вопросы прочитайте что говорят те кто делает сами модели
OpenAI A Practical Guide to Building Agents
OpenAI Building Agents Track
Anthropic Building Effective Agents
Anthropic Context Engineering
Anthropic Building Agents with Claude Agent SDK
Все они говорят +- одно начинайте с простого не тащите сразу LangGraph на 20 нод сделайте одного агента с одним инструментом заставьте работать потом масштабируйте
Я строю агентов на локальных моделях и как оказалось что бы строить generic agent нужно мощное железо
Это не потому что я против OpenAI это потому что я хочу полный контроль над инференсом над латенси над стоимостью
Когда ты делаешь продакшен на локальных моделях ты понимаешь каждый байт контекста каждый вызов инструмента каждую миллисекунду задержки
Это сделать тебя лучшим инженером над API вызовами
По этому далее будет усиление на контент именно про них, про агентов, и про sgr-agent-core будем выводить фреймворк на 10к звезд!
Если ты со мной ставь
Stay tuned!
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from декомпозиция и отвага
Один вопрос, чтобы понять, подходит ли кандидат под вакансию 🤔
И это вопрос⬇️
Его задают, чтобы понять:
🔴 как были выстроены процессы в компаниях, где кандидат работал?
🔴 имеет ли кандидат опыт работы в режиме повышенной опасности многозадачности?
🔴 работал ли он с нечеткими требованиями?
🔴 насколько самостоятельной единицей был этот аналитик? или всё ОТ и ДО курировал его техлид?
Ответы варьируются от вот такого травоядного варианта🐇 🍃
До такого хищного и зубастого🐯 🥩
И это два параллельных мира👋 👋
А теперь представьте, что на проект типа 2 приходит аналитик с опытом только на проектах типа 1. Как думаете, он готов к такому экстриму? Желает ли он этих острых ощущений?
Не, ну может и желает. Это просто надо было обсудить на собесе. А начать — с вопроса «От кого и в каком виде вы получали задачи?»👌
🙃 🙃 🙃 🙃 🙃 🙃 🙃 🙃 🙃 🙃
❤️ -
⁉️ -
😎
И это вопрос
🔊 От кого и в каком виде вы получали задачи?
Его задают, чтобы понять:
Ответы варьируются от вот такого травоядного варианта
Всего на проекте 3 системных аналитика, 1 бизнес-аналитик и техлид аналитиков. Задачи приходят от техлида в виде jira-тикетов с верхнеуровневым описанием, ссылками на макеты в Figma и с бизнес-требованиями от бизнес-аналитика. Уже готовую документацию СА скидывает на ревью своему техлиду.
До такого хищного и зубастого
На проекте я был единственным аналитиком. Бизнес-аналитика или Product Owner как такового не было, и я общался с заказчиком напрямую. Задачи приходили ко мне в устной форме и были сформулированы довольно кратко. Я задавал уточняющие вопросы, протоколировал встречи и фиксировал бизнес требования в отдельном документе
, который никому кроме меня нахер не сдался.
Помимо этого, задачи поступали от техлида. Как правило, это были задачи, связанные с разбором ошибок на проде или техдолг по документации в базе знаний проекта. Какого-то общего планирования, на котором решался бы приоритет и очередность выполнения задач от бизнеса и от техлида не было, организация времени была только моей зоной ответственности. Практики обязательной проверки моих артефактом техлидом не было, я нес полную индивидуальную ответственность за результат.
И это два параллельных мира
А теперь представьте, что на проект типа 2 приходит аналитик с опытом только на проектах типа 1. Как думаете, он готов к такому экстриму? Желает ли он этих острых ощущений?
Не, ну может и желает. Это просто надо было обсудить на собесе. А начать — с вопроса «От кого и в каком виде вы получали задачи?»
А как у вас?❤️ -
скорее вариант 1, всегда есть четкие требования скорее вариант 2, у меня черный пояс по сбору требований, а вчера вообще звонили и приглашали работать в разведку😎
- в активном поиске хоть какого-то вариантаPlease open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Dataism
База про работу с метриками.pdf
1001.5 KB
🌟NSM, пирамида и дерево метрик: три всадника продуктовой аналитики
Собрала вам базу по основным понятиям.
В pdf краткий конспект дляленивых энергосберегающих 🔋 .
Кстати, тут pdf с диагностикой отрицательного роста.
❓Какие бывают метрики:
https://gopractice.ru/product/added_value_metrics/ - метрики продукта, роста, эффективности и добавочной ценности
https://amplitude.com/books/north-star/the-north-star-checklist - North Star Metric чек-лист
➡️ Иерархия метрик:
https://www.youtube.com/watch?v=DgvUq4D0IUQ - лекция ШМЯ
https://www.youtube.com/watch?v=xh0GTIkYhOw - Денис Теплов из Лиги Ставок про фейлы с NSM. Очень классное выступление!
https://www.youtube.com/watch?v=0KColE4-MdY&t - Глеб Кудрявцев онлайнбез регистрации и смс строит дерево метрик
https://library.wannabe.ru/article/kak-postroit-ierarhiyu-metrik-i-ispolzovat-ee-v-rabote
🔼Пирамида метрик:
больше материала найдете в канале Лены Серегиной
https://www.youtube.com/watch?v=7wTO1GonUj4&t=53s - краткое пояснение за разницу между иерархией и пирамидой
https://master-strategy.ru/tpost/nrpt840r71-kak-sdelat-put-razvitiya-kompanii-produk
https://www.agima.ru/blog/analytics/piramida-metrik-pozhaluy-luchshiy-sposob-ponyat-chto-ne-tak-s-vashim-produktom/ - пирамида метрик как способ понять, что не так с продуктом
Собрала вам базу по основным понятиям.
В pdf краткий конспект для
Кстати, тут pdf с диагностикой отрицательного роста.
❓Какие бывают метрики:
https://gopractice.ru/product/added_value_metrics/ - метрики продукта, роста, эффективности и добавочной ценности
https://amplitude.com/books/north-star/the-north-star-checklist - North Star Metric чек-лист
https://www.youtube.com/watch?v=DgvUq4D0IUQ - лекция ШМЯ
https://www.youtube.com/watch?v=xh0GTIkYhOw - Денис Теплов из Лиги Ставок про фейлы с NSM. Очень классное выступление!
https://www.youtube.com/watch?v=0KColE4-MdY&t - Глеб Кудрявцев онлайн
https://library.wannabe.ru/article/kak-postroit-ierarhiyu-metrik-i-ispolzovat-ee-v-rabote
🔼Пирамида метрик:
больше материала найдете в канале Лены Серегиной
https://www.youtube.com/watch?v=7wTO1GonUj4&t=53s - краткое пояснение за разницу между иерархией и пирамидой
https://master-strategy.ru/tpost/nrpt840r71-kak-sdelat-put-razvitiya-kompanii-produk
https://www.agima.ru/blog/analytics/piramida-metrik-pozhaluy-luchshiy-sposob-ponyat-chto-ne-tak-s-vashim-produktom/ - пирамида метрик как способ понять, что не так с продуктом
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from max.sh
В посте выше я ссылался на доклад с AIE митапа. Так вот, у них есть болшой YT канал с очень годным контентом от передовых лаб и AI стартапов.
Канал тут.
Выступления все в среднем по 20 минут и крайне прикладные. Тут вы никогда не увидите формул, глубоких деталей методов или какие-то строгие специфичные eval-ы. Но можно зацепить много идей, посмотреть что делают в индустрии, набраться ключевых слов и ссылок и потом пойти копать дальше.
Большой дисклеймер: Да, крутого контента много, но еще больше бесполезного маркетингового мусора, которое слово в слово дублирует какой-нибудь релиз. Благо, видео короткие, можно быстро отсеять.
Мне, например, очень понравились доклады про разный RL, многие совсем свежие:
1. OpenAI про Agent RL, во второй части доклада рассказывают про пилоты с реальными кастомерами
2. Про эффективный RL, где боттленеки обучения, где простаивают GPU
3. про обучение своих агентов с помощью RL, вот тут вообще кайфовый case study от сбора данных до reward-hacking-ов
Happy Learning!
—
кстати, митапы проходят не только в SF, но и в других локациях. В этом году состоялся первый в Париже и несколько прошло в Лондоне. Здесь все скромнее по масштабу, но все равно очень интересно. Запланировал выступить в следующем году на таком.
#образование
Please open Telegram to view this post
VIEW IN TELEGRAM
YouTube
Agent Reinforcement Fine Tuning – Will Hang & Cathy Zhou, OpenAI
Deep dive into OpenAI's approach to reinforcement fine-tuning for code models.
https://x.com/willhang_
https://x.com/cathyzhou
AIE is coming to London and SF! see dates and sign up to be notified of sponsorships, CFPs, and tickets: https://ai.engineer
…
https://x.com/willhang_
https://x.com/cathyzhou
AIE is coming to London and SF! see dates and sign up to be notified of sponsorships, CFPs, and tickets: https://ai.engineer
…
Forwarded from DeepSchool
ClearML Agent: обучение модели в Google Colab
Продолжаем обзор MLOps-экосистемы ClearML, которая покрывает полный цикл разработки и выкатки ML-моделей. Ранее мы разобрали, как работают компоненты ClearML Data и ClearML Session.
А в новой статье рассказали о ClearML Agent — компоненте, который позволяет отправлять задачи в очередь и исполнять их на удалённых машинах. 📡
Из статьи вы узнаете:
- как работает ClearML Agent
- как использовать Google Colab в качестве воркера для ClearML 🍯
- и как можно добавлять задачи в очередь для ClearML Agent
Читайте новую статью по ссылке!👈
🪔 DeepSchool
Продолжаем обзор MLOps-экосистемы ClearML, которая покрывает полный цикл разработки и выкатки ML-моделей. Ранее мы разобрали, как работают компоненты ClearML Data и ClearML Session.
А в новой статье рассказали о ClearML Agent — компоненте, который позволяет отправлять задачи в очередь и исполнять их на удалённых машинах. 📡
Из статьи вы узнаете:
- как работает ClearML Agent
- как использовать Google Colab в качестве воркера для ClearML 🍯
- и как можно добавлять задачи в очередь для ClearML Agent
Читайте новую статью по ссылке!👈
Please open Telegram to view this post
VIEW IN TELEGRAM
DeepSchool
ClearML Agent: обучение модели в Google Colab - DeepSchool
Рассказываем о ClearML Agent: как он работает, как использовать Google Colab в качестве воркера и как можно добавлять задачи в очередь
Forwarded from Agentic World
На днях OpenAI опубликовали в своем блоге небольшую статью с достаточно громким названием «How evals drive the next chapter in AI for businesses». Я сделал ее перевод, чуть адаптировав для лучшей читабельности, потому что в прямом переводе получался сложночитаемый булшит.
Если вы знаете, что такое бейзлайн и как делаются бенчмарки, то можно не читать, но в целом как легкое напоминание о важности постоянной оценки шагов выполнения LLM-based штук — вполне ничего 🤗
https://habr.com/ru/articles/969358/
Если вы знаете, что такое бейзлайн и как делаются бенчмарки, то можно не читать, но в целом как легкое напоминание о важности постоянной оценки шагов выполнения LLM-based штук — вполне ничего 🤗
https://habr.com/ru/articles/969358/
Хабр
LLM Evals: движущая сила новой эры ИИ в бизнесе
На днях OpenAI опубликовали в своем блоге небольшую статью с достаточно громким названием «How evals drive the next chapter in AI for businesses». Я сделал ее перевод, чуть адаптировав для лучшей...
Forwarded from Agentic World
Написал вчера пост про LLM Observability и трейсинг агентов 🤗
Основное:
1) Почему обычных инструментов уже не хватает для LLM
2) Про попытки изобретения стандарта трейсинга агентов
3) Основные типы трейсов
4) Обзор ключевых инструментов (как обычно в топе что-то из экосистемы Lang)
5) По верхам про архитектурные изменения и основныхе проблемы агентов
Максимально попытался уложить больше смыслов в текст, поэтому глубоко рекомендую!
https://habr.com/ru/articles/972480/
Основное:
1) Почему обычных инструментов уже не хватает для LLM
2) Про попытки изобретения стандарта трейсинга агентов
3) Основные типы трейсов
4) Обзор ключевых инструментов (как обычно в топе что-то из экосистемы Lang)
5) По верхам про архитектурные изменения и основныхе проблемы агентов
Максимально попытался уложить больше смыслов в текст, поэтому глубоко рекомендую!
https://habr.com/ru/articles/972480/
Хабр
LLM Observability & AI Agent Tracing: большой гайд с обзором подходов и open-source решений
В этой статье я структурировал весь опыт и подходы к тому, как мониторить и трейсить LLM и AI-агентов на их основе. Это очень большая и тяжелая статья, но мне хотелось полностью закрыть всю тему за...
Forwarded from Agentic World
Три самые постоянные вещи в мире — оливье с мандаринами на Новый год🍊🌲, желание начать новую жизнь с понедельника🏃💪 и то, что если выходит статья Себастьяна Рашки, то я делаю ее качественный перевод на русский 🤩 🤩 🤩
Особенно прикольно, что она про дипсик, — а я очень люблю то, как китайцы делают свои модели и как описывают этот процесс. Сделал перевод крутейшей технической статьи о внутренностях нового DeepSeek V3.2 и о том, как команда архитектурно к нему пришла:
https://habr.com/ru/articles/973954/
Особенно прикольно, что она про дипсик, — а я очень люблю то, как китайцы делают свои модели и как описывают этот процесс. Сделал перевод крутейшей технической статьи о внутренностях нового DeepSeek V3.2 и о том, как команда архитектурно к нему пришла:
https://habr.com/ru/articles/973954/
Please open Telegram to view this post
VIEW IN TELEGRAM
Хабр
Технический обзор моделей DeepSeek от V3 до V3.2
Три самые постоянные вещи в мире — оливье с мандаринами на Новый год, желание начать новую жизнь с понедельника и то, что если выходит статья Себастьяна Рашки, то я делаю ее качественный перевод на...