Forwarded from Korenev AI - GPT в тапочках🩴
This media is not supported in your browser
VIEW IN TELEGRAM
Зацените как можно на лету добавлять различные элементы в видео: юнцу - бороду, тигру - полосы, афродядьке - новую голову
Все выглядит вполне консистентно
Добавить себе татухи или подкачать бицухи можно тут:
https://ebsynth.com/
Nano banana + Veo + EbSynth: и ты сам себе режиссер!
Все выглядит вполне консистентно
Добавить себе татухи или подкачать бицухи можно тут:
https://ebsynth.com/
Nano banana + Veo + EbSynth: и ты сам себе режиссер!
Forwarded from Korenev AI - GPT в тапочках🩴
В статье Битва за агентов подробно расписано про разницу подходов у OpenAI и LangChain к работе ИИ агентов. Рекомендую к изучению.
Для тех, кому не хочется погружаться в технический дебри, я сделал более простое (как мне кажется) изложение. Заодно и сам хоть понял что к чему
Итак, в мире ИИ-сервисов существует три основных подхода к организации работы:
Pipeline - это конвейер, где данные проходят через фиксированную последовательность этапов, как деталь на заводе: получили запрос → проанализировали → обработали → выдали ответ. Просто, предсказуемо, но негибко — если клиент на этапе оплаты решил изменить заказ, придётся начинать сначала.
Декларативный подход - похож на схему метро: все возможные маршруты прорисованы заранее, есть развилки и альтернативные пути, но вы не можете поехать там, где рельсов нет. Вы описываете граф состояний и переходов, а система следует по нему, выбирая нужную ветку в зависимости от условий. За этот подход топит ЛангГраф.
Императивный подход - работает совершенно иначе - вы даёте AI цель и набор инструментов, а дальше он сам решает, как действовать. Чаще всего в основе лежит паттерн ReAct (Reasoning + Acting): AI размышляет о задаче, выбирает действие, наблюдает результат и решает, что делать дальше. Это как отправить опытного сотрудника решить проблему клиента - он сам определит, нужно ли сначала выяснить бюджет или важнее понять сценарий использования, когда привлечь специалиста, а когда справится сам. За этот подход топит ОпенАИ.
Примеры декларативного и императивного подходов
Пример 1: Служба поддержки банка
У вас два AI-агента:
Сценарий клиента:
"Хочу перевести деньги и узнать про кредит на машину"
ДЕКЛАРАТИВНЫЙ ПОДХОД (карта)
1. Анализ запроса → два вопроса обнаружено
2. Сначала → Агент переводов (критично по времени)
3. Потом → Агент кредитов (может подождать)
4. Проверка → все ли решено?
5. Завершение
✅ Клиент всегда получит ответ в одинаковом порядке
✅ Легко проверить для аудита
❌ Негибко для нестандартных ситуаций
ИМПЕРАТИВНЫЙ ПОДХОД (компас)
AI сам решает:
- Может спросить "Что важнее сейчас?"
- Может параллельно запустить обоих агентов
- Может предложить сначала оформить кредит, чтобы были деньги для перевода
✅ Адаптируется под контекст
✅ Может найти неочевидные решения
❌ Непредсказуемый результат
❌ Сложно контролировать
Пример 2: Интернет-магазин техники
Агенты:
Сценарий клиента:
"Посоветуйте ноутбук для работы и доставьте завтра"
ДЕКЛАРАТИВНЫЙ:
Жёсткая последовательность:
Консультант выясняет требования
Предлагает 3 модели
После выбора → передача менеджеру доставки
Менеджер проверяет возможность на завтра
Проблема: Что если завтра доставки нет? Клиент зря потратил время на выбор.
ИМПЕРАТИВНЫЙ:
AI может сразу проверить доставку на завтра и предложить только те модели, которые успеют привезти. Или спросить, что важнее — конкретная модель или срочность?
Пример 3: Медицинская система
ГДЕ НУЖЕН ДЕКЛАРАТИВНЫЙ:
Пациент: "У меня болит голова и нужен больничный"
Фиксированный протокол:
1. Сбор симптомов → обязательно все пункты
2. Проверка противопоказаний → без пропусков
3. Только потом → выдача больничного
Нельзя пропускать шаги или менять порядок!
ГДЕ ПОДОЙДЁТ ИМПЕРАТИВНЫЙ:
Фитнес-консультант AI:
"Хочу похудеть и накачать пресс"
AI свободно решает:
- Начать с питания или тренировок?
- Предложить сначала обследование?
- Адаптироваться под ответы человека
Главный вывод
Декларативный = Рецепт
Вы даёте AI пошаговый рецепт. Он не может от него отступить.
Когда нужно: банки, медицина, юридические услуги
Императивный = Цель
Вы даёте AI цель. Он сам выбирает путь.
Когда нужно: творческие задачи, консультации, обучение
Кто же прав в споре?
OpenAI: "Дайте AI свободу, модели уже достаточно умные"
LangChain: "Без контроля AI может навредить. Нужен баланс"
Реальность: Идеальная система умеет работать в обоих режимах. Для оформления кредита — строгий протокол. Для выбора подарка — творческая свобода.
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Korenev AI - GPT в тапочках🩴
Размышлять - не мешки ворочать. Поэтому хочу поделиться этой простыней с мыслями о построении инфраструктуры по созданию SEO-оптимизированных сайтов, максимально используя возможности ЛЛМ.
Контекст и предпосылки
Имея за плечами 16+ лет в SEO, я хорошо понимаю классические подходы к построению сайтов. Но сейчас, с появлением ЛЛМ и ИИ-инструментов, открываются совершенно новые возможности для автоматизации и оптимизации процессов.
Этот текст будет затравкой для общения - может кто-то скажет "есть такие-то готовые решения, стоит туда идти". Предметной области я не касался уже более 5 лет, и возможно многое изменилось в мире SEO и веб-разработки. И я придумываю велосипед. Если так – просьба сообщить в каментах.
Исходная ситуация
Есть простой сайт-визитка про ремонт помещений на Тильде. Задача - превратить его в многостраничник, где каждый вид услуг будет на отдельной странице.
Почему это важно? Поисковики любят, когда под каждый запрос есть отдельная релевантная страница — это значительно повышает шансы попасть в топ выдачи.
Где будем использовать ИИ?
Да практически везде! Пока это будет не полностью автоматизированный пайплайн
Итак, задействуем ИИ тут:
Концепция вайб-SEO:
Шаг 1: Перенос и структурирование
Пересобираем исходный сайт-визитку в ИИ-сервисе Lovable. Там же закладываем правильную структуру:
Шапку и подвал делаем отдельными блоками - так проще вносить изменения на весь сайт сразу.
Шаг 2: Подключение системы управления сайтом
Здесь нужны два инструмента, которые предстоит развернуть:
Переносим в Курсоре код из Lovable на Astro
Альтернатива Strapi + Astro - что-то типа вордпреса, но очень он кривой и неспешный.
Шаг 3: Сбор семантики с помощью ИИ
Используем Яндекс.Вордстат для сбора всех вариантов запросов (как люди ищут услуги ремонта). Получаем сотни разных формулировок: "ремонт квартир", "отделка помещений", "евроремонт под ключ" и т.д.
Роль ИИ: Отправляем все эти запросы в ЛЛМ для кластеризации - ИИ сам сгруппирует похожие запросы и подскажет, какие страницы нужно создать.
Шаг 4: Анализ конкурентов через ИИ
Для каждого ключевого запроса:
1. Через SerpApi находим топ-3 сайта в выдаче (лучше смотреть Москву — там самая жесткая конкуренция и качественные сайты)
2. Отправляем ссылки в Perplexity, чтобы он извлек текст со страницы и метаданные (ключевые слова, мета-теги, описание для поисковых роботов)
3. Генерируем там же свой вариант.
Результат: ИИ создает для нас "идеальную" страницу, которая объединяет лучшие практики топовых конкурентов.
Вместо Perplexity можем использовать вэбскрапперы (системы для парсинга вебстраниц – их часто целесообразно использовать для обхода защит от ботов) . Я лично использую scrapeops.io – он достаточно дешев и стабилен
Шаг 5: Автоматическое наполнение
Вместо ручного создания десятков страниц:
Шаг 6: Сайт залетает в ТОП яндекса
Как следствие:
Кста, кому такое надо внедрить? Кто хочет такое научиться делать?
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Андрей Созыкин (Andrey Sozykin)
19 сентября в 11:30 ЕКБ на Студкемпе Яндекса и УрФУ буду рассказывать про протокол MCP. Очно уже не пускают, но можно смотреть онлайн трансляцию.
education.yandex.ru
Студкемп Яндекса по безопасному генеративному ИИ
Бесплатный очный интенсив по информационной безопасности LMM‑приложений. Научитесь работать с уязвимостями, видеть риски, строить безопасную архитектуру, а затем проверьте новые знания на BlackBox Hackathon
Forwarded from Андрей Созыкин (Andrey Sozykin)
YouTube
Защищенные сетевые протоколы | Компьютерные сети 2025 - 39
Вводная лекция по защищенным протоколам компьютерных сетей.
Как поддержать курс:
- Boosty - https://boosty.to/asozykin
- Cloudtips - https://pay.cloudtips.ru/p/45a4055b
Заранее спасибо за помощь!
Сайт курса - https://www.asozykin.ru/courses/networks_online…
Как поддержать курс:
- Boosty - https://boosty.to/asozykin
- Cloudtips - https://pay.cloudtips.ru/p/45a4055b
Заранее спасибо за помощь!
Сайт курса - https://www.asozykin.ru/courses/networks_online…
Защищенные сетевые протоколы
Завершился основательный раздел курса по компьютерным сетям, посвящённый транспортному уровню. В следующем разделе будем рассматривать Защищенные сетевые протоколы.
Какие протоколы будем изучать:
- TLS – Transport Layer Security
- HTTPS – HTTP Secure
- DNS-over-TLS, DNS-over-HTTPS
- DNSSEC – DNS Security Extensions
Если плохо работает YouTube, то можно смотреть в Дзен или VK.
Поддержать создание курса можно на Boosty или CloudTips.
Завершился основательный раздел курса по компьютерным сетям, посвящённый транспортному уровню. В следующем разделе будем рассматривать Защищенные сетевые протоколы.
Какие протоколы будем изучать:
- TLS – Transport Layer Security
- HTTPS – HTTP Secure
- DNS-over-TLS, DNS-over-HTTPS
- DNSSEC – DNS Security Extensions
Если плохо работает YouTube, то можно смотреть в Дзен или VK.
Поддержать создание курса можно на Boosty или CloudTips.
Forwarded from Тимлид Очевидность | Евгений Антонов
Я принес. Каким лидером быть? Стили лидерства, помогающие достичь результатов
Я вам как-то уже этого товарища приносил в посте про денежную мотивацию. Но оказалось, что хорошие видео у него — не разовая акция.
Вообще чувствую какую-то схожесть с ним по мнениям на разные управленческие вопросы. А еще плакат из The Legend of Zelda у него, за что отдельный мой респект 🙂
Сегодня видео про разные стили лидерства https://www.youtube.com/watch?v=U8KqU4TiJyQ
Мне понравился взгляд на геройский стиль лидерства. Знаю и таких лидеров, и команды с такими лидерами, подтверждаю, что оно примерно так и бывает, как говорит автор.
А еще мне импонирует сбалансированная позиция про то, что руководитель должен владеть разными стилями и ловко переключать между ними в зависимости от конкретного контекста. Есть у вас срочный пожар и разброд — быстро и оперативно решаем авторитарно или геройски, если есть подходящий набор скиллов. Есть стабильное время — помогаем людям расти и контролируемо наступать на грабли в коучинговом или сервант-стиле.
Я понимаю, что у каждого есть свои предпочтения и доминирующий стиль, но больше всего меня расстраивает, когда его применяют всегда вне зависимости от ситуации. Или всегда всем ультимативно говорят, что делать и как, или, наоборот, всех целуют во все места, даже когда это начинает расхолаживать.
Я вам как-то уже этого товарища приносил в посте про денежную мотивацию. Но оказалось, что хорошие видео у него — не разовая акция.
Вообще чувствую какую-то схожесть с ним по мнениям на разные управленческие вопросы. А еще плакат из The Legend of Zelda у него, за что отдельный мой респект 🙂
Сегодня видео про разные стили лидерства https://www.youtube.com/watch?v=U8KqU4TiJyQ
Мне понравился взгляд на геройский стиль лидерства. Знаю и таких лидеров, и команды с такими лидерами, подтверждаю, что оно примерно так и бывает, как говорит автор.
А еще мне импонирует сбалансированная позиция про то, что руководитель должен владеть разными стилями и ловко переключать между ними в зависимости от конкретного контекста. Есть у вас срочный пожар и разброд — быстро и оперативно решаем авторитарно или геройски, если есть подходящий набор скиллов. Есть стабильное время — помогаем людям расти и контролируемо наступать на грабли в коучинговом или сервант-стиле.
Я понимаю, что у каждого есть свои предпочтения и доминирующий стиль, но больше всего меня расстраивает, когда его применяют всегда вне зависимости от ситуации. Или всегда всем ультимативно говорят, что делать и как, или, наоборот, всех целуют во все места, даже когда это начинает расхолаживать.
YouTube
Каким лидером быть? Стили лидерства, помогающие достичь результатов
В арсенале хорошего руководителя должна быть обойма разных типов лидерства. В этом ролике поговорим о том какие это типы лидерства, что делает разные стили лидерства полезными или вредными. По большому счету, это разговор о том, как руководить. Каким менеджром…
Forwarded from Refat Talks: Tech & AI
#ReDigest
Продолжаем субботнюю рубрику, тут я кратко рассказываю про новости из мира технологий и AI, которые привлекли мое внимание.
Дайджест недели:
- OpenAI представила GPT-5-Codex — версию GPT-5, заточенную под агентное программирование. Может работать часами автономно, на SWE-bench Verified показывает 74.5%. Доступна в VSCode, JetBrains и терминале для всех подписчиков.
- xAI выпустили Grok 4 Fast с поражающим соотношением цена/качество: $0.20/M input против $1.25 у Gemini 2.5 Pro при схожем качестве. Плюс 340+ токенов в секунду и в 25 раз дешевле по итоговой стоимости благодаря эффективности.
- Meta представила Ray-Ban Display за $799 — очки с экраном и управлением жестами через нейронный браслет. На презентации дважды подвисали, но компания рассчитывает продать 100 тысяч к концу года.
- Google запустил крупнейший апгрейд Chrome с встроенным Gemini, который разбирает сложные страницы и работает с несколькими вкладками. AI Mode прямо в адресной строке.
- США и Китай наконец договорились о сделке по TikTok - ByteDance лицензирует алгоритм американской компании, сохранив технологию. Классический "TACO trade" от Трампа после всех угроз запрета.
- OpenAI опубликовали исследование 1.5 млн чатов с ChatGPT. Программирование оказалось нишей, зато половина запросов — просьбы совета. ChatGPT стал цифровым советником, а не инструментом автоматизации. 70% использования вообще не связано с работой.
- Anthropic выпустил третий отчет Economic Index — 40% сотрудников в США уже используют AI на работе (рост с 20% за два года). Израиль лидирует по использованию на душу населения в 7 раз выше ожидаемого. А еще там клевые интерактивные графики на сайте.
- @llm_arena выпустили исследование о выборе моделей (изучали мнение AI-инженеров, экспертов и т.д. - я тоже участвовал в опросе), почитайте, интересно вышло, например выяснилось что 82.2% команд полагаются на собственные тесты, а не бенчмарки. Более четверти вообще не используют рейтинги из принципа, предпочитая обзоры.
- Google выпустил Agent Payments Protocol (AP2) для безопасных платежей агентами через цифровые мандаты. В проекте участвуют 60+ партнеров, включая Mastercard и PayPal.
- Илон Маск назначил 20-летнего студента Диего Пасини руководителем команды аннотации данных для Grok после массовых увольнений 500+ сотрудников. До этого место занимал человек с 10-летним опытом из Tesla.
- YouTube представил AI-инструменты для подкастеров — автонарезка клипов и Shorts, плюс генерация видеоряда из аудио. Запуск в ближайшие месяцы для избранных, всем к концу 2026.
- Anthropic опубликовали постмортем по недавним проблемам с производительностью — три параллельных инфраструктурных бага создали запутанную картину, которую сложно было диагностировать в мультиплатформенной среде.
- Meta Superintelligence Labs выпустила REFRAG — новый подход к ускорению RAG-систем с 30.85× ускорением TTFT и 16× расширением контекстного окна через умное сжатие чанков контекста.
- Stripe представил практический фреймворк ценообразования AI продуктов на основе опыта с 78% компаний из Forbes AI 50. 56% используют гибридные модели подписка + usage-based fees.
- Gamma выкатили 3.0 с собственным AI-агентом для создания презентаций, который превращает сырые идеи в визуальные коммуникации одной командой и может исследовать темы в интернете.
Продолжаем субботнюю рубрику, тут я кратко рассказываю про новости из мира технологий и AI, которые привлекли мое внимание.
Дайджест недели:
- OpenAI представила GPT-5-Codex — версию GPT-5, заточенную под агентное программирование. Может работать часами автономно, на SWE-bench Verified показывает 74.5%. Доступна в VSCode, JetBrains и терминале для всех подписчиков.
- xAI выпустили Grok 4 Fast с поражающим соотношением цена/качество: $0.20/M input против $1.25 у Gemini 2.5 Pro при схожем качестве. Плюс 340+ токенов в секунду и в 25 раз дешевле по итоговой стоимости благодаря эффективности.
- Meta представила Ray-Ban Display за $799 — очки с экраном и управлением жестами через нейронный браслет. На презентации дважды подвисали, но компания рассчитывает продать 100 тысяч к концу года.
- Google запустил крупнейший апгрейд Chrome с встроенным Gemini, который разбирает сложные страницы и работает с несколькими вкладками. AI Mode прямо в адресной строке.
- США и Китай наконец договорились о сделке по TikTok - ByteDance лицензирует алгоритм американской компании, сохранив технологию. Классический "TACO trade" от Трампа после всех угроз запрета.
- OpenAI опубликовали исследование 1.5 млн чатов с ChatGPT. Программирование оказалось нишей, зато половина запросов — просьбы совета. ChatGPT стал цифровым советником, а не инструментом автоматизации. 70% использования вообще не связано с работой.
- Anthropic выпустил третий отчет Economic Index — 40% сотрудников в США уже используют AI на работе (рост с 20% за два года). Израиль лидирует по использованию на душу населения в 7 раз выше ожидаемого. А еще там клевые интерактивные графики на сайте.
- @llm_arena выпустили исследование о выборе моделей (изучали мнение AI-инженеров, экспертов и т.д. - я тоже участвовал в опросе), почитайте, интересно вышло, например выяснилось что 82.2% команд полагаются на собственные тесты, а не бенчмарки. Более четверти вообще не используют рейтинги из принципа, предпочитая обзоры.
- Google выпустил Agent Payments Protocol (AP2) для безопасных платежей агентами через цифровые мандаты. В проекте участвуют 60+ партнеров, включая Mastercard и PayPal.
- Илон Маск назначил 20-летнего студента Диего Пасини руководителем команды аннотации данных для Grok после массовых увольнений 500+ сотрудников. До этого место занимал человек с 10-летним опытом из Tesla.
- YouTube представил AI-инструменты для подкастеров — автонарезка клипов и Shorts, плюс генерация видеоряда из аудио. Запуск в ближайшие месяцы для избранных, всем к концу 2026.
- Anthropic опубликовали постмортем по недавним проблемам с производительностью — три параллельных инфраструктурных бага создали запутанную картину, которую сложно было диагностировать в мультиплатформенной среде.
- Meta Superintelligence Labs выпустила REFRAG — новый подход к ускорению RAG-систем с 30.85× ускорением TTFT и 16× расширением контекстного окна через умное сжатие чанков контекста.
- Stripe представил практический фреймворк ценообразования AI продуктов на основе опыта с 78% компаний из Forbes AI 50. 56% используют гибридные модели подписка + usage-based fees.
- Gamma выкатили 3.0 с собственным AI-агентом для создания презентаций, который превращает сырые идеи в визуальные коммуникации одной командой и может исследовать темы в интернете.
Forwarded from Neural Kovalskii
SGR Deep Research бенчмарк?
В предыдущем посте я рассказал, как мы выкатили наконец стабильную версию sgr deep research системы, что бы начать прогонять разных SGR/non SGR агентов по бенчам и задачам
Времени конечно у команды open-source на это не очень много, но то, что я успеваю руками делать, то делается через "Курсор"😈
Что я себе навайбокдил
1) Логи, очень и очень подробные логи
2) Интерфейс, что бы эти логи не читать в терминале или в IDE
3) Разные виды промптов (для gpt-4o-mini/qwen)
Нашел топ SealQA бенчмарк как я считаю, для Deep Research.
Почему? Я дал вопросы от туда паре человек, так они искали ответ 30 минут (считаю что бенч, отличный)
Далее нашел топ агента ROMA, который выбивает SOTA под этот бенчмарк, и о ужас, что я увидел в промптах, примерно 15к токенов разных оверфитов и трюков для прохождения бенча, бям
Я же решил таким не заниматся и прогнал на 111 вопросов, и глазками просмотрел(больно) что имеем gpt-4o-mini выбила 0.25 точности (не густо?)
Зайдите в бенч сами, увидите, сколько модели выбивают на нем, а выбивают они 0
SealQA is a new challenge benchmark for evaluating SEarch- Augmented Language models on fact-seeking questions where web search yields conflicting, noisy, or unhelpful results
За сим я откланяюсь дальше творить добро и знания в мире LLM, где все покрыто тайной и мистификацией
Кстати поглядеть кусочек логов и трейса можно тут
Репо: https://github.com/vakovalskii/sgr-deep-research
В предыдущем посте я рассказал, как мы выкатили наконец стабильную версию sgr deep research системы, что бы начать прогонять разных SGR/non SGR агентов по бенчам и задачам
Времени конечно у команды open-source на это не очень много, но то, что я успеваю руками делать, то делается через "Курсор"
Что я себе навайбокдил
1) Логи, очень и очень подробные логи
2) Интерфейс, что бы эти логи не читать в терминале или в IDE
3) Разные виды промптов (для gpt-4o-mini/qwen)
Нашел топ SealQA бенчмарк как я считаю, для Deep Research.
Почему? Я дал вопросы от туда паре человек, так они искали ответ 30 минут (считаю что бенч, отличный)
Далее нашел топ агента ROMA, который выбивает SOTA под этот бенчмарк, и о ужас, что я увидел в промптах, примерно 15к токенов разных оверфитов и трюков для прохождения бенча, бям
Я же решил таким не заниматся и прогнал на 111 вопросов, и глазками просмотрел(больно) что имеем gpt-4o-mini выбила 0.25 точности (не густо?)
Зайдите в бенч сами, увидите, сколько модели выбивают на нем, а выбивают они 0
SealQA is a new challenge benchmark for evaluating SEarch- Augmented Language models on fact-seeking questions where web search yields conflicting, noisy, or unhelpful results
За сим я откланяюсь дальше творить добро и знания в мире LLM, где все покрыто тайной и мистификацией
Кстати поглядеть кусочек логов и трейса можно тут
Репо: https://github.com/vakovalskii/sgr-deep-research
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Red RecSys
Генеративные рекомендации III. Хайп и хаос
Меняя компанию, я успела походить по собесам в области RecSys DL, и в одной из секций всегда всплывали генеративные рекомендации. Тема сейчас настолько хайповая, что в терминологии полный хаос, который идёт к нам ещё из научных статей. Пара примеров понимания "генеративных рекомендаций" из статей 23-25 годов:
“The first generative recommendation system in the literature” – хочет назвать известная компания свою же прошлую архитектуру из “Actions…” (ICML'24). Сподвигает их к этому предложение "Generative Recommender", но их парадигма по сути только заменяет концепцию обучения с impression-based на авторегрессивную, не меняя ни задачи модели, ни способ инференса.
"In the paradigm of generative recommendation, the primary objective is to predict the next item a user is likely to interact with" - хочет написать Huawei в препринте этого года. И приписывает таким образом пальму первенства генеративных рекомендаций ванильному SASRec из 2019 года (а то и BERT4Rec из 2018). Мотивация Huawei понятна: они обновляют архитектуру трансформера для простой Shifted Sequence модели (как это делают FuX-α, HSTU, eSASRec и пр.), не меняя концепцию обучения или задачи инференса. Но подчеркнуть актуальность статьи нужно, “Generative” в название статьи добавить хочется, и потому возникает такой вот финт, причём применяется он сейчас в статьях часто. Под "Generative" в заголовке статьи 2024-25 года часто будет скрываться именно авторегрессивная постановка обучения, без концептуальных нововведений на уровне моделирования. Разве что каузальная маска внимания может быть чуть видоизменена под конкретную задачу, как в "Generative Rankers" из моего прошлого поста.
“We propose a generative Next-K strategy, where recommendations are generated item-by-item” – пишет Саша Петров с соавтором в "Generative Sequential Recommendation..." (SIGIR’23). Тут реализуется простая идея: айтем, сгенерированный авторегрессивной моделью, можно подставить в последовательность и продолжить генерировать рекомендации дальше. Помимо жадной генерации есть и другие стратегии. Интуитивно очень понятный подход, и тут он «генеративный» уже в прямом смысле слова, без оговорок. Но хайпует сейчас другое.
“We propose a new paradigm ... Instead of traditional query-candidate matching approaches, our method uses an end-to-end generative model that predicts the candidate IDs directly.” – пишет Google в статье про TIGER (NeurIPS’23). TIGER использует полноценную энкодер-декодер архитектуру и обучается генерировать один следующий айтем (состоящий из набора иерархических semantic ids) для пользователя с заданной историей (в которой также каждый айтем представлен как набор semantic ids). Результаты на публичных датасетах у этой модели легко бьются простым SASRec с gBCE или SS лоссом, но важно далеко не это. Открывается целое направление в RecSys ресёрче:
“We propose OneRec, which replaces the cascaded learning framework with a unified generative model. This is the first end-to-end generative model” - пишут KuaiShou в препринте OneRec (2025). В данном случае одна модель заменяет собой все стадии индустриальных рекомендательных пайплайнов от кандидато-генерации до ранжирования. Прямая генерация айтемов по семантическим айди повторяет идею TIGER, так что в первом приближении модель относится к кандидато-генерации ("Generative Retrieval"). Но использование RL подходов в серии статей “One…” от KuaiShou
позволяет моделям дообучаться на максимизацию приносимого ими профита. По сути, это инкорпорация сразу и ранжирующего сигнала (конверсии в целевые действия - на которые учатся ранжирующие модели), и даже более общего экономического сигнала сразу в единую модель. Что в идеальном мире позволяет ей быть end-to-end генеративным рекомендательным движком, затюненным на полезность в сервисе. Так что законно задаёмся вопросом – не это ли RecSys будущего?
Про серию “One…” можно почитать хардовые разборы у Коли Савушкина из Яндекса и поучаствовать в ближайших ридинг группах VK.
Меняя компанию, я успела походить по собесам в области RecSys DL, и в одной из секций всегда всплывали генеративные рекомендации. Тема сейчас настолько хайповая, что в терминологии полный хаос, который идёт к нам ещё из научных статей. Пара примеров понимания "генеративных рекомендаций" из статей 23-25 годов:
“The first generative recommendation system in the literature” – хочет назвать известная компания свою же прошлую архитектуру из “Actions…” (ICML'24). Сподвигает их к этому предложение "Generative Recommender", но их парадигма по сути только заменяет концепцию обучения с impression-based на авторегрессивную, не меняя ни задачи модели, ни способ инференса.
"In the paradigm of generative recommendation, the primary objective is to predict the next item a user is likely to interact with" - хочет написать Huawei в препринте этого года. И приписывает таким образом пальму первенства генеративных рекомендаций ванильному SASRec из 2019 года (а то и BERT4Rec из 2018). Мотивация Huawei понятна: они обновляют архитектуру трансформера для простой Shifted Sequence модели (как это делают FuX-α, HSTU, eSASRec и пр.), не меняя концепцию обучения или задачи инференса. Но подчеркнуть актуальность статьи нужно, “Generative” в название статьи добавить хочется, и потому возникает такой вот финт, причём применяется он сейчас в статьях часто. Под "Generative" в заголовке статьи 2024-25 года часто будет скрываться именно авторегрессивная постановка обучения, без концептуальных нововведений на уровне моделирования. Разве что каузальная маска внимания может быть чуть видоизменена под конкретную задачу, как в "Generative Rankers" из моего прошлого поста.
“We propose a generative Next-K strategy, where recommendations are generated item-by-item” – пишет Саша Петров с соавтором в "Generative Sequential Recommendation..." (SIGIR’23). Тут реализуется простая идея: айтем, сгенерированный авторегрессивной моделью, можно подставить в последовательность и продолжить генерировать рекомендации дальше. Помимо жадной генерации есть и другие стратегии. Интуитивно очень понятный подход, и тут он «генеративный» уже в прямом смысле слова, без оговорок. Но хайпует сейчас другое.
“We propose a new paradigm ... Instead of traditional query-candidate matching approaches, our method uses an end-to-end generative model that predicts the candidate IDs directly.” – пишет Google в статье про TIGER (NeurIPS’23). TIGER использует полноценную энкодер-декодер архитектуру и обучается генерировать один следующий айтем (состоящий из набора иерархических semantic ids) для пользователя с заданной историей (в которой также каждый айтем представлен как набор semantic ids). Результаты на публичных датасетах у этой модели легко бьются простым SASRec с gBCE или SS лоссом, но важно далеко не это. Открывается целое направление в RecSys ресёрче:
“We propose OneRec, which replaces the cascaded learning framework with a unified generative model. This is the first end-to-end generative model” - пишут KuaiShou в препринте OneRec (2025). В данном случае одна модель заменяет собой все стадии индустриальных рекомендательных пайплайнов от кандидато-генерации до ранжирования. Прямая генерация айтемов по семантическим айди повторяет идею TIGER, так что в первом приближении модель относится к кандидато-генерации ("Generative Retrieval"). Но использование RL подходов в серии статей “One…” от KuaiShou
позволяет моделям дообучаться на максимизацию приносимого ими профита. По сути, это инкорпорация сразу и ранжирующего сигнала (конверсии в целевые действия - на которые учатся ранжирующие модели), и даже более общего экономического сигнала сразу в единую модель. Что в идеальном мире позволяет ей быть end-to-end генеративным рекомендательным движком, затюненным на полезность в сервисе. Так что законно задаёмся вопросом – не это ли RecSys будущего?
Про серию “One…” можно почитать хардовые разборы у Коли Савушкина из Яндекса и поучаствовать в ближайших ридинг группах VK.
arXiv.org
Realizing Scaling Laws in Recommender Systems: A Foundation-Expert...
While scaling laws promise significant performance gains for recommender systems, efficiently deploying hyperscale models remains a major unsolved challenge. In contrast to fields where FMs are...