На днях у одного из моих любимых авторов вышла новая крутая статья, посвященная альтернативам классическому трансформеру в LLM. Она очень интересная, поэтому сделал ее перевод. Будет про гибриды с линейным вниманием, диффузионные LLM, модели мира и малые рекурсивные трансформеры.
https://habr.com/ru/articles/964658/
https://habr.com/ru/articles/964658/
Хабр
Не только трансформеры: за пределами стандартных архитектур LLM
Привет! Это перевод очень крутой и захватывающей статьи, в которой автор рассматривает альтернативные архитектуры LLM: гибриды с линейным вниманием, диффузионные LLM, модели мира и малые рекурсивные...
👍7👏2
На днях OpenAI опубликовали в своем блоге небольшую статью с достаточно громким названием «How evals drive the next chapter in AI for businesses». Я сделал ее перевод, чуть адаптировав для лучшей читабельности, потому что в прямом переводе получался сложночитаемый булшит.
Если вы знаете, что такое бейзлайн и как делаются бенчмарки, то можно не читать, но в целом как легкое напоминание о важности постоянной оценки шагов выполнения LLM-based штук — вполне ничего 🤗
https://habr.com/ru/articles/969358/
Если вы знаете, что такое бейзлайн и как делаются бенчмарки, то можно не читать, но в целом как легкое напоминание о важности постоянной оценки шагов выполнения LLM-based штук — вполне ничего 🤗
https://habr.com/ru/articles/969358/
Хабр
LLM Evals: движущая сила новой эры ИИ в бизнесе
На днях OpenAI опубликовали в своем блоге небольшую статью с достаточно громким названием «How evals drive the next chapter in AI for businesses». Я сделал ее перевод, чуть адаптировав для лучшей...
👍6👏3🔥2
В четверг выступал офлайн в бизнес день на главной конфе Сбера по ИИ — AI Journey.
Рассказывал как мы делаем AI-First аналитику и как трансформируется работа аналитиков и принятие решение.
Перфоманс оцениваю на четверку с небольшим плюсом: выступил ок, но готовиться было ну очень сложно из-за сильно размытой аудитории — нужно было и про бизнес, и попросили про техничку, но технички не так чтобы много, потому что все же про бизнес — и вооот это все нужно было уместить в 15 минут.
Единственное, чтобы добавил — на финальные слайды рядом с трейсингом надо было вынести те самые Evals, хотя я про них и в целом говорил. И в ответах на вопросы я сказал, что верю в голос как важный интерфейс общения с агентами - это почти так, я верю в сквозные интерфейсы, где стартовой точкой является голос, а дальше все нам привычное. Очень хочу раскрыть это как-то отдельным постом позже.
Ну и прикольно, что компания выступающих была очень мощная — босс по ИИ в Т-Банке Виктор Тарнавский, директор по ИИ Авито Андрей Рыбинцев, руководитель Yandex Cloud Григорий Атрепьев — вот их я тоже рекомендую посмотреть — ну и многие другие до и после.
Ссылка на выступление:
https://aij.ru/program?concreteDate=2025-11-20&streamId=46&topicId=1271
Рассказывал как мы делаем AI-First аналитику и как трансформируется работа аналитиков и принятие решение.
Перфоманс оцениваю на четверку с небольшим плюсом: выступил ок, но готовиться было ну очень сложно из-за сильно размытой аудитории — нужно было и про бизнес, и попросили про техничку, но технички не так чтобы много, потому что все же про бизнес — и вооот это все нужно было уместить в 15 минут.
Единственное, чтобы добавил — на финальные слайды рядом с трейсингом надо было вынести те самые Evals, хотя я про них и в целом говорил. И в ответах на вопросы я сказал, что верю в голос как важный интерфейс общения с агентами - это почти так, я верю в сквозные интерфейсы, где стартовой точкой является голос, а дальше все нам привычное. Очень хочу раскрыть это как-то отдельным постом позже.
Ну и прикольно, что компания выступающих была очень мощная — босс по ИИ в Т-Банке Виктор Тарнавский, директор по ИИ Авито Андрей Рыбинцев, руководитель Yandex Cloud Григорий Атрепьев — вот их я тоже рекомендую посмотреть — ну и многие другие до и после.
Ссылка на выступление:
https://aij.ru/program?concreteDate=2025-11-20&streamId=46&topicId=1271
🔥9👍4🤯1
Написал вчера пост про LLM Observability и трейсинг агентов 🤗
Основное:
1) Почему обычных инструментов уже не хватает для LLM
2) Про попытки изобретения стандарта трейсинга агентов
3) Основные типы трейсов
4) Обзор ключевых инструментов (как обычно в топе что-то из экосистемы Lang)
5) По верхам про архитектурные изменения и основныхе проблемы агентов
Максимально попытался уложить больше смыслов в текст, поэтому глубоко рекомендую!
https://habr.com/ru/articles/972480/
Основное:
1) Почему обычных инструментов уже не хватает для LLM
2) Про попытки изобретения стандарта трейсинга агентов
3) Основные типы трейсов
4) Обзор ключевых инструментов (как обычно в топе что-то из экосистемы Lang)
5) По верхам про архитектурные изменения и основныхе проблемы агентов
Максимально попытался уложить больше смыслов в текст, поэтому глубоко рекомендую!
https://habr.com/ru/articles/972480/
Хабр
LLM Observability & AI Agent Tracing: большой гайд с обзором подходов и open-source решений
В этой статье я структурировал весь опыт и подходы к тому, как мониторить и трейсить LLM и AI-агентов на их основе. Это очень большая и тяжелая статья, но мне хотелось полностью закрыть всю тему за...
👍6🔥3
Три самые постоянные вещи в мире — оливье с мандаринами на Новый год🍊🌲, желание начать новую жизнь с понедельника🏃💪 и то, что если выходит статья Себастьяна Рашки, то я делаю ее качественный перевод на русский 🤩 🤩 🤩
Особенно прикольно, что она про дипсик, — а я очень люблю то, как китайцы делают свои модели и как описывают этот процесс. Сделал перевод крутейшей технической статьи о внутренностях нового DeepSeek V3.2 и о том, как команда архитектурно к нему пришла:
https://habr.com/ru/articles/973954/
Особенно прикольно, что она про дипсик, — а я очень люблю то, как китайцы делают свои модели и как описывают этот процесс. Сделал перевод крутейшей технической статьи о внутренностях нового DeepSeek V3.2 и о том, как команда архитектурно к нему пришла:
https://habr.com/ru/articles/973954/
Please open Telegram to view this post
VIEW IN TELEGRAM
Хабр
Технический обзор моделей DeepSeek от V3 до V3.2
Три самые постоянные вещи в мире — оливье с мандаринами на Новый год, желание начать новую жизнь с понедельника и то, что если выходит статья Себастьяна Рашки, то я делаю ее качественный перевод на...
👍7🔥4😁1💯1
Сегодня первый раз за много месяцев решил пока не продлевать подписку на Сursor, ушла эпоха 😀
Курсор очень люблю за революции в синхронизации понимания. Когда вместо тысячи слов и синков, вместо фигм или тикетов можно было быстренько "накурсорить" (термин - оставляем!) любой прототип, на нем обкатать ожидания и правильное понимание концепта со всех заинтересованных сторон и только после этого браться за что-то серьезнее. Это - супер круто.
Курсором я в целом был доволен, но из включенных моделей у меня всегда были только модели антропика. И пару дней назад поставил себе нативный Claude Code и решил, что поживу пока с ним.
Нет, по ощущениям он не сильно лучше - все так же плодит кучу ненужных файлов и десятки описаний, выжигая все токены, сворачивает совсем не туда, вызывает порывы на него наорать матом, жестко тупит и периодически выпиливает важные вещи из проекта (типа коннекторов к постгресу, с%ка!). Может быть, в стоке он даже хуже - модели Claude без правильной подготовки слишком много базарят(с) не по делу уже ПОСЛЕ ответа на вопрос. Но пока посижу месяц на такой нативке.
Из минусов - работает только с VPN, а курсор без. Еще из плюсов (но и сразу минусов) - Claude Code включен в общую платную подписку, с которой у него общий шаринг токенов - а с моими хотелками я быстро выбил лимит в коде и остался без любимой ллмки в вебе.
Вообщем, веду наблюдение! Как говорят на маркетплейсах, "пока не пользовался, но ставлю пятерку, через месяц отзыв обновлю" 😀
Курсор очень люблю за революции в синхронизации понимания. Когда вместо тысячи слов и синков, вместо фигм или тикетов можно было быстренько "накурсорить" (термин - оставляем!) любой прототип, на нем обкатать ожидания и правильное понимание концепта со всех заинтересованных сторон и только после этого браться за что-то серьезнее. Это - супер круто.
Курсором я в целом был доволен, но из включенных моделей у меня всегда были только модели антропика. И пару дней назад поставил себе нативный Claude Code и решил, что поживу пока с ним.
Нет, по ощущениям он не сильно лучше - все так же плодит кучу ненужных файлов и десятки описаний, выжигая все токены, сворачивает совсем не туда, вызывает порывы на него наорать матом, жестко тупит и периодически выпиливает важные вещи из проекта (типа коннекторов к постгресу, с%ка!). Может быть, в стоке он даже хуже - модели Claude без правильной подготовки слишком много базарят(с) не по делу уже ПОСЛЕ ответа на вопрос. Но пока посижу месяц на такой нативке.
Из минусов - работает только с VPN, а курсор без. Еще из плюсов (но и сразу минусов) - Claude Code включен в общую платную подписку, с которой у него общий шаринг токенов - а с моими хотелками я быстро выбил лимит в коде и остался без любимой ллмки в вебе.
Вообщем, веду наблюдение! Как говорят на маркетплейсах, "пока не пользовался, но ставлю пятерку, через месяц отзыв обновлю" 😀
👍5😁5👏2👎1
Посмотрел вчера интервью Ильи Суцкевера на подкасте Дваркеша Пателя. Илья поговорил про будущее AGI, конец претрейна в текущем виде, об оптимизации моделей под прохождение тестов и природу этого.
Самое классное для меня в таких подкастах — это даже не предсказания будущего или супер-экспертная оценка происходящего, а фреймворк мышления и то, что можно достать из этого chain-of-thought Ильи (или другого топового гостя).
Самая крутая мысль на мой взгляд — про эволюцию как способ кодирования самого важного, что передается сквозь тысячелетия и поколения. «Простые сигналы» типа желания вкусно есть расшифровываются очень легко, потому что это относительно понятная химическая реакция. Но эволюция встроила в нас сложнейшие социальные желания (статус, признание, социальная интуиция), которые требуют огромных вычислений мозга для понимания ситуации.
«Каким-то образом неинтеллектуальный геном закодировал: „Заботься о результате вот этого сложнейшего вычисления большого куска твоего мозга." Это остаётся глубокой тайной — и возможно, ключом к созданию по-настоящему общего интеллекта». Шик!
Шикарная тема для поразмышлять (проснулся сегодня именно с ней) как просто в свободное время, так и для бара 😀
Максимально рекомендую!
https://www.youtube.com/watch?v=aR20FWCCjAs
Самое классное для меня в таких подкастах — это даже не предсказания будущего или супер-экспертная оценка происходящего, а фреймворк мышления и то, что можно достать из этого chain-of-thought Ильи (или другого топового гостя).
Самая крутая мысль на мой взгляд — про эволюцию как способ кодирования самого важного, что передается сквозь тысячелетия и поколения. «Простые сигналы» типа желания вкусно есть расшифровываются очень легко, потому что это относительно понятная химическая реакция. Но эволюция встроила в нас сложнейшие социальные желания (статус, признание, социальная интуиция), которые требуют огромных вычислений мозга для понимания ситуации.
«Каким-то образом неинтеллектуальный геном закодировал: „Заботься о результате вот этого сложнейшего вычисления большого куска твоего мозга." Это остаётся глубокой тайной — и возможно, ключом к созданию по-настоящему общего интеллекта». Шик!
Шикарная тема для поразмышлять (проснулся сегодня именно с ней) как просто в свободное время, так и для бара 😀
Максимально рекомендую!
https://www.youtube.com/watch?v=aR20FWCCjAs
YouTube
Ilya Sutskever – We're moving from the age of scaling to the age of research
Ilya & I discuss SSI’s strategy, the problems with pre-training, how to improve the generalization of AI models, and how to ensure AGI goes well.
𝐄𝐏𝐈𝐒𝐎𝐃𝐄 𝐋𝐈𝐍𝐊𝐒
* Transcript: https://www.dwarkesh.com/p/ilya-sutskever-2
* Apple Podcasts: https://podcasts.…
𝐄𝐏𝐈𝐒𝐎𝐃𝐄 𝐋𝐈𝐍𝐊𝐒
* Transcript: https://www.dwarkesh.com/p/ilya-sutskever-2
* Apple Podcasts: https://podcasts.…
👍4🔥3🤔3❤1💯1
Захотелось зановогодить аватарку, выкладываю бекстейдж со съемки 🍊🌲
Мне ооочень нравятся роботы, но не нравятся их исключительно избитые клише в футуристических картинках, а вот помещать их в обычный позднесоветкий быт со всеми его неидеальностями и колоритом - прям очень заходит.
Когда я делал свой туристический стартапчик (форк maps.me), то заказывал у иллюстратора большое количество изображений и разработка главного персонажа по ценам 2015 года стоила около 3 тыс рублей, а каждая следующая иллюстрация - около 1 тыс рэ. И на каждую картинку уходило несколько дней.
А теперь свои самые бешеные фантазии можно получить за 15 секунд и пару центов, внести в моменте самые отбитые пожелания по правкам (на одной из картинок я пробовал сделать добрую версию самого страшного робота моего детства из "ну погоди"), бесконечно экспериментировать, и я не могу назвать ни одной причины, почему я когда-либо теперь пойду платить деньги за иллюстрации людям. Учитывая, что все вот это вот можно проделать с любой своей или чужой фотографией, то нас ждет какое-то безумно интересно будущее.
Бесконечный ai-слоп и фейки? Жесткая регуляция генеративок?
What a time to be alive! 🔥
Мне ооочень нравятся роботы, но не нравятся их исключительно избитые клише в футуристических картинках, а вот помещать их в обычный позднесоветкий быт со всеми его неидеальностями и колоритом - прям очень заходит.
Когда я делал свой туристический стартапчик (форк maps.me), то заказывал у иллюстратора большое количество изображений и разработка главного персонажа по ценам 2015 года стоила около 3 тыс рублей, а каждая следующая иллюстрация - около 1 тыс рэ. И на каждую картинку уходило несколько дней.
А теперь свои самые бешеные фантазии можно получить за 15 секунд и пару центов, внести в моменте самые отбитые пожелания по правкам (на одной из картинок я пробовал сделать добрую версию самого страшного робота моего детства из "ну погоди"), бесконечно экспериментировать, и я не могу назвать ни одной причины, почему я когда-либо теперь пойду платить деньги за иллюстрации людям. Учитывая, что все вот это вот можно проделать с любой своей или чужой фотографией, то нас ждет какое-то безумно интересно будущее.
Бесконечный ai-слоп и фейки? Жесткая регуляция генеративок?
What a time to be alive! 🔥
😁5👍3🔥1🤔1
