AI не готовность - пост о том, как препарируем доменные данные и контекст в Авито
Антропик напомнил всем кто забыл, что Text2sql бесполезен, если он не шарит в данных домена. Мы догадывались.
Одна из тестируемых тут идей - AI-ready score в целях тимлидов доменов.
Это булевые проверки условно трех групп:
- Роли и в домене (BI-партнёр, Куратор метрик, AI-чемпион). Скучный компонент, но без гавернанс-людей никак;
- Разметка каноничных объектов. Смотрим, что доля трафика через сертифицированные здоровые витрины, деши и метрики не ниже таргета.
- База знаний домена - 11 типов контекста в репозитории: FAQ, глоссарий, lineage, примеры text2sql, eval-кейсы, деревья метрик и др.
Генерация этого контекста - это тоже скилл, встроенный в работу - решил задачу -> закинул агентом PR в базу контекста. Автогенерённые объекты засчитываются только после ревью.
Всё это пока про покрытие.
Качество сразу после: golden sets по типовым задачам + трейсы от AI-дежурных дают базу для тюнинга.
Будет понято, какие эвалы фейк, какие знания - балласт.
AI-дежурные и ассистенты это морковка спереди, рост доли их успешно отвеченных эдхоков в чатах - мотивация вкладываться дальше в контекст.
Замеры в этой части пошарю позднее.
Если интересно включится - все еще есть вакансии в BI
#АвитоBI
Антропик напомнил всем кто забыл, что Text2sql бесполезен, если он не шарит в данных домена. Мы догадывались.
Одна из тестируемых тут идей - AI-ready score в целях тимлидов доменов.
Это булевые проверки условно трех групп:
- Роли и в домене (BI-партнёр, Куратор метрик, AI-чемпион). Скучный компонент, но без гавернанс-людей никак;
- Разметка каноничных объектов. Смотрим, что доля трафика через сертифицированные здоровые витрины, деши и метрики не ниже таргета.
- База знаний домена - 11 типов контекста в репозитории: FAQ, глоссарий, lineage, примеры text2sql, eval-кейсы, деревья метрик и др.
Генерация этого контекста - это тоже скилл, встроенный в работу - решил задачу -> закинул агентом PR в базу контекста. Автогенерённые объекты засчитываются только после ревью.
Всё это пока про покрытие.
Качество сразу после: golden sets по типовым задачам + трейсы от AI-дежурных дают базу для тюнинга.
Будет понято, какие эвалы фейк, какие знания - балласт.
AI-дежурные и ассистенты это морковка спереди, рост доли их успешно отвеченных эдхоков в чатах - мотивация вкладываться дальше в контекст.
Замеры в этой части пошарю позднее.
Если интересно включится - все еще есть вакансии в BI
#АвитоBI
Semantic Layer все понимают по-разному.
Кто-то помнит про LookML, другой работал с dbt metrics, третий шарит за cube.dev, atscale и другие семантические платформы.
В России Semantic Layer принято рисовать в стратегии, но в итоге вечно двигать на будущее. Нет очевидных решений в рынке и слишком много легаси под дешами нужно перелопатить. Да и ущерб от отсутствия был прямо скажем приемлемым. Так было до новой волны инвестиций в ИИ.
Пообщались на прошлой неделе с Artyom Keydunov (CEO того самого сube.dev) о том, как концепция семантик слоя для унификации метрик для дешей сменилась на семантик для агентов. Мысли со встречи:
1. Семантический движок и Runtime и становится самым важным компонентом
Сложность уже не в унификации метрик, а в их исполнении.
Runtime преобразует бизнес-запрос в план выполнения +security, governance, RLS.
А Execution Engine - решает:
Что материализовать?
Что считать на лету?
Когда создать новый агрегат?
Когда удалить старый?
Как не материализовать всё подряд?
Материализовывать под каждый нужный разрез — не вариант.
Если не материализовать ничего - дорогой Runtime.
Вопрос как научить движок выбирать стратегию исполнения — ключевой.
2. Text-to-SQL → Text-to-Semantic. Архитектура, где агент каждый раз пишет SQL, дает хуже точность, стоит дороже. В идеале спрашиваем "Дай Revenue по Country" - а Runtime уже знает: где данные; какие join, grain, формула.
3. Cube больше не считает BI своим основным рынком
Раньше Semantic Layer был для Tableau, Power BI и других BI-инструментов. Но это уже не очень хороший бизнес. BI вендоры стремительно теряют клиентов и рынок. Теперь AI-агенты будут напрямую consum'ить Semantic Layer.
Уже просматривается следующий уровень, когда не человек будет спрашивать данные, а Product Agent, Marketing Agent, Experiment Agent.
То есть вопрос не «как человек получает инсайт», а «как агент получает доверенную метрику».
4. Никто не знает, какие комбинации интерфейсов победят: Claude/codex Desktop, MCP, CLI, Skillhubs, свои дата порталы или чаты в корпмесенджерах. Поэтому Cube развивает все и идет в Ассистентский UI. Главный конкурент в мире не dbt, а Snowflake и Databricks.
——————-
Короче сегмент Semantic Layer пришел в движение.
Можно сказать, что он разделился на Semantic Editor (про заведение и управление metrics + dims + filters = SQL) и Semantic runtime & engine (про то, как выполнять запросы и материализовывать).
Есть хорошая статья Насти Остапенко про эти типы.
В России нет решений этого уровня (или есть?). То, что есть пока ориентированы на старую модель работы с BI. Есть движение в эту сторону: Trisigma Авито, Datalens Яндекса. Есть mvp решений, типа dataforge от питерских ребят.
Помогите продолжить список.
Кажется самое интересное в AI сейчас происходит не вокруг моделей, а вокруг инфраструктуры и архитектуры для них.
Кто-то помнит про LookML, другой работал с dbt metrics, третий шарит за cube.dev, atscale и другие семантические платформы.
В России Semantic Layer принято рисовать в стратегии, но в итоге вечно двигать на будущее. Нет очевидных решений в рынке и слишком много легаси под дешами нужно перелопатить. Да и ущерб от отсутствия был прямо скажем приемлемым. Так было до новой волны инвестиций в ИИ.
Пообщались на прошлой неделе с Artyom Keydunov (CEO того самого сube.dev) о том, как концепция семантик слоя для унификации метрик для дешей сменилась на семантик для агентов. Мысли со встречи:
1. Семантический движок и Runtime и становится самым важным компонентом
Сложность уже не в унификации метрик, а в их исполнении.
Runtime преобразует бизнес-запрос в план выполнения +security, governance, RLS.
А Execution Engine - решает:
Что материализовать?
Что считать на лету?
Когда создать новый агрегат?
Когда удалить старый?
Как не материализовать всё подряд?
Материализовывать под каждый нужный разрез — не вариант.
Если не материализовать ничего - дорогой Runtime.
Вопрос как научить движок выбирать стратегию исполнения — ключевой.
2. Text-to-SQL → Text-to-Semantic. Архитектура, где агент каждый раз пишет SQL, дает хуже точность, стоит дороже. В идеале спрашиваем "Дай Revenue по Country" - а Runtime уже знает: где данные; какие join, grain, формула.
3. Cube больше не считает BI своим основным рынком
Раньше Semantic Layer был для Tableau, Power BI и других BI-инструментов. Но это уже не очень хороший бизнес. BI вендоры стремительно теряют клиентов и рынок. Теперь AI-агенты будут напрямую consum'ить Semantic Layer.
Уже просматривается следующий уровень, когда не человек будет спрашивать данные, а Product Agent, Marketing Agent, Experiment Agent.
То есть вопрос не «как человек получает инсайт», а «как агент получает доверенную метрику».
4. Никто не знает, какие комбинации интерфейсов победят: Claude/codex Desktop, MCP, CLI, Skillhubs, свои дата порталы или чаты в корпмесенджерах. Поэтому Cube развивает все и идет в Ассистентский UI. Главный конкурент в мире не dbt, а Snowflake и Databricks.
——————-
Короче сегмент Semantic Layer пришел в движение.
Можно сказать, что он разделился на Semantic Editor (про заведение и управление metrics + dims + filters = SQL) и Semantic runtime & engine (про то, как выполнять запросы и материализовывать).
Есть хорошая статья Насти Остапенко про эти типы.
В России нет решений этого уровня (или есть?). То, что есть пока ориентированы на старую модель работы с BI. Есть движение в эту сторону: Trisigma Авито, Datalens Яндекса. Есть mvp решений, типа dataforge от питерских ребят.
Помогите продолжить список.
Кажется самое интересное в AI сейчас происходит не вокруг моделей, а вокруг инфраструктуры и архитектуры для них.
Наблюдаю за тем, как копится раздражение от ИИ контента. У себя и коллег-менеджеров.
Получаешь презу, html лонгрид с графиками, конфлю документ с признаками генерации - и делаешь усилие чтобы не закрыть сразу.
Потом спрашиваешь автора - сколько итераций ревью было, насколько вычитано.
И сам, когда шаришь что то - добавляешь, что цифры и текст детально проверил. Или (извиняясь) проверил но.. бегло. Дескать экпресс анализ.
Когда большая часть интеллектуального контента превратилась в коммодити, стало важно сколько в нем человека. Не в смысле авторства, а насколько кто-то может за него пояснить, взять ответственность, принять или рекомендовать решение/действие. Иначе бесит.
ИИ щедр на буквы, замыливание незначимым значимого, правдоподобные ошибки - и нужна общая инфо-гигиена, zero bullshit policy, иначе это все выжигает ресурс смотрящего.
Ничего особо странного.
Но забавно.
Одной рукой пушим и множим, другой отгораживаемся.
Получаешь презу, html лонгрид с графиками, конфлю документ с признаками генерации - и делаешь усилие чтобы не закрыть сразу.
Потом спрашиваешь автора - сколько итераций ревью было, насколько вычитано.
И сам, когда шаришь что то - добавляешь, что цифры и текст детально проверил. Или (извиняясь) проверил но.. бегло. Дескать экпресс анализ.
Когда большая часть интеллектуального контента превратилась в коммодити, стало важно сколько в нем человека. Не в смысле авторства, а насколько кто-то может за него пояснить, взять ответственность, принять или рекомендовать решение/действие. Иначе бесит.
ИИ щедр на буквы, замыливание незначимым значимого, правдоподобные ошибки - и нужна общая инфо-гигиена, zero bullshit policy, иначе это все выжигает ресурс смотрящего.
Ничего особо странного.
Но забавно.
Одной рукой пушим и множим, другой отгораживаемся.
Агенты по сборке роудмапов/стратегий по BI(+AI) и DG для самоконсалтинга
Запек тут материалы и транскрибации своих курсов и миро-досок в репозиторий со скиллами.
- https://github.com/alexbarakov/DG-strategy-self-consulting-agent-ru
- https://github.com/alexbarakov/BI-strategy-self-consulting-agent-ru
Здесь (как впрочем и везде) нет магии и автопилота. Это скорее подспорье и ускоритель.
Можно сейчас без всяких доп скиллов скормить информацию про свою команду/продукт/функцию в модель и получить кучу условно-релевантного текста.
Моя попытка про повысить пользу - убрать навес общих концепций, бюрократии и булшита, фантазирования в духе за все хорошее.
Полученные агенты имеют в себе
- адекватные на мой взгляд атомы методологий,
- движок задавания правильных вопросов,
- генертаор инициатив на базе as is анализа, с учетом специфики и с ограничителями на булшит,
- ревью скептичным CDO судьей.
Где данных нет, скилл пишет
В итоге дает результат в емком формате 6 (условно) страниц.
Три режима
FORM — собрать стратегию с нуля: интервью, диагностика зрелости, документ
AUDIT — прожарить то, что уже написано
CONSULT — спросить, разобрать свой кейс
Результаты моих тестов сдержанно положительные. Как минимум любопытно). С напильником можно получить в целом заземленный драфт. Голденсеты для оценки качества я пока не добил, задачка нетривиальная. А генерить эвалы на вымышленных компаниях не супер эффективно.
Если развивать, то уже на базе проревьюинных реальных примеров стратегий для индустрий (банк, тех, ритейл, ...)
В общем, ставите себе, прогоняете на своей компании, делитесь фидбеком. Без сверхожиданий.
Как поставить: просто дайте своему клодексу ссылку и попросите поставить, перезапуститесь. No brainer
Посмотреть без установки: В репе - есть html/md с прогонами на вымышленных компаниях.
Как помочь: прогоните FORM на своей компании — в лайт-режиме это минут пятнадцать. Напишите, что получилось и где скиллсоврал нафантазировал (или упакуйте и пришлите трейсы).
Запек тут материалы и транскрибации своих курсов и миро-досок в репозиторий со скиллами.
- https://github.com/alexbarakov/DG-strategy-self-consulting-agent-ru
- https://github.com/alexbarakov/BI-strategy-self-consulting-agent-ru
Здесь (как впрочем и везде) нет магии и автопилота. Это скорее подспорье и ускоритель.
Можно сейчас без всяких доп скиллов скормить информацию про свою команду/продукт/функцию в модель и получить кучу условно-релевантного текста.
Моя попытка про повысить пользу - убрать навес общих концепций, бюрократии и булшита, фантазирования в духе за все хорошее.
Полученные агенты имеют в себе
- адекватные на мой взгляд атомы методологий,
- движок задавания правильных вопросов,
- генертаор инициатив на базе as is анализа, с учетом специфики и с ограничителями на булшит,
- ревью скептичным CDO судьей.
Где данных нет, скилл пишет
[не хватает данных] и какого замера не хватает. В итоге дает результат в емком формате 6 (условно) страниц.
Три режима
FORM — собрать стратегию с нуля: интервью, диагностика зрелости, документ
AUDIT — прожарить то, что уже написано
CONSULT — спросить, разобрать свой кейс
Результаты моих тестов сдержанно положительные. Как минимум любопытно). С напильником можно получить в целом заземленный драфт. Голденсеты для оценки качества я пока не добил, задачка нетривиальная. А генерить эвалы на вымышленных компаниях не супер эффективно.
Если развивать, то уже на базе проревьюинных реальных примеров стратегий для индустрий (банк, тех, ритейл, ...)
В общем, ставите себе, прогоняете на своей компании, делитесь фидбеком. Без сверхожиданий.
Как поставить: просто дайте своему клодексу ссылку и попросите поставить, перезапуститесь. No brainer
Посмотреть без установки: В репе - есть html/md с прогонами на вымышленных компаниях.
Как помочь: прогоните FORM на своей компании — в лайт-режиме это минут пятнадцать. Напишите, что получилось и где скилл
GitHub
GitHub - alexbarakov/DG-strategy-self-consulting-agent-ru: Русская редакция базы знаний DG Program Guide: входная поверхность,…
Русская редакция базы знаний DG Program Guide: входная поверхность, обзоры скиллов и два готовых прогона стратегии. Производная от DG-strategy-self-consulting-agent. - alexbarakov/DG-strategy-self-...
Когда AI-гонка и корп-политика подзаёбывает — люди делают настолки.
Все же играли в Codenames?
Сделал с клодексом по ее мотивам — Data Bingo, бесплатную онлайн-версию про профессиональный жаргон.
Мы в миллениальских командах играли в такое в офлайне и пытались утащить в удалёнку. Сейчас все команды распределённые и в офис ходить разучились. Не хватает чего-то человеческого.
При запуске игры выбираешь
- Колоды: Data Governance, BI, Data Analytics, Product Analytics, Agentic Analytics, ML/DS, Data Visualization, Дата-инженерия, Системный анализ. Плюс классическая колода обычных слов, если хочется просто поиграть.
- Уровень сложности: базовый, профессиональный, продвинутый
Наборы и уровни складываются. Можно смешать BI с обычными словами и играть расслабленно. А можно собрать поле только из третьего уровня Agentic Analytics и смотреть, как команда страдает.
Наведёшь на карточку — всплывает определение термина (их там под 1000). Побочный полезный эффект: ньюкамер узнаёт ваши термины вместо онбординга, одни роли узнают больше про жаргон и работу других ролей. Гипотеза - что игроки будут объяснять слова друг другу, переопыляться.
Никакой регистрации: Создал комнату → кинул ссылку/код коллегам. Всё. Заходите в зум и тусите под чаек.
Нужно минимум 4 человека: по капитану и игроку в каждую команду.
Ссылка на игровой сервер
Кто в теме - потестируйте и напишите фидбек, как оно.
У меня работает)
Вообще идеально раз в месяц иметь в команде вечерний game hour. Надо же беречь кукушку - и свою и командную. По коллежски.
Сервис на моей виртуальной машине.
Никаких перс данных не собираю и не храню.
Можно допилить под свои словари и внутренние мемы, будет прикольнее.
Кому интересно - пишите, пошарю репу.
1,5 года назад думали над дата играми, но так и не случилось. Сейчас 2 вечера и рабочая версия.. мда
Все же играли в Codenames?
Сделал с клодексом по ее мотивам — Data Bingo, бесплатную онлайн-версию про профессиональный жаргон.
Мы в миллениальских командах играли в такое в офлайне и пытались утащить в удалёнку. Сейчас все команды распределённые и в офис ходить разучились. Не хватает чего-то человеческого.
При запуске игры выбираешь
- Колоды: Data Governance, BI, Data Analytics, Product Analytics, Agentic Analytics, ML/DS, Data Visualization, Дата-инженерия, Системный анализ. Плюс классическая колода обычных слов, если хочется просто поиграть.
- Уровень сложности: базовый, профессиональный, продвинутый
Наборы и уровни складываются. Можно смешать BI с обычными словами и играть расслабленно. А можно собрать поле только из третьего уровня Agentic Analytics и смотреть, как команда страдает.
Наведёшь на карточку — всплывает определение термина (их там под 1000). Побочный полезный эффект: ньюкамер узнаёт ваши термины вместо онбординга, одни роли узнают больше про жаргон и работу других ролей. Гипотеза - что игроки будут объяснять слова друг другу, переопыляться.
Никакой регистрации: Создал комнату → кинул ссылку/код коллегам. Всё. Заходите в зум и тусите под чаек.
Нужно минимум 4 человека: по капитану и игроку в каждую команду.
Ссылка на игровой сервер
Кто в теме - потестируйте и напишите фидбек, как оно.
У меня работает)
Вообще идеально раз в месяц иметь в команде вечерний game hour. Надо же беречь кукушку - и свою и командную. По коллежски.
Сервис на моей виртуальной машине.
Никаких перс данных не собираю и не храню.
Можно допилить под свои словари и внутренние мемы, будет прикольнее.
Кому интересно - пишите, пошарю репу.
1,5 года назад думали над дата играми, но так и не случилось. Сейчас 2 вечера и рабочая версия.. мда
Бегство от ИИ занесло на остров Скай.
Завтракаю в этой глуши перед алко-хайкингом (это когда хочется и по горам и по виски угореть, а времени мало) - две британские пенсионерки за соседним столом со знанием дела обсуждают секьюрити инциденты с Gemini у себя в компании.
Раз побег в полной мере не удался, дописываю пост с рефлексией про builder команды, тему волнующую нас в Авито:
Тех компаниям по сути в ии трансформации главное, чтобы фичи катились в прод быстрее.
2025-й: на AI все смотрели как усилителя ролей. Каждый на своём месте делает больше и быстрее. аналитик - ресерчи и отчеты, инженер - код.
Но все уперлось в коммуникации: оказалось на длинной фабрике фичей 10+ межролевых стыков, и ускорение каждого этапа по отдельности не сокращает общую длительность. Эффективности на каждом этапе стало больше, но до прода фичей доезжает +-столько же.
2026-й: на AI начали смотреть как T-shape фактор. Раз узкое место - стыки, уберём стыки: сблендим роли и сократим их число на главном пути от гипотезы до раскатки. Появились термины builder-команды и продуктовых инженеров (основные кандидаты в них - продакты, аналитики и тех)
По теме
- расследование Reuters про Project OT в Мете
- доклад Саши Лукьянченко про AI в разработке в Авито
- подкаст с Сашей Поломодовым про AI в разработке в Т-Банке.
Мета ушла дальше всех. Project OT: команда из 10–20 человек (инженер, QA, продукт, дизайнер, DS, UX, аналитик, data engineer) схлопывается в 3–5 «билдеров» + 1 direction lead. Специалисты вынесены в общий пул. Слой миддл-менеджмента срезается. Через полгода:
- изменений кода +220% год к году,
- фич, доехавших до пользователей +36%,
- крупных инцидентов +40%,
- времени на их тушение +70%.
Пилоты показывают проблемы. И много
1. Качество гейтов и скиллов пока низкое. Агенты совершают «масштабные разрушительные действия, которые человек вряд ли бы совершил». Получилась автоматизация с потерей контроля. Дали билдеру катить в прод без ревью (или с лайт гейтом) - подняли личный риск сотрудника, не подняв полномочий и компенсации.
2. Замеряются метрики потока (ttm и инкременты), а просаживаются метрики накопления долга рядом с потоком.
Мета оптимизировала поток, но получила +40% инцидентов и +70% firefighting. Лаг для деградации кодовой базы может быть более отсроченным. Тем дороже откатиться.
3. Discovery - новый боттлнек. Если процесс discovery не менялся, то ускорение раскатки фичей вытягивает задачи из нижней части беклога. Полезность убывает, будут делаться nice to have вещи. Cэкономленное время в эффект не конвертируется - работа как газ занимает всё доступное время. Нужно генерировать больше полезных гипотез.
4. Bus-factor усиливается. Уход такого продуктового инженера сильно болезненнее специализированных ролей. Как и онбординг и обучение.
Общий вывод - нужно качать качество скиллов и гейтов. Проверки безопасности, надёжности, данных, юристов, бренда, комплаенса и проч нужно зашивать в проверки в цикле разработки. Это тупо сложно.
Но сделанные инвестиции в ИИ пушат менеджмент ускоряться.
Биай в этом шторме, как ни странно, кажется засекьюрен - разработка дешей переходит в курирование контекста, семантики и датаскиллов для обеспечения аналитических джобов.
Кто дочитал до конца - для вас детокс-фото из шотландии.
Еще пост Маши про анальные пробки в визуализации данных.
Отдыхайте от ИИ новостей, расслабляйтесь.
Завтракаю в этой глуши перед алко-хайкингом (это когда хочется и по горам и по виски угореть, а времени мало) - две британские пенсионерки за соседним столом со знанием дела обсуждают секьюрити инциденты с Gemini у себя в компании.
Раз побег в полной мере не удался, дописываю пост с рефлексией про builder команды, тему волнующую нас в Авито:
Тех компаниям по сути в ии трансформации главное, чтобы фичи катились в прод быстрее.
2025-й: на AI все смотрели как усилителя ролей. Каждый на своём месте делает больше и быстрее. аналитик - ресерчи и отчеты, инженер - код.
Но все уперлось в коммуникации: оказалось на длинной фабрике фичей 10+ межролевых стыков, и ускорение каждого этапа по отдельности не сокращает общую длительность. Эффективности на каждом этапе стало больше, но до прода фичей доезжает +-столько же.
2026-й: на AI начали смотреть как T-shape фактор. Раз узкое место - стыки, уберём стыки: сблендим роли и сократим их число на главном пути от гипотезы до раскатки. Появились термины builder-команды и продуктовых инженеров (основные кандидаты в них - продакты, аналитики и тех)
По теме
- расследование Reuters про Project OT в Мете
- доклад Саши Лукьянченко про AI в разработке в Авито
- подкаст с Сашей Поломодовым про AI в разработке в Т-Банке.
Мета ушла дальше всех. Project OT: команда из 10–20 человек (инженер, QA, продукт, дизайнер, DS, UX, аналитик, data engineer) схлопывается в 3–5 «билдеров» + 1 direction lead. Специалисты вынесены в общий пул. Слой миддл-менеджмента срезается. Через полгода:
- изменений кода +220% год к году,
- фич, доехавших до пользователей +36%,
- крупных инцидентов +40%,
- времени на их тушение +70%.
Пилоты показывают проблемы. И много
1. Качество гейтов и скиллов пока низкое. Агенты совершают «масштабные разрушительные действия, которые человек вряд ли бы совершил». Получилась автоматизация с потерей контроля. Дали билдеру катить в прод без ревью (или с лайт гейтом) - подняли личный риск сотрудника, не подняв полномочий и компенсации.
2. Замеряются метрики потока (ttm и инкременты), а просаживаются метрики накопления долга рядом с потоком.
Мета оптимизировала поток, но получила +40% инцидентов и +70% firefighting. Лаг для деградации кодовой базы может быть более отсроченным. Тем дороже откатиться.
3. Discovery - новый боттлнек. Если процесс discovery не менялся, то ускорение раскатки фичей вытягивает задачи из нижней части беклога. Полезность убывает, будут делаться nice to have вещи. Cэкономленное время в эффект не конвертируется - работа как газ занимает всё доступное время. Нужно генерировать больше полезных гипотез.
4. Bus-factor усиливается. Уход такого продуктового инженера сильно болезненнее специализированных ролей. Как и онбординг и обучение.
Общий вывод - нужно качать качество скиллов и гейтов. Проверки безопасности, надёжности, данных, юристов, бренда, комплаенса и проч нужно зашивать в проверки в цикле разработки. Это тупо сложно.
Но сделанные инвестиции в ИИ пушат менеджмент ускоряться.
Биай в этом шторме, как ни странно, кажется засекьюрен - разработка дешей переходит в курирование контекста, семантики и датаскиллов для обеспечения аналитических джобов.
Кто дочитал до конца - для вас детокс-фото из шотландии.
Еще пост Маши про анальные пробки в визуализации данных.
Отдыхайте от ИИ новостей, расслабляйтесь.
День на BigDataLND: Слово trust стало ругательным (см фото). Этому миру явно не хватает доверия.
Как обычно:
Заголовки сессий классные. Выступления компаний слабые. Выступления вендоров -маркетинговый пиздеж оверпромис. Разговоры на стендах с технарями - огонек.
Кратко по BI продуктам:
- Много новых, но hex по продуманности и сбалансированности с отрывом впереди, thoughtspot, sigma, omni - слабее. У хекса четкие усиления в виде context studio с кабинетом для эвалов.
- New-BI выходцев из табло - скатываются в жалость. thoughtspot ничего не знают про контекст и повторяют про своего одного (карл!) агента который типа решит все проблемы. golden analytics на любой сложный вопрос - показывали как появляется график в чате и ждали восторг.
- Порадовал.. кликхаус. В их клауде уже дофига всего. Они купили langhuse и librachat. Им добавить etl и семантик и будет датабрикс c православным лицом.
Самое интересное
это границы продуктов - кто как решает для себя
- как и в каком объеме делать у себя семантик слой или ставить на интеграцию (dbt, cube, snowflake, db)
- как и в каком объеме делать у себя контекст менеджмент.
Полный месс )
Укрепил выводы для своей работы:
- Деши должны стать частью тулов, перестать быть чьей то задачей
- Нужен некст левел AI обзервабилити для доменов
- Нужно ужесточить нашу ai-ready модель.
- Все остальное делаем правильно
Отлично погрустили с Денисом из CDO Club и Максом Ивановым.
Как обычно:
Заголовки сессий классные. Выступления компаний слабые. Выступления вендоров -
Кратко по BI продуктам:
- Много новых, но hex по продуманности и сбалансированности с отрывом впереди, thoughtspot, sigma, omni - слабее. У хекса четкие усиления в виде context studio с кабинетом для эвалов.
- New-BI выходцев из табло - скатываются в жалость. thoughtspot ничего не знают про контекст и повторяют про своего одного (карл!) агента который типа решит все проблемы. golden analytics на любой сложный вопрос - показывали как появляется график в чате и ждали восторг.
- Порадовал.. кликхаус. В их клауде уже дофига всего. Они купили langhuse и librachat. Им добавить etl и семантик и будет датабрикс c православным лицом.
Самое интересное
это границы продуктов - кто как решает для себя
- как и в каком объеме делать у себя семантик слой или ставить на интеграцию (dbt, cube, snowflake, db)
- как и в каком объеме делать у себя контекст менеджмент.
Полный месс )
Укрепил выводы для своей работы:
- Деши должны стать частью тулов, перестать быть чьей то задачей
- Нужен некст левел AI обзервабилити для доменов
- Нужно ужесточить нашу ai-ready модель.
- Все остальное делаем правильно
Отлично погрустили с Денисом из CDO Club и Максом Ивановым.
Media is too big
VIEW IN TELEGRAM
ВайбВизуализация как отдых от AI-новостей.
Вдохновился проектом Саши Богачева про Париж и собрал две карты для визуального исследования Петербурга и Амстердама, двух близких мне городов.
К подходу Саши я добавил слои контекста: Серебряный век, блокада, «Последний адрес», дворы-колодцы, парадные, старые бары; стрит-арт. Своеобразные линзы, через которые можно смотреть на город сквозь его историю.
У каждого здания в слое есть короткая история и источник.
Теперь можно отлично позалипать вместо отключенных рилзов.
Проект некоммерческий, код открыт: если знаете интересный слой истории города, который живёт в его домах, добавьте.
Петербург: stop-token.com/ru/lab/spb
Амстердам: stop-token.com/lab/amsterdam
ps - как принято: на оба проекта ушло 3,5 часа (вторично делать проще) и четверть дневной нормы токенов, opus 5.5.
Потом еще дня три на полишинг и улучшение
Вдохновился проектом Саши Богачева про Париж и собрал две карты для визуального исследования Петербурга и Амстердама, двух близких мне городов.
К подходу Саши я добавил слои контекста: Серебряный век, блокада, «Последний адрес», дворы-колодцы, парадные, старые бары; стрит-арт. Своеобразные линзы, через которые можно смотреть на город сквозь его историю.
У каждого здания в слое есть короткая история и источник.
Теперь можно отлично позалипать вместо отключенных рилзов.
Проект некоммерческий, код открыт: если знаете интересный слой истории города, который живёт в его домах, добавьте.
Петербург: stop-token.com/ru/lab/spb
Амстердам: stop-token.com/lab/amsterdam
ps - как принято: на оба проекта ушло 3,5 часа (вторично делать проще) и четверть дневной нормы токенов, opus 5.5.
Потом еще дня три на полишинг и улучшение
Через месяц Конференция MM-26. Начал собирать презу для спича, думать, что есть сказать.
Тут развилка.
- Можно забить эфир слайдами о том, как мы в Авито несемся в AI first теряя тапки. Про драйв от экспериментов, про поиск новых целей и метрик, эволюцию ролей, про ai-аналитика, базы llm-wiki, JTBD реестры, канонические витрины и прочую усладу.
Врать не придется, но эти успешные успехи про ии поднадоели всем.
- Можно еще больше рассказать о проблемах, ограничениях. О том, как билдеры буксуют, скилы не эвалятся, гавернанс не ресурсится, семантика не покрывает запросы, а платформа развивается в разы медленнее, чем того требует давление бизнеса, несмотря на вайбкод. Еще о том, как мораль просаживается от скорости и масштаба изменений.
Врать тоже не придется, но кому нужен негатив?
Короче напишите, что сейчас вас интересует, волнует или даже беспокоит в профессии и вокруг данных и аналитики.
Я составлю из ваших тем коллаж и соберу сторилайн (с отсылками на вас).
Не буду предлагать форму опроса или голосования - просто го в тред под постом.
Пиар за идею: Поддержите покупкой билетов независимую частную вендорагностичную площадку матемаркетинга.
Программа и билеты.
Промокод на 10k - DATANATURE10
На картинке поста — дерево метрик AI аналитики - рефлексия прошлой недели. Дерево дискуссионное. Обсуждение и высокое разрешение - в треде.
Тут развилка.
- Можно забить эфир слайдами о том, как мы в Авито несемся в AI first теряя тапки. Про драйв от экспериментов, про поиск новых целей и метрик, эволюцию ролей, про ai-аналитика, базы llm-wiki, JTBD реестры, канонические витрины и прочую усладу.
Врать не придется, но эти успешные успехи про ии поднадоели всем.
- Можно еще больше рассказать о проблемах, ограничениях. О том, как билдеры буксуют, скилы не эвалятся, гавернанс не ресурсится, семантика не покрывает запросы, а платформа развивается в разы медленнее, чем того требует давление бизнеса, несмотря на вайбкод. Еще о том, как мораль просаживается от скорости и масштаба изменений.
Врать тоже не придется, но кому нужен негатив?
Короче напишите, что сейчас вас интересует, волнует или даже беспокоит в профессии и вокруг данных и аналитики.
Я составлю из ваших тем коллаж и соберу сторилайн (с отсылками на вас).
Не буду предлагать форму опроса или голосования - просто го в тред под постом.
Пиар за идею: Поддержите покупкой билетов независимую частную вендорагностичную площадку матемаркетинга.
Программа и билеты.
Промокод на 10k - DATANATURE10
На картинке поста — дерево метрик AI аналитики - рефлексия прошлой недели. Дерево дискуссионное. Обсуждение и высокое разрешение - в треде.