Коллеги, сегодня анонс очень интересного мероприятия про ИИ в секторе FMCG - Digital4food 2025 о цифровизации, автоматизации и роботизации пищевой отрасли которое пройдет через 2 месяца!

На ежегодной конференции «Цифровизация пищевой отрасли» для АПК&FMCG участники расскажут об автоматизации производства, логистики и финансов. Также среди тем — BI-аналитика, ИИ, роботизация, информационная безопасность.

🗂 В программе:

20+ кейсов — честные истории цифровизации от бизнеса
30+ экспертов — реальные решения и работающие инструменты
250+ участников — обмен опытом, новые знакомства и партнерства

📊 Когда: 22 – 23 мая 2025

🌐 Где: Москва, территория инновационного центра Сколково, ул. Блеза Паскаля, дом 2, пространство «Матрёшка»

Регистрация: https://event.digital4food.ru/?utm_source=partner&utm_medium=agropicheprom&utm_campaign=27032025&utm_source=partner&utm_medium=clubcdo&utm_campaign=27032025

Дайджест статей

From Lakehouse architecture to data mesh
https://medium.com/adevinta-tech-blog/from-lakehouse-architecture-to-data-mesh-c532c91f7b61

Foundation Model for Personalized Recommendation
https://netflixtechblog.com/foundation-model-for-personalized-recommendation-1a0bd8e02d39

Аналитика в аптечных сетях: как отечественные BI-системы влияют на график работы провизоров и помогают повысить продажи
https://habr.com/ru/companies/w_code/articles/897056/

Как запустить языковую модель без цензуры, не имея видеокарты и мощного компьютера
https://habr.com/ru/articles/896912/

Цифровые двойники: превращаем данные в деньги с помощью матмоделирования
https://habr.com/ru/companies/ibs/articles/897072/

Выбор индексов в базах данных для highload-систем
https://habr.com/ru/articles/897766/

High Performance Time - Series Database Design with QuestDB
https://www.infoq.com/presentations/questdb/?utm_campaign=infoq_content&utm_source=infoq&utm_medium=feed&utm_term=global

Data Quality Doesn’t Need to Be Complicated
https://towardsdatascience.com/stop-overcomplicating-data-quality-4569fc6d35a4/

Кому надо бесплатную книгу - забирайте :)

Effective Platform Engineering - Platform engineering is more than just a technical discipline. It’s a way to unlock creativity and collaboration across your teams. To be successful with your platform engineering strategy, you need actionable insights and techniques to help you design platforms that are powerful, sustainable, and easy to use. This is where the Manning book, Effective Platform Engineering, can help.

https://chronosphere.io/resource/effective-platform-engineering

State of AI 2025

Готово очередное издание уже запомнившегося нам индекса AI от Стенфорда

Моя любимая диаграмма с падением стоимости инференса в аттаче - в 280 раз за 18 месяцев

Вот тут 10 ключевых диаграмм из отчета

Кажется, пора делать очередную state of the union встречу - ставь 💯 если да :)

Анонс интересного мероприятия от коллег из GlowByte: За что вы на самом деле платите, внедряя BI?
Разберём на Fine Day Online!

Дата: 17 апреля | Время: 16:00 (МСК) |

BI-решения помогают бизнесу расти, но их внедрение бывает выходят за рамки бюджета. Где прячутся скрытые расходы? Как избежать лишних затрат? Обсудим на конференции!
🔹 Как оценить реальную цену данных
🔹 Оптимизация затрат без потери качества аналитики
🔹 Ошибки, которые удорожают BI-проекты
🔹 Реальный опыт компаний, которые уже прошли этот путь

Спикеры и темы:
Альфа-Лизинг – Цена данных: что на самом деле оплачивает бизнес?
Газпромбанк –BI как центр затрат или источник экономии? Опыт интеграции FineBI с Service Desk через Rest Api
СИБУР – Self-service BI: мониторинг и оптимизация затрат
t2 – Цена данных: как, рассчитывая на чудо, не оказаться в минусе, внедряя BI?

Бонусы для участников:
✔️ Доступ к записям конференции
✔️ Эксклюзивный чек-лист: "BI без лишних затрат: типовые ошибки и как их избежать"

Участие бесплатное! Зарегистрироваться: https://clck.ru/3KvWAg

Кстати вот ссылка на саммари отчета от Stanford, довольно интересная. А сам отчет оставлю в комментарии к этому посту - забирайте. Довольно интересно.

https://hai.stanford.edu/news/ai-index-2025-state-of-ai-in-10-charts?utm_source=tldrai

Anthropic Education Report: How University Students Use Claude

Если вы не читали этот отчет - рекомендую посмотреть. Много мыслей возникает по прочтению, особенно в части того что и как выучит текущее поколение учеников. Для того поколения, которое уже получило образование к моменту возникновения LLM эти LLM стали удобной технологией которая помогает “вспомнить/дополнить и восполнить” знания.

Но кажется, что для текущего поколения учащихся это становится замещающей знания технологий и весь учебный процесс должен быть пересмотрен и вообще технологии ИИ сейчас являются самой большой угрозой для всего образования в целом и всей индустрии. По сути же идет вытеснение большой части людей их когнитивных задач в физический труд, а та группа людей, которая остается вместе с ИИ на поприще “мыслительного процесса” и процесса “принятия решений” в корне пересматривает свой подход в образованию и переходит на более self-driven education.

Так же интересная цифра насколько “инженеры” быстрее освоят новые технологии, чем “гуманитарии” (40% против 5%) 🙂

https://www.anthropic.com/news/anthropic-education-report-how-university-students-use-claude

Интересная заметка от Google о том, как они делали функцию "добавь меня на фото" в телефоне Pixel

https://blog.google/products/pixel/how-google-built-pixel-add-me/?utm_source=tldrai

Рубрика “Как свалить с этой планеты”

Хочу поделиться видео-рассказом о вертолете Ingenuity, который провел на Марсе прекрасную и мега-успешную миссию и об его создателях, о том как его делали и проектировали и какие технические вызовы были преодолены.

Вертолет весит всего 680 граммов с центральным процессором из смартфона Samsung Galaxy S5 и датчиками из Google Pixel 3, батареями из аккумуляторной дрели и ручной пайкой ключевых компонентов, и, что немаловажно, стоимостью проекта всего в каких-то 80 миллионов долларов (бюджет фильма "Марсианин" - 108 млн) оказался на Марсе и превзошел все ожидания скептиков проекта.

История преодоления множества испытаний на расстоянии в десятки и сотни миллионов километров от Земли, которая в итоге завершилась...или, точнее, частично завершилась в своей основной части для бойкого вертолётика, который, даже будучи обездвиженным, всё ещё приносит пользу, собирая метеорологические данные на Марсе. И помог учёным и инженерам учесть ошибки в будущих миссиях по исследованию Марса с помощью летательных аппаратов в атмосфере красной планеты.

https://www.youtube.com/watch?v=WltuUAXpD78&t=1s

Друзья, всех причастных с праздников «Международный День космонавтики»!

Hype Cycle for Data Management, 2024

А давайте взглянем на графики из отчета Hype Cycle for Data Management, 2024

Мне очень удивительно увидеть на пике тему Data Marketplases and Exchange, потому что в общем информационном пространстве, наоборот, на эту тему крайне мало материала. Возможно он, конечно, теряется на фоне мега популярных тем про LLM, но тем не менее. Так же интересно заметить, что DataMesh хоть и падает в пропасть разочарования, но отмечен как находящийся прям перед началом карабканья на плато продуктивности. Так что кажется, что рынок эту тему уже переварил.

Что касается Data Exchange то я тут под этим больше понимаю всегда рыночную историю, тогда как согласно определению Gartner тут речь большее идет об обмене данными внутри компаний (имеется ввиду большой Enterprise). Ну ок.

Data marketplaces and exchanges (DMEs) provide infrastructure, transactional capabilities and services for consumers and providers of data assets. Marketplaces prioritize data monetization via one-time or recurring subscription transactions, while exchanges prioritize sharing. Internal data exchanges facilitate enterprise data sharing and remove silos to cross-organization data product provision and access.

Data Fabric - падает туда же.

GenAI для управления данными находится в начале своего пути, но пишут о нем чаще, чем про Data Exchange, а пусть ему предрекают в 5-10 лет. Но имхо все будет быстрее, а технология отмечена как трансформирующая индустрию.

Generative AI (GenAI) technologies can generate new derived versions of content, strategies, designs and methods by learning from large repositories of original source content. GenAI applied to data management will have a profound impact: it will enable data specialists and consumers to manage data using natural language interfaces and automate manual tasks. It will reduce the skills barrier to data management and increase the productivity of data management specialists.

Дайджест статей

Every single BI Tool Ever Ranked
https://medium.com/@hugolu87/every-single-bi-tool-ever-ranked-95630f92d7e6

LLM for Data Visualization: How AI Shapes the Future of Analytics
https://medium.com/data-science/llm-for-data-visualization-how-ai-shapes-the-future-of-analytics-f0c2d181725d

What is Data Architecture and why Data Engineers should consider it
https://pipeline2insights.substack.com/p/what-is-data-architecture-and-why-data-engineer-should-consider-it?utm_source=tldrdata

Академия OpenAI для разработчиков: Разбор 10 лекций про API, RAG, Fine-tuning
https://habr.com/ru/articles/900038/

Transforming Data Analytics by Combining SQL and ML
https://dzone.com/articles/transforming-data-analytics-sql-ml

Как мы сделали одну большую песочницу для всех аналитиков
https://habr.com/ru/companies/rshb/articles/899482/

The AI Silo Problem: How Data Streaming Can Unify Enterprise AI Agents
https://www.confluent.io/blog/unify-enterprise-ai-agents/?utm_source=tldrdata

Scaling Data Governance without falling into the Data Mesh trap
https://charlotteledoux.substack.com/p/scaling-data-governance-without-falling?utm_source=tldrdata

Why Clean Data Is the Foundation of Successful AI Systems
https://dzone.com/articles/clean-data-ai-foundation

5 Лайфхаков разработчику Power BI
https://habr.com/ru/companies/usetech/articles/898814/

Data Governance и Бизнес: как найти общий язык
https://habr.com/ru/articles/899080/

Почему сложно разработать OLAP-базу данных, если у тебя уже есть OLTP
https://habr.com/ru/companies/ydb/articles/898716/

FineBi Динамическая фильтрация данных
https://habr.com/ru/companies/mkb/articles/898222/

Agentic Mesh: Patterns for an Agent Ecosystem
https://medium.com/data-science-collective/agentic-mesh-patterns-for-an-agent-ecosystem-ef13469b7cf7

Choosing the best data architecture in 2025
https://lewisdgavin.medium.com/how-to-choose-the-best-data-architecture-e1a0b005b21c

Оптимизация скриптов для витрин данных: от суток к часам
https://habr.com/ru/companies/gazprombank/articles/890988/

Разметка данных с использованием LLM
https://habr.com/ru/companies/X5Tech/articles/891830/

Прям про аналитику :) диалог отдела аналитики с бизнесом

В этом видео рассказ от компании Wayfair про их путь к Data Mesh коорый включал переход от монолитной централизованной модели данных к децентрализованной архитектуре, основанной на доменах и микросервисах.

Приняв принципы Data Mesh, Wayfair предоставила группам по предметной области возможность взять на себя сквозное владение своими данными.

Организационно Wayfair представила модель Embedded Data Engineering — внедрение инженеров по данным в группы по предметной области — для внедрения мышления «Данные как продукт» среди владельцев дата-продуктов.

Этот социотехнический сдвиг гарантировал, что те, кто создает данные, также владеют их качеством, документацией и развитием, а не полагаются на централизованную команду BI. В результате владельцы данных в Wayfair теперь несут ответственность за четко определенные, высококачественные данные, а потребители данных могут легче находить и доверять данным через унифицированный каталог и онтологию.

https://www.youtube.com/watch?v=fVAQLDbYCMg

Коллеги, спешу поделиться ссылкой на интересное мероприятие и обратите внимание, что там есть возможность регистрации на online трансляцую, хотя мероприятие будет оффлайн.

30 мая нобелевский лауреат и один из отцов ИИ Джеффри Хинтон прочтёт лекцию в Лондоне в Королевском институте (Royal Institution): «Цифровой интеллект против биологического».

Хинтон будет говорить о различиях между обучением цифровых нейросетей и биологического мозга, о границах и потенциале современной ИИ-систематики.

Лекция пройдёт в формате знаменитого Friday Evening Discourse — публичных научных выступлений, которые в РИ ведутся с середины XIX века. Когда-то в этой же аудитории свои идеи впервые представляли Фарадей и Максвелл — теперь эстафету принимает интеллект цифровой.

https://www.rigb.org/whats-on/discourse-digital-intelligence-vs-biological-intelligence

Grok тут API подогнало. Сам его не особо юзаю, но вроде как они сильно демократичнее по ценам чем OpenAI

https://docs.x.ai/docs/models#models-and-pricing

Модели ChatGPT 4o и 4.5 напоминают мне то, что психолог и нобелевский лауреат Даниэль Канеман описал в своей теории как «система 1» (быстрая) и «система 2» (медленная) мышления.

Система 1 — это быстрая, автоматическая, интуитивная и не всегда точная система. Она работает быстро, на основе эвристик и прошлого опыта, часто ошибается, но при этом оказывается вполне эффективной и полезной в большинстве повседневных ситуаций — примерно в 80% случаев.

Система 2 — медленная, аналитическая, требующая усилий и затрат ресурсов (времени, энергии). Она включается тогда, когда требуется глубокое осмысление, построение причинно-следственных связей, критическое мышление и понимание сути происходящего. Без неё невозможно решение сложных задач, понимание новых концепций и принятие обоснованных решений.

Если провести аналогию, то ChatGPT 4o — это скорее «быстрая система»: он реагирует моментально, хорошо обучен, выдаёт результат почти мгновенно, но нередко поверхностно и с ошибками. ChatGPT 4.5 ближе к «медленной системе»: он работает дольше, рассуждает глубже, стремится к большей точности и пониманию сути задачи, и его подход необходим для 20% задач, где важна не скорость, а качество размышлений.

При этом мы уверены, что без возможностей модели уровня GPT-4.5 искусственный интеллект в полном смысле слова не может считаться «интеллектом». Можно сказать, что сообщество в целом уже негласно признало: ChatGPT 4o — это всё ещё не интеллект, а инструмент, пусть и весьма продвинутый.

Возникает интересный вопрос: а как тогда относиться к людям, которые в своей повседневной жизни почти не используют «медленную систему» мышления? Не задумываются, не анализируют, не стремятся понять суть вещей, не строят причинно-следственные связи? Можем ли мы в полной мере называть такую форму мышления интеллектом? Или это всего лишь автоматическая, почти рефлекторная реакция — как у модели, которая быстро отвечает, но не думает?

Статья «Leveraging Knowledge Graphs in Real Estate Search» на Zillow Tech Hub описывает, как компания Zillow использует графы знаний для улучшения поиска недвижимости - графы знаний сейчас мега популярная тема, особенно применительно к RAG, так что я решил взглянуть подетальнее на практический, а не абстрактный кейс.

Граф знаний (Knowledge Graph, KG) — это структура данных, которая представляет информацию в виде узлов (сущностей) и связей между ними. Это позволяет эффективно организовывать и интерпретировать данные, делая их более доступными для анализа как людьми, так и машинами.

Zillow применяет графы знаний для:
• Связывания различных сущностей, таких как дома, районы, школы и агенты, что обеспечивает более точные и релевантные результаты поиска.
• Улучшения пользовательского опыта за счет предоставления структурированной и связанной информации о недвижимости.
• Повышения эффективности алгоритмов машинного обучения, использующих структурированные данные из графа знаний.

Рекоммендую взглянуть, компания в целом дает положительный feedback: KG стал для нас отличным инструментом для агрегации данных из разных источников, их стандартизации и поддержки. Это позволило нам запустить первый опыт поиска на естественном языке в сфере недвижимости, и мы ощутили рост клиентского опыта, измеренный с помощью AB-тестов. Мы также отметили значительный рост количества объектов недвижимости, показанных для поиска по ключевым словам, способность лучше понимать запросы пользователей и более высокую оценку релевантности объектов недвижимости, показанных пользователям. Стандартизация также привела к лучшему пониманию пользователей и улучшила наши алгоритмы поиска и ранжирования.

Так что графы знаний - то что нужно для GenAI !

https://www.zillow.com/tech/leveraging-knowledge-graphs-in-real-estate-search/?utm_source=tldrdata

Вам посылка от OpenAI - A practical guide to building agents