dbt: 2024 State of Analytics Engineering
#DBT опубликовали отчёт о состоянии analytics engineering за 2024 год.
Низкое качество данных и неясное владение ими остаются главными проблемами для дата команд.
Data Mesh постоянно набирает популярность среди enterprise компаний. Это резкое отличие от отчета #Gartner о data mesh.
И ещё вебинар сегодня будет (вроде только через корп-почту рега)
#Саммари от 300.ya.ru:
Состояние аналитической инженерии на 2024 год | dbt Labs
• В отчете представлены результаты опроса специалистов по обработке данных.
• Инженеры-аналитики получают значительно больший заработок, чем аналитики данных.
• Специалисты по обработке данных выполняют широкий спектр обязанностей и задач.
• Основные проблемы, с которыми сталкиваются группы обработки данных, включают низкое качество данных и неясное владение данными.
• Повышение информационной грамотности заинтересованных сторон считается важным для групп обработки данных.
• Большинство специалистов по обработке данных считают, что у них есть опыт в проведении преобразований данных.
• Неколичественные цели являются основным показателем успеха для групп обработки данных.
• Многие команды сообщают о сокращении бюджета и/или численности персонала, но большинство планируют сохранить инвестиции в инструменты обработки данных.
• Децентрализованные архитектуры обработки данных, такие как data mesh, привлекают внимание компаний разного размера.
• Растет тенденция к внедрению искусственного интеллекта среди специалистов по обработке данных.
💡 Годы идут, а проблемы, задачи и тенденции всё те же +-! 🤣
источник: https://t.iss.one/dataexplorers/250 #DataMesh #report #y2024 #theStateOf #AE
#DBT опубликовали отчёт о состоянии analytics engineering за 2024 год.
Низкое качество данных и неясное владение ими остаются главными проблемами для дата команд.
Data Mesh постоянно набирает популярность среди enterprise компаний. Это резкое отличие от отчета #Gartner о data mesh.
И ещё вебинар сегодня будет (вроде только через корп-почту рега)
#Саммари от 300.ya.ru:
Состояние аналитической инженерии на 2024 год | dbt Labs
• В отчете представлены результаты опроса специалистов по обработке данных.
• Инженеры-аналитики получают значительно больший заработок, чем аналитики данных.
• Специалисты по обработке данных выполняют широкий спектр обязанностей и задач.
• Основные проблемы, с которыми сталкиваются группы обработки данных, включают низкое качество данных и неясное владение данными.
• Повышение информационной грамотности заинтересованных сторон считается важным для групп обработки данных.
• Большинство специалистов по обработке данных считают, что у них есть опыт в проведении преобразований данных.
• Неколичественные цели являются основным показателем успеха для групп обработки данных.
• Многие команды сообщают о сокращении бюджета и/или численности персонала, но большинство планируют сохранить инвестиции в инструменты обработки данных.
• Децентрализованные архитектуры обработки данных, такие как data mesh, привлекают внимание компаний разного размера.
• Растет тенденция к внедрению искусственного интеллекта среди специалистов по обработке данных.
источник: https://t.iss.one/dataexplorers/250 #DataMesh #report #y2024 #theStateOf #AE
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
Data & IT Career
Прокачиваем свой #датаглоссарий! #Kafka и архитектура Кафки • Kafka — распределенная платформа обмена сообщениями • Ассоциация с произведением Ф. Кафки «Превращение» • Обсуждение параллелей в архитектуре Кафки и мотивах отчуждения #Shard и принцип "разделяй…
Продолжаем прокачиваем свой #датаглоссарий!
#DataMesh (aka #ПасекаДанных😁 )
@dataengineer (на канале много материалов и размышлений по сабжу):
#ИИСаммари:
#Подробнее:
- #DataMesh: https://t.iss.one/dataengineerchat/861
- #ПасекаДанных: https://t.iss.one/dataengineerchat/862
#Рубрика #ДатаГлоссарий
Продолжение
#DataMesh (aka #ПасекаДанных
@dataengineer (на канале много материалов и размышлений по сабжу):
Занимательный факт — авторы дают свое определение Data Mesh, «сформулированное с точки зрения практичности и конечного результата».
Data Mesh — это парадигма децентрализации. В ней децентрализуются владение данных, их преобразование в информацию, а также их обслуживание. Цель — повысить извлечение ценности из данных, устранив узкие места в потоке конверсии данных в ценность. Понятие Data Mesh опирается на четыре принципа, которые помогают эффективно масштабировать работу с данными: владение доменом, представление данных как продукта, федеративное вычислительное управление и самообслуживаемая платформа данных. Реализации могут различаться по объему и степени использования каждого принципа.
Первое и последнее предложение в этом определении являются ключевыми, на мой взгляд. Первое максимально просто и емко и напоминает легендарное определение одного из направлений в рок-музыке, данное ВИА Тараканы! («Панк — это слово из четырех букв.»). А последнее делает бессмысленными споры на тему «чистоты Data Mesh» и оставляет простор для импровизации.
Сами авторы так и пишут: «Ценность заключается в децентрализации, а ключевые принципы — это рекомендации, которые помогут правильно осуществить эту децентрализацию»
В моем октябрятском детстве говорили: «Критикуешь — предлагай». Тем более, что я не отношусь к той категории людей, которые считают русский язык бедным, невыразительным, недостойным, чтобы термины иностранные на него переводить (мама - филолог, ага).
На мой взгляд, гораздо лучшим, чем «сетка данных», импортозамещенным вариантом термина Data Mesh будет
«пасека данных»
. Пасечник предоставляет удобную платформу самообслуживания, внутри которой команды «децентрализованно самоорганизуются» и «пилят» свои продукты.
Не дословно, конечно, но суть отражает. К тому же в случае успеха, можно будет пропеть голосом Александра Ливера (обязательно!): «А у меня есть пасека!»
#ИИСаммари:
Определение Data Mesh
• Data Mesh — это парадигма децентрализации
• Децентрализуются владение данными, их преобразование в информацию и обслуживание
• Цель — повысить извлечение ценности из данных, устранив узкие места в потоке конверсии данных в ценность
Принципы Data Mesh
• Владение доменом
• Представление данных как продукта
• Федеративное вычислительное управление
• Самообслуживаемая платформа данных
Различия в реализациях
• Реализации могут различаться по объему и степени использования каждого принципа
Ключевые моменты определения
• Первое предложение максимально просто и емко, напоминает определение панка
• Последнее предложение делает бессмысленными споры о «чистоте Data Mesh» и оставляет простор для импровизации
Позиция авторов
• Ценность заключается в децентрализации
• Ключевые принципы — это рекомендации для правильной децентрализации
#Подробнее:
- #DataMesh: https://t.iss.one/dataengineerchat/861
- #ПасекаДанных: https://t.iss.one/dataengineerchat/862
#Рубрика #ДатаГлоссарий
Продолжение
Please open Telegram to view this post
VIEW IN TELEGRAM
Telegram
Data Engineer in Data Engineer Chat
#заметкинаполях
#datameshinaction
Занимательный факт — авторы дают свое определение Data Mesh, «сформулированное с точки зрения практичности и конечного результата».
Data Mesh — это парадигма децентрализации. В ней децентрализуются владение данных, их…
#datameshinaction
Занимательный факт — авторы дают свое определение Data Mesh, «сформулированное с точки зрения практичности и конечного результата».
Data Mesh — это парадигма децентрализации. В ней децентрализуются владение данных, их…
Data & IT Career
Продолжаем прокачиваем свой #датаглоссарий! #DataMesh (aka #ПасекаДанных 😁 ) @dataengineer (на канале много материалов и размышлений по сабжу): Занимательный факт — авторы дают свое определение Data Mesh, «сформулированное с точки зрения практичности и конечного…
#Термины – терминами, но понимание дб первичнее, чем попытка заучить! (Особенно с такими не простыми терминами и понятиями)
А как лучше всего понять?..
Порассуждать, подискутировать (взрастить таким образом росток знания), и потом идти уже с этим ростком в первоисточники, статьи на Харбе, научные книги и тд...
https://t.iss.one/data_career/1957?comment=2238 #DataMesh #глоссарий
А как лучше всего понять?..
Порассуждать, подискутировать (взрастить таким образом росток знания), и потом идти уже с этим ростком в первоисточники, статьи на Харбе, научные книги и тд...
https://t.iss.one/data_career/1957?comment=2238 #DataMesh #глоссарий
Telegram
Ананьев Сергей in Data Career chat
Вот объяснение на пальцах, после него все написаное выше в посте становится понятным.
Представь, что у тебя есть огромная коробка с LEGO. В этой коробке много разных деталей, и ты хочешь построить что-то крутое, например, замок, машину или космический корабль.…
Представь, что у тебя есть огромная коробка с LEGO. В этой коробке много разных деталей, и ты хочешь построить что-то крутое, например, замок, машину или космический корабль.…