Data & IT Career
Прокачиваем свой #датаглоссарий! #Kafka и архитектура Кафки • Kafka — распределенная платформа обмена сообщениями • Ассоциация с произведением Ф. Кафки «Превращение» • Обсуждение параллелей в архитектуре Кафки и мотивах отчуждения #Shard и принцип "разделяй…
Продолжаем прокачиваем свой #датаглоссарий!
#DataMesh (aka #ПасекаДанных😁 )
@dataengineer (на канале много материалов и размышлений по сабжу):
#ИИСаммари:
#Подробнее:
- #DataMesh: https://t.iss.one/dataengineerchat/861
- #ПасекаДанных: https://t.iss.one/dataengineerchat/862
#Рубрика #ДатаГлоссарий
Продолжение
#DataMesh (aka #ПасекаДанных
@dataengineer (на канале много материалов и размышлений по сабжу):
Занимательный факт — авторы дают свое определение Data Mesh, «сформулированное с точки зрения практичности и конечного результата».
Data Mesh — это парадигма децентрализации. В ней децентрализуются владение данных, их преобразование в информацию, а также их обслуживание. Цель — повысить извлечение ценности из данных, устранив узкие места в потоке конверсии данных в ценность. Понятие Data Mesh опирается на четыре принципа, которые помогают эффективно масштабировать работу с данными: владение доменом, представление данных как продукта, федеративное вычислительное управление и самообслуживаемая платформа данных. Реализации могут различаться по объему и степени использования каждого принципа.
Первое и последнее предложение в этом определении являются ключевыми, на мой взгляд. Первое максимально просто и емко и напоминает легендарное определение одного из направлений в рок-музыке, данное ВИА Тараканы! («Панк — это слово из четырех букв.»). А последнее делает бессмысленными споры на тему «чистоты Data Mesh» и оставляет простор для импровизации.
Сами авторы так и пишут: «Ценность заключается в децентрализации, а ключевые принципы — это рекомендации, которые помогут правильно осуществить эту децентрализацию»
В моем октябрятском детстве говорили: «Критикуешь — предлагай». Тем более, что я не отношусь к той категории людей, которые считают русский язык бедным, невыразительным, недостойным, чтобы термины иностранные на него переводить (мама - филолог, ага).
На мой взгляд, гораздо лучшим, чем «сетка данных», импортозамещенным вариантом термина Data Mesh будет
«пасека данных»
. Пасечник предоставляет удобную платформу самообслуживания, внутри которой команды «децентрализованно самоорганизуются» и «пилят» свои продукты.
Не дословно, конечно, но суть отражает. К тому же в случае успеха, можно будет пропеть голосом Александра Ливера (обязательно!): «А у меня есть пасека!»
#ИИСаммари:
Определение Data Mesh
• Data Mesh — это парадигма децентрализации
• Децентрализуются владение данными, их преобразование в информацию и обслуживание
• Цель — повысить извлечение ценности из данных, устранив узкие места в потоке конверсии данных в ценность
Принципы Data Mesh
• Владение доменом
• Представление данных как продукта
• Федеративное вычислительное управление
• Самообслуживаемая платформа данных
Различия в реализациях
• Реализации могут различаться по объему и степени использования каждого принципа
Ключевые моменты определения
• Первое предложение максимально просто и емко, напоминает определение панка
• Последнее предложение делает бессмысленными споры о «чистоте Data Mesh» и оставляет простор для импровизации
Позиция авторов
• Ценность заключается в децентрализации
• Ключевые принципы — это рекомендации для правильной децентрализации
#Подробнее:
- #DataMesh: https://t.iss.one/dataengineerchat/861
- #ПасекаДанных: https://t.iss.one/dataengineerchat/862
#Рубрика #ДатаГлоссарий
Продолжение
Please open Telegram to view this post
VIEW IN TELEGRAM
Telegram
Data Engineer in Data Engineer Chat
#заметкинаполях
#datameshinaction
Занимательный факт — авторы дают свое определение Data Mesh, «сформулированное с точки зрения практичности и конечного результата».
Data Mesh — это парадигма децентрализации. В ней децентрализуются владение данных, их…
#datameshinaction
Занимательный факт — авторы дают свое определение Data Mesh, «сформулированное с точки зрения практичности и конечного результата».
Data Mesh — это парадигма децентрализации. В ней децентрализуются владение данных, их…
https://www.pracdata.io/p/open-source-data-engineering-landscape-2025
#ИИСаммари:
• • Сфера разработки данных с открытым исходным кодом активно развивается.
• • В 2024 году ожидается значительный рост и изменения в области хранения, обработки, интеграции и аналитики данных.
• • В ландшафте разработки данных с открытым исходным кодом представлены ключевые действующие проекты и инструменты.
• • В 2024 году экосистема разработки данных с открытым исходным кодом претерпела значительный рост, добавлено более 50 новых инструментов.
• • В 2024 году произошли тревожные события, связанные с изменениями в лицензировании некоторых проектов.
• • В 2024 году крупные игроки отрасли продемонстрировали неизменную приверженность разработке с открытым исходным кодом.
• • В 2024 году рынок продолжает развиваться в направлении облачных, компонуемых архитектур и стандартизированных технологий.
#src: https://t.iss.one/ohmydataengineer/627
Все вы помните огромные картинки, на которых 17 миллионов логотипов сервисов для данных. Вот эта статья - одна из таких, но тут главная особенность - здесь ТОЛЬКО open source решения, и причем в адекватном количестве. С понятными пояснениями, почему тот или иной инструмент попал в список.
Как всегда, читать эту картинку нужно следующим образом "А что еще есть на рынке в этой сфере кроме X?"
#ИИСаммари:
• • Сфера разработки данных с открытым исходным кодом активно развивается.
• • В 2024 году ожидается значительный рост и изменения в области хранения, обработки, интеграции и аналитики данных.
• • В ландшафте разработки данных с открытым исходным кодом представлены ключевые действующие проекты и инструменты.
• • В 2024 году экосистема разработки данных с открытым исходным кодом претерпела значительный рост, добавлено более 50 новых инструментов.
• • В 2024 году произошли тревожные события, связанные с изменениями в лицензировании некоторых проектов.
• • В 2024 году крупные игроки отрасли продемонстрировали неизменную приверженность разработке с открытым исходным кодом.
• • В 2024 году рынок продолжает развиваться в направлении облачных, компонуемых архитектур и стандартизированных технологий.
#src: https://t.iss.one/ohmydataengineer/627
👍3