Data & IT Career
1.06K subscribers
793 photos
49 videos
14 files
1.35K links
Карьера в дата-профессиях и в ИТ в общем

Tags:
#подборка #survey
#career #зп #CV
#skills
#опросы

По вакансиям: t.iss.one/data_career/1576
Feedback: @black_titmouse

Branched from @data_events
See also @ml_career
tgstat.ru/channel/@data_career/stat/citation
Download Telegram
Data & IT Career
Прокачиваем свой #датаглоссарий! #Kafka и архитектура Кафки • Kafka — распределенная платформа обмена сообщениями • Ассоциация с произведением Ф. Кафки «Превращение» • Обсуждение параллелей в архитектуре Кафки и мотивах отчуждения #Shard и принцип "разделяй…
Продолжаем прокачиваем свой #датаглоссарий!

#DataMesh (aka #ПасекаДанных 😁)

@dataengineer (на канале много материалов и размышлений по сабжу):
Занимательный факт — авторы дают свое определение Data Mesh, «сформулированное с точки зрения практичности и конечного результата».

Data Mesh — это парадигма децентрализации. В ней децентрализуются владение данных, их преобразование в информацию, а также их обслуживание. Цель — повысить извлечение ценности из данных, устранив узкие места в потоке конверсии данных в ценность. Понятие Data Mesh опирается на четыре принципа, которые помогают эффективно масштабировать работу с данными: владение доменом, представление данных как продукта, федеративное вычислительное управление и самообслуживаемая платформа данных. Реализации могут различаться по объему и степени использования каждого принципа.

Первое и последнее предложение в этом определении являются ключевыми, на мой взгляд. Первое максимально просто и емко и напоминает легендарное определение одного из направлений в рок-музыке, данное ВИА Тараканы! («Панк — это слово из четырех букв.»). А последнее делает бессмысленными споры на тему «чистоты Data Mesh» и оставляет простор для импровизации.

Сами авторы так и пишут: «Ценность заключается в децентрализации, а ключевые принципы — это рекомендации, которые помогут правильно осуществить эту децентрализацию»

В моем октябрятском детстве говорили: «Критикуешь — предлагай». Тем более, что я не отношусь к той категории людей, которые считают русский язык бедным, невыразительным, недостойным, чтобы термины иностранные на него переводить (мама - филолог, ага).

На мой взгляд, гораздо лучшим, чем «сетка данных», импортозамещенным вариантом термина Data Mesh будет
«пасека данных»
. Пасечник предоставляет удобную платформу самообслуживания, внутри которой команды «децентрализованно самоорганизуются» и «пилят» свои продукты.

Не дословно, конечно, но суть отражает. К тому же в случае успеха, можно будет пропеть голосом Александра Ливера (обязательно!): «А у меня есть пасека!»

#ИИСаммари:
Определение Data Mesh
• Data Mesh — это парадигма децентрализации
• Децентрализуются владение данными, их преобразование в информацию и обслуживание
• Цель — повысить извлечение ценности из данных, устранив узкие места в потоке конверсии данных в ценность

Принципы Data Mesh
• Владение доменом
• Представление данных как продукта
• Федеративное вычислительное управление
• Самообслуживаемая платформа данных

Различия в реализациях
• Реализации могут различаться по объему и степени использования каждого принципа

Ключевые моменты определения
• Первое предложение максимально просто и емко, напоминает определение панка
• Последнее предложение делает бессмысленными споры о «чистоте Data Mesh» и оставляет простор для импровизации

Позиция авторов
• Ценность заключается в децентрализации
• Ключевые принципы — это рекомендации для правильной децентрализации


#Подробнее:
- #DataMesh: https://t.iss.one/dataengineerchat/861
- #ПасекаДанных: https://t.iss.one/dataengineerchat/862

#Рубрика #ДатаГлоссарий

Продолжение
Please open Telegram to view this post
VIEW IN TELEGRAM
https://www.pracdata.io/p/open-source-data-engineering-landscape-2025

Все вы помните огромные картинки, на которых 17 миллионов логотипов сервисов для данных. Вот эта статья - одна из таких, но тут главная особенность - здесь ТОЛЬКО open source решения, и причем в адекватном количестве. С понятными пояснениями, почему тот или иной инструмент попал в список.

Как всегда, читать эту картинку нужно следующим образом "А что еще есть на рынке в этой сфере кроме X?"


#ИИСаммари:

• Сфера разработки данных с открытым исходным кодом активно развивается.  

• В 2024 году ожидается значительный рост и изменения в области хранения, обработки, интеграции и аналитики данных.  

• В ландшафте разработки данных с открытым исходным кодом представлены ключевые действующие проекты и инструменты.  

• В 2024 году экосистема разработки данных с открытым исходным кодом претерпела значительный рост, добавлено более 50 новых инструментов.  

• В 2024 году произошли тревожные события, связанные с изменениями в лицензировании некоторых проектов.  

• В 2024 году крупные игроки отрасли продемонстрировали неизменную приверженность разработке с открытым исходным кодом.  

• В 2024 году рынок продолжает развиваться в направлении облачных, компонуемых архитектур и стандартизированных технологий.

#src: https://t.iss.one/ohmydataengineer/627
👍3