Основные мысли со второго дня конфы
📍Шаблонная архитектура data platform с точки зрения хранения данных: S3 + Greenplum + Clickhouse
S3 - объектное хранилище, можно писать любые форматы с любой структурой данных. Используется как часть Data Lake и промежуточным слоем хранения данных между источниками и core
Greenplum - основная БД хранения данных по слоям. Удобен, т.к. open source и является MPP-решением, что позволяет работать с большими объемами данных
Clickhouse - базенка для аналитических витрин, используют в основном для BI слоя и отчетов с возможностью real time аналитики. Понятное решение, т.к. клик является колоночной базой, что позволяет более быстро крутить метрики витрин чем напрямую это делать в GP.
📍Со стороны ETL было удивлением, чтомногие уже внедрили dbt для описания правил трансформации данных, думал что тренд dbt с запада будет к нам чуть дольше идти. В остальном никакие новые тренды не услышал, все стандартно: Airflow как оркестратор, Kafka для очередей.
📍У многих болит тема Data Governance, особенно у тех кто переходит в Data mesh. Ну правильно, чтобы не получить data mess вместо data mesh - нужно внедрять общие практики управления данными (Federated DG/DM) на уровне всей компании)
📍Шаблонная архитектура data platform с точки зрения хранения данных: S3 + Greenplum + Clickhouse
S3 - объектное хранилище, можно писать любые форматы с любой структурой данных. Используется как часть Data Lake и промежуточным слоем хранения данных между источниками и core
Greenplum - основная БД хранения данных по слоям. Удобен, т.к. open source и является MPP-решением, что позволяет работать с большими объемами данных
Clickhouse - базенка для аналитических витрин, используют в основном для BI слоя и отчетов с возможностью real time аналитики. Понятное решение, т.к. клик является колоночной базой, что позволяет более быстро крутить метрики витрин чем напрямую это делать в GP.
📍Со стороны ETL было удивлением, что
📍У многих болит тема Data Governance, особенно у тех кто переходит в Data mesh. Ну правильно, чтобы не получить data mess вместо data mesh - нужно внедрять общие практики управления данными (Federated DG/DM) на уровне всей компании)
👍17❤4🔥4
Аналитики, сколько времени работаете в профессии?
Anonymous Poll
20%
Меньше года
22%
1-3 года
11%
3-5 лет
10%
Больше 5 лет
37%
Не аналитик (посмотреть ответ)
👍5❤4
Давно в голове сидит идея запустить рубрику/отдельный канал в формате форума с обсуждением острых или спорных тем.
Почему кажется интересным:
1️⃣ интересно услышать множество мнений со стороны на одну тему, посмотреть как мыслят другие
2️⃣ может образуем своего рода нетворк и кружки по интересам
3️⃣ модерация тем в формате канала, не хочется создавать группу с открытым чатом из-за модерации и неудобного вовлечения в обсуждения, которые текут в одном потоке
4️⃣ послушать мнения экспертов и подчерпнуть их экспертизу и опыт
5️⃣ проверить гипотезу как это влияет на активность канала (простите, чисто шкурный интерес)
если формат зайдет и вам захочется больше тем для разгона, подумаю над переносом рубрики в отдельный канал, ну а если не зайдет -то лучше попробовать чем нет
Итак, все такие посты с темами для обсуждения будут публиковаться с хэштегом #datalk
ниже первый пост для обсуждения👇
Почему кажется интересным:
1️⃣ интересно услышать множество мнений со стороны на одну тему, посмотреть как мыслят другие
2️⃣ может образуем своего рода нетворк и кружки по интересам
3️⃣ модерация тем в формате канала, не хочется создавать группу с открытым чатом из-за модерации и неудобного вовлечения в обсуждения, которые текут в одном потоке
4️⃣ послушать мнения экспертов и подчерпнуть их экспертизу и опыт
5️⃣ проверить гипотезу как это влияет на активность канала (простите, чисто шкурный интерес)
если формат зайдет и вам захочется больше тем для разгона, подумаю над переносом рубрики в отдельный канал, ну а если не зайдет -
Итак, все такие посты с темами для обсуждения будут публиковаться с хэштегом #datalk
ниже первый пост для обсуждения
Please open Telegram to view this post
VIEW IN TELEGRAM
👍14🔥4❤3
😁8❤6🎉3👍2
Необычное начало дня
Сегодня рабочий день пришлось начать с необычного сообщения в рабочий чатик.
Вчера гуляли вечером и на дороге увидели лежащую без движения кошку. В такие моменты сразу же накрывает грусть и обида за то, что множество животных погибают на дороге.
Но что-то в этот раз внутри подсказало, что нужно подойти поближе. Когда подошли увидели что кошка живая, тяжело дышит и даже подняла на нас голову. Не буду вдаваться в подробности о ее состоянии в тот момент, но мы боялись что у нее могут быть внутренние травмы, которые попросту не видим.
Сначала оттащили ее на обочину под куст и решили вернуться на машине, чтобы забрать домой.
Когда ехали за ней боялись что приедем уже напрасно…
Забрали домой, по пути проверили работают ли какие-нибудь ветклиники (увы, в 11 вечера ничего не работало) укололи обезболивающее и оставили до утра, зная что повезем утром в клинику на обследование.
Приехав в клинику после осмотра врача мы очень обрадовались, что кошка сама встает, шевелится, чувствует себя намного лучше чем вчера. Оказалось что у нее сломана челюсть и после сильного удара конечно был шок и возможно сотрясение, поэтому она лежала без движения.
Сделали операцию на челюсть, прокапали капельницы, привезли ее домой. Бабушка жены потом позвонила знакомым возле дома где нашли кошку, оказалось что они как раз ее хозяева. Отвезли кошку к ним 🙏
Сказали им, что завтра нужно опять показать кошку в клинике и провести физиотерапию.
Будьте добры и любите животных, они очень беззащитны. Если мы не поможем, то никто не поможет
Сегодня рабочий день пришлось начать с необычного сообщения в рабочий чатик.
Вчера гуляли вечером и на дороге увидели лежащую без движения кошку. В такие моменты сразу же накрывает грусть и обида за то, что множество животных погибают на дороге.
Но что-то в этот раз внутри подсказало, что нужно подойти поближе. Когда подошли увидели что кошка живая, тяжело дышит и даже подняла на нас голову. Не буду вдаваться в подробности о ее состоянии в тот момент, но мы боялись что у нее могут быть внутренние травмы, которые попросту не видим.
Сначала оттащили ее на обочину под куст и решили вернуться на машине, чтобы забрать домой.
Когда ехали за ней боялись что приедем уже напрасно…
Забрали домой, по пути проверили работают ли какие-нибудь ветклиники (увы, в 11 вечера ничего не работало) укололи обезболивающее и оставили до утра, зная что повезем утром в клинику на обследование.
Приехав в клинику после осмотра врача мы очень обрадовались, что кошка сама встает, шевелится, чувствует себя намного лучше чем вчера. Оказалось что у нее сломана челюсть и после сильного удара конечно был шок и возможно сотрясение, поэтому она лежала без движения.
Сделали операцию на челюсть, прокапали капельницы, привезли ее домой. Бабушка жены потом позвонила знакомым возле дома где нашли кошку, оказалось что они как раз ее хозяева. Отвезли кошку к ним 🙏
Сказали им, что завтра нужно опять показать кошку в клинике и провести физиотерапию.
Будьте добры и любите животных, они очень беззащитны. Если мы не поможем, то никто не поможет
❤94🎉8👍5
Forwarded from Книги по аналитике (BA, DA, SA, PA)
Джин Желязны / Говори на языке диаграмм
"Как наилучшим образом представить ваши идеи с помощью диаграмм? Как
привлечь и удержать внимание аудитории? На страницах этой книги вы найдете все необходимое для этого: практические рекомендации по выбору типа диаграммы (круговая, линейчатая, точечная и т.д.), правила подготовки и использования каждого из них, а также мастер-класс по исправлению неудачных диаграмм."
Скачать книгу
"Как наилучшим образом представить ваши идеи с помощью диаграмм? Как
привлечь и удержать внимание аудитории? На страницах этой книги вы найдете все необходимое для этого: практические рекомендации по выбору типа диаграммы (круговая, линейчатая, точечная и т.д.), правила подготовки и использования каждого из них, а также мастер-класс по исправлению неудачных диаграмм."
Скачать книгу
❤16👍4
Аналитики, какое у вас образование? (если несколько образований, выберите более релевантное к аналитике)
Anonymous Poll
25%
высшее техническое, связано с IT
27%
высшее техническое, не связано с IT
25%
высшее гуманитарное
4%
среднее профессиональное
3%
среднее общее (только школа)
17%
не аналитик, посмотреть ответ
🔥11👍3
Forwarded from Книги по аналитике (BA, DA, SA, PA)
Роб Фитцпатрик / Спроси маму
"Обычно у мамы не выясняют, хороша ли та или иная бизнес-идея, потому что она любит вас и не хочет ранить правдой. Да, это так, но не совсем. Вы не должны спрашивать, является ли ваша идея хорошей. Это плохой вопрос, потому что не только мама, но и все остальные на него будут лгать, хотя бы чуть-чуть. И в самом деле, это же не их обязанность, говорить всегда правду. Выяснять истину и делать всё правильно — это только ваша ответственность и задача"
Скачать книгу
"Обычно у мамы не выясняют, хороша ли та или иная бизнес-идея, потому что она любит вас и не хочет ранить правдой. Да, это так, но не совсем. Вы не должны спрашивать, является ли ваша идея хорошей. Это плохой вопрос, потому что не только мама, но и все остальные на него будут лгать, хотя бы чуть-чуть. И в самом деле, это же не их обязанность, говорить всегда правду. Выяснять истину и делать всё правильно — это только ваша ответственность и задача"
Скачать книгу
👍13❤5
CLTV (customer lifetime value) — метрика, используемая для оценки прибыли, которую компания может получить от своего клиента за время его пользования продуктами и сервисами компании.
Для компаний с точки зрения клиентской аналитики метрика CLTV (или в другой аббревиатуре LTV) является одной из самых важных и в одно время сложных для расчета. Есть множество подходов к расчету этой метрики с учетом доходов от клиентов и расходов на их привлечение и удержание, а также учет времени жизни (активности) клиента внутри продуктов компании.
На Матемакретинге общался с девушкой из Билайна и она подсказала, что у них есть серия статей на тему расчета CLTV, спасибо ей большое 😉
🔗 Что такое CLTV и как в Билайне мы с ним работаем
🔗 Использование ML для прогнозирования CLTV
🔗 Коэффициент для экстраполяции прогнозов компонент CLTV на 5 лет
Для компаний с точки зрения клиентской аналитики метрика CLTV (или в другой аббревиатуре LTV) является одной из самых важных и в одно время сложных для расчета. Есть множество подходов к расчету этой метрики с учетом доходов от клиентов и расходов на их привлечение и удержание, а также учет времени жизни (активности) клиента внутри продуктов компании.
На Матемакретинге общался с девушкой из Билайна и она подсказала, что у них есть серия статей на тему расчета CLTV, спасибо ей большое 😉
🔗 Что такое CLTV и как в Билайне мы с ним работаем
🔗 Использование ML для прогнозирования CLTV
🔗 Коэффициент для экстраполяции прогнозов компонент CLTV на 5 лет
👍16🔥7
❤11
Вижу по реакциям что вам больше интересны мемы, фотки и жизненные истории чем аналитические материалы 😅 ну тогда ловите фотки с недавней поездки) классно отдохнули, жарили шашлык, катались, спасали кошку.
P.S. С кошкой кстати все хорошо, держали связь с ее хозяевами еще дня 4 пока были там. Ходит, кушает, пьет, через пару недель повезут в больницу проверять ее челюсть повторно
P.S. С кошкой кстати все хорошо, держали связь с ее хозяевами еще дня 4 пока были там. Ходит, кушает, пьет, через пару недель повезут в больницу проверять ее челюсть повторно
❤18🔥14👍9
🧐 Как часто вами используются знания математики университетской программы для работы с данными? В каких областях работы с данными используете, а в каких вообще не сталкиваетесь?
#datalk
#datalk
😁11🔥7