Эволюция хранилища данных в Авито
20 миллионов в минуту — это поток загружаемых событий нашего сервиса. Работает с ним команда Data Warehouse, состоящая из 21 человека.
Саша Филатов, наш техлид, решил поделиться, как менялось наше хранилище аналитических данных с 2013 года: от таблиц и методологии anchor modeling до девятой версии Vertica и ClickHouse.
Читать на Хабре: https://bit.ly/3x7H7lX
#DWH_avitotech #статья_avitotech #habr_avitotech
20 миллионов в минуту — это поток загружаемых событий нашего сервиса. Работает с ним команда Data Warehouse, состоящая из 21 человека.
Саша Филатов, наш техлид, решил поделиться, как менялось наше хранилище аналитических данных с 2013 года: от таблиц и методологии anchor modeling до девятой версии Vertica и ClickHouse.
Читать на Хабре: https://bit.ly/3x7H7lX
#DWH_avitotech #статья_avitotech #habr_avitotech
❤8
Команда DWH поделилась своим расширением для работы с ClickHouse в Vertica на нашем GitHub. Оценить и забрать себе можно по ссылке:
https://bit.ly/36ZuAX9
#DWH_avitotech #github_avitotech
https://bit.ly/36ZuAX9
#DWH_avitotech #github_avitotech
🔥5👍4
Олег Харатов из команды DWH выступит 21 июля на IT’s Tinkoff Data Meetup, чтобы поделиться знанием, как найти данные о данных. Приглашаем зарегистрироваться!
Тем временем в открытом доступе появился доклад Жени Николаева, коллеги Олега, который презентовался на Smart Data 2021. В нём — о продуктовом подходе к разработке платформы хранилища данных.
Кстати, мы даже статью такую писали. Помните?
#dwh_avitotech #видео_avitotech #avitoteam
Тем временем в открытом доступе появился доклад Жени Николаева, коллеги Олега, который презентовался на Smart Data 2021. В нём — о продуктовом подходе к разработке платформы хранилища данных.
Кстати, мы даже статью такую писали. Помните?
#dwh_avitotech #видео_avitotech #avitoteam
Т-Банк Митапы
Митап IT’s Tinkoff Data Meetup
Управляем данными
👍10🔥3
У нас было 4 основных вида контента, 15+ направлений материалов, несколько тематик митапов, и целое море статей, плейбук, опенсорс, гитхаб, а так же хештеги к этому. Не то, чтобы всё это было категорически необходимо, но если уж взялся вести канал, то к делу надо подходить серьёзно.
Пока вы не решили срочно пересмотреть приключения Дюка и Гонзо, ловите навигацию по нашим хештегам ниже.
Ссылку на пост добавим в закреп.
Контент
#frontend
#backend
#go
#book
#tl
#mobile_ios
#mobile_android
#qa
#devops
#sre
#infosec
#architecture
#trisigma
#plato
#emcee
#dba
#dwh
#design
#editor
#research
#analytics
#product
#ds
Мероприятия
#frontend_meetup
#backend_meetup
#go_meetup
#platform_meetup
#tl_meetup
#emcee_meetup
#mobile_ios_meetup
#emcee_meetup
#mobile_android_meetup
#emcee_meetup
#qa_meetup
#emcee_meetup
#devops_meetup
#sre_meetup
#infosec_meetup
#architecture_meetup
#dwh_meetup
#dba_meetup
#analytics_comm_meetup
#analytics_meetup
#product_meetup
#trisigma_meetup
#ds_ai_meetup
#ds_meetup
#avito_all_day_long
#avito_on_conference
Пока вы не решили срочно пересмотреть приключения Дюка и Гонзо, ловите навигацию по нашим хештегам ниже.
Ссылку на пост добавим в закреп.
Контент
#frontend
#backend
#go
#book
#tl
#mobile_ios
#mobile_android
#qa
#devops
#sre
#infosec
#architecture
#trisigma
#plato
#emcee
#dba
#dwh
#design
#editor
#research
#analytics
#product
#ds
Мероприятия
#frontend_meetup
#backend_meetup
#go_meetup
#platform_meetup
#tl_meetup
#emcee_meetup
#mobile_ios_meetup
#emcee_meetup
#mobile_android_meetup
#emcee_meetup
#qa_meetup
#emcee_meetup
#devops_meetup
#sre_meetup
#infosec_meetup
#architecture_meetup
#dwh_meetup
#dba_meetup
#analytics_comm_meetup
#analytics_meetup
#product_meetup
#trisigma_meetup
#ds_ai_meetup
#ds_meetup
#avito_all_day_long
#avito_on_conference
👍28🔥9🏆4😐2
С самого начала у нас была какая-то тактика мы внедряли какие-то новые решения, чтобы улучшить работу с данными. А потом обнаружили очень много багов 🐞
Олег Харатов, Technical Unit Lead, вместе с командой нашёл способ не только их быстро систематизировать и решить, но и сделать этот процесс автоматизированным.
Полная хронология событий — в статье Олега🗂
#dwh_avitotech #статья_avitotech #habr_avitotech
Олег Харатов, Technical Unit Lead, вместе с командой нашёл способ не только их быстро систематизировать и решить, но и сделать этот процесс автоматизированным.
Полная хронология событий — в статье Олега
#dwh_avitotech #статья_avitotech #habr_avitotech
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥11❤🔥6
Игорь Конев, старший инженер команды DBaaS в Авито, выделил 3 проблемы эксплуатации данных k8s и показал, как их решение помогает построить стабильную DBaaS-платформу и автоматизировать жизненный цикл баз.
Кстати, в основе статьи — выступление Игоря на Avito Database meetup #1. Новичкам обязательно к прочтению
#DWH_avitotech #статья_avitotech
Please open Telegram to view this post
VIEW IN TELEGRAM
❤13🔥9👍7