Эволюция хранилища данных в Авито
20 миллионов в минуту — это поток загружаемых событий нашего сервиса. Работает с ним команда Data Warehouse, состоящая из 21 человека.
Саша Филатов, наш техлид, решил поделиться, как менялось наше хранилище аналитических данных с 2013 года: от таблиц и методологии anchor modeling до девятой версии Vertica и ClickHouse.
Читать на Хабре: https://bit.ly/3x7H7lX
#DWH_avitotech #статья_avitotech #habr_avitotech
20 миллионов в минуту — это поток загружаемых событий нашего сервиса. Работает с ним команда Data Warehouse, состоящая из 21 человека.
Саша Филатов, наш техлид, решил поделиться, как менялось наше хранилище аналитических данных с 2013 года: от таблиц и методологии anchor modeling до девятой версии Vertica и ClickHouse.
Читать на Хабре: https://bit.ly/3x7H7lX
#DWH_avitotech #статья_avitotech #habr_avitotech
❤8
Команда DWH поделилась своим расширением для работы с ClickHouse в Vertica на нашем GitHub. Оценить и забрать себе можно по ссылке:
https://bit.ly/36ZuAX9
#DWH_avitotech #github_avitotech
https://bit.ly/36ZuAX9
#DWH_avitotech #github_avitotech
🔥5👍4
Олег Харатов из команды DWH выступит 21 июля на IT’s Tinkoff Data Meetup, чтобы поделиться знанием, как найти данные о данных. Приглашаем зарегистрироваться!
Тем временем в открытом доступе появился доклад Жени Николаева, коллеги Олега, который презентовался на Smart Data 2021. В нём — о продуктовом подходе к разработке платформы хранилища данных.
Кстати, мы даже статью такую писали. Помните?
#dwh_avitotech #видео_avitotech #avitoteam
Тем временем в открытом доступе появился доклад Жени Николаева, коллеги Олега, который презентовался на Smart Data 2021. В нём — о продуктовом подходе к разработке платформы хранилища данных.
Кстати, мы даже статью такую писали. Помните?
#dwh_avitotech #видео_avitotech #avitoteam
Т-Банк Митапы
Митап IT’s Tinkoff Data Meetup
Управляем данными
👍10🔥3
С самого начала у нас была какая-то тактика мы внедряли какие-то новые решения, чтобы улучшить работу с данными. А потом обнаружили очень много багов 🐞
Олег Харатов, Technical Unit Lead, вместе с командой нашёл способ не только их быстро систематизировать и решить, но и сделать этот процесс автоматизированным.
Полная хронология событий — в статье Олега🗂
#dwh_avitotech #статья_avitotech #habr_avitotech
Олег Харатов, Technical Unit Lead, вместе с командой нашёл способ не только их быстро систематизировать и решить, но и сделать этот процесс автоматизированным.
Полная хронология событий — в статье Олега
#dwh_avitotech #статья_avitotech #habr_avitotech
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥11❤🔥6
Игорь Конев, старший инженер команды DBaaS в Авито, выделил 3 проблемы эксплуатации данных k8s и показал, как их решение помогает построить стабильную DBaaS-платформу и автоматизировать жизненный цикл баз.
Кстати, в основе статьи — выступление Игоря на Avito Database meetup #1. Новичкам обязательно к прочтению
#DWH_avitotech #статья_avitotech
Please open Telegram to view this post
VIEW IN TELEGRAM
❤13🔥9👍7