30 ноября прошел «Осенний бигдатник», на котором наш эксперт Сергей Смирнов представил сразу два доклада:
- Введение в потоковую обработку данных с примерами на Apache Flink;
- Streamhouse Architecture - единообразный способ работы с пакетными и потоковыми данными.
Благодарим Сергея за активность и представление интересов Сбера на внешней площадке!
Ставь 🔥, если придешь на митап по концепции Streamhouse!
С уважением,
команда DWH/BigData 💚
- Введение в потоковую обработку данных с примерами на Apache Flink;
- Streamhouse Architecture - единообразный способ работы с пакетными и потоковыми данными.
"У многих сейчас стоит задача перейти на что-то новое. И публика разбилась на две возрастные (!) группы. Одни интересовались преимуществами стриминга, другие спрашивали, почему лучше остаться на существующем стеке и текущих решениях", - подчеркнул
Сергей Смирнов.
Благодарим Сергея за активность и представление интересов Сбера на внешней площадке!
Ставь 🔥, если придешь на митап по концепции Streamhouse!
С уважением,
команда DWH/BigData 💚
🔥7👍3
SberProfi DWH/BigData
Друзья, привет! Подготовили для вас «прыжок в поток» интересный митап по стримингу 😊 Формат – открытый диалог! Задавайте вопросы заранее или во время митапа, меняйте акценты, управляйте дискуссией 🔥 На мероприятии: - Расскажем, что такое потоковая…
Друзья, привет!
⏱️ Через 10 минут начинаем наш мономитап по теме стриминга!
Подключайтесь, будет полезно🔥
P.S. Ссылка в почте и внутренних каналах комьюнити.
⏱️ Через 10 минут начинаем наш мономитап по теме стриминга!
Подключайтесь, будет полезно🔥
P.S. Ссылка в почте и внутренних каналах комьюнити.
ДЛЯ ТЕХ, КТО УЧИТСЯ И УЧИТ
Друзья, привет!
Только посмотрите, сколько курсов, программ обучения, видеороликов и компактных обзоров разработали коллеги. Вы можете так же!
Вместе с командой SberData приглашаем вас создавать обучающие решения для команд D-people!
✅Что мы предлагаем:
- Переложить ваш опыт в формат курсов, мини-курсов или видео
- Систематизировать и упаковать ваши материалы для обучения коллег
- Разработать тесты, которые помогут проверять знания и навыки
✅Как участвовать?
- Напишите в комментариях к этому посту о своем уникальном опыте или знаниях, которыми важно поделиться
- Свяжитесь с экспертом комьюнити Владимиром Фадеевым
Подробности и примеры ищите по внутренней ссылке.
Поторопитесь, старт проекту уже дан! И не забудьте поделиться этим постом с друзьями, им тоже будет полезно😊
С уважением,
команда DWH/BigData 💚
Друзья, привет!
Только посмотрите, сколько курсов, программ обучения, видеороликов и компактных обзоров разработали коллеги. Вы можете так же!
Вместе с командой SberData приглашаем вас создавать обучающие решения для команд D-people!
✅Что мы предлагаем:
- Переложить ваш опыт в формат курсов, мини-курсов или видео
- Систематизировать и упаковать ваши материалы для обучения коллег
- Разработать тесты, которые помогут проверять знания и навыки
✅Как участвовать?
- Напишите в комментариях к этому посту о своем уникальном опыте или знаниях, которыми важно поделиться
- Свяжитесь с экспертом комьюнити Владимиром Фадеевым
Подробности и примеры ищите по внутренней ссылке.
Поторопитесь, старт проекту уже дан! И не забудьте поделиться этим постом с друзьями, им тоже будет полезно😊
С уважением,
команда DWH/BigData 💚
🔥6👍4❤1
Друзья, привет!
На Хабре вышел новый материал оспособах проверки качества данных после миграции с Teradata на Greenplum. Читаем вместе🔥
О своем опыте и результатах кросс‑платформенной проверки качества данных во время и после миграции, а также о трудностях и решениях рассказали участники комьюнити Николай Абрамов и Евгений Видман (SberData).
👉ЧИТАТЬ СТАТЬЮ👈
P.S. Полезные ссылки для тех, кто пропустил предыдущие статьи цикла:
- Конвертация в один клик! Как перенести код из Teradata в GreenPlum без лишних затрат и усилий
- Как мы перенесли архив данных из Teradata в GreenPlum с помощью Hadoop и PXF
P.P.S. Если у вас тоже есть материал или идея статьи, напишите нам😊
С уважением,
команда DWH/BigData 💚
На Хабре вышел новый материал о
О своем опыте и результатах кросс‑платформенной проверки качества данных во время и после миграции, а также о трудностях и решениях рассказали участники комьюнити Николай Абрамов и Евгений Видман (SberData).
👉ЧИТАТЬ СТАТЬЮ👈
P.S. Полезные ссылки для тех, кто пропустил предыдущие статьи цикла:
- Конвертация в один клик! Как перенести код из Teradata в GreenPlum без лишних затрат и усилий
- Как мы перенесли архив данных из Teradata в GreenPlum с помощью Hadoop и PXF
P.P.S. Если у вас тоже есть материал или идея статьи, напишите нам😊
С уважением,
команда DWH/BigData 💚
🔥6
Друзья, привет!
Когда для Деда Мороза вы уже большие…подарки дарит комьюнити 🎁
Благодарности Блока Т за значимый вклад в развитие профсообщества получили участники DWH/BigData:
· Николай Абрамов (SberData)
· Иван Коньков (SberData)
· Иван Литвин (SberData)
· Антов Логинов (ООО «Датсис»)
· Максим Радионов (SberData)
· Кирилл Пашигорев (SberData)
Коллеги принимали активное участие в жизни комьюнити: выступали на мероприятиях, публиковали статьи на Habr, читали лекции в вузах, разрабатывали треки и тренажеры в Bootcamp и многое другое.
С уважением,
команда DWH/BigData 💚
Когда для Деда Мороза вы уже большие…
Благодарности Блока Т за значимый вклад в развитие профсообщества получили участники DWH/BigData:
· Николай Абрамов (SberData)
· Иван Коньков (SberData)
· Иван Литвин (SberData)
· Антов Логинов (ООО «Датсис»)
· Максим Радионов (SberData)
· Кирилл Пашигорев (SberData)
Коллеги принимали активное участие в жизни комьюнити: выступали на мероприятиях, публиковали статьи на Habr, читали лекции в вузах, разрабатывали треки и тренажеры в Bootcamp и многое другое.
Благодаря вашим усилиям, сообщество стало ещё ярче, сильнее и сплочённее. Продолжайте в том же духе! Мы гордимся и восхищаемся вами!
С уважением,
команда DWH/BigData 💚
🔥12🦄1
Готовимся к Новому году с большими планами 🚀
Друзья, 2024 был масштабным. DWH/BigData росли, развивались и создавали пространство для новых возможностей.
С КАКИМИ ДОСТИЖЕНИЯМИ МЫ ЗАКРЫВАЕМ ГОД
💫 Более 1200 участников,
💫 30+ внутренних и внешних мероприятий, 100+ спикеров
💫 9 статей на Habr
💫 Прочитали курсы в МГТУ, МГУ им, МФТИ, КУ
💫 Bootcamp: обновили модели DE и «Добро пожаловать на Фабрику данных», запустили трек MLE, опубликовали курс-тренажер Hadoop
💫 Зарегистрировали 4 патента, 2 АС в Реестре российского ПО, 10+ заявок в работе
⛄Благодарим всех причастных к жизни комьюнити, тех, кто развивается и растет вместе с нами!
Пусть 2025 станет годом сбывшихся надежд, принесет благополучие и успех, покорение новых вершин и осуществление задуманного! А мы вам в этом поможем:)
С НАСТУПАЮЩИМ НОВЫМ ГОДОМ 🎄🥂❄️
С уважением,
команда DWH/BigData 💚
Друзья, 2024 был масштабным. DWH/BigData росли, развивались и создавали пространство для новых возможностей.
С КАКИМИ ДОСТИЖЕНИЯМИ МЫ ЗАКРЫВАЕМ ГОД
💫 Более 1200 участников,
💫 30+ внутренних и внешних мероприятий, 100+ спикеров
💫 9 статей на Habr
💫 Прочитали курсы в МГТУ, МГУ им, МФТИ, КУ
💫 Bootcamp: обновили модели DE и «Добро пожаловать на Фабрику данных», запустили трек MLE, опубликовали курс-тренажер Hadoop
💫 Зарегистрировали 4 патента, 2 АС в Реестре российского ПО, 10+ заявок в работе
⛄Благодарим всех причастных к жизни комьюнити, тех, кто развивается и растет вместе с нами!
Пусть 2025 станет годом сбывшихся надежд, принесет благополучие и успех, покорение новых вершин и осуществление задуманного! А мы вам в этом поможем:)
С НАСТУПАЮЩИМ НОВЫМ ГОДОМ 🎄🥂❄️
С уважением,
команда DWH/BigData 💚
🎄6🍾5👍2
Первый в этом году выпуск полезных материалов
Друзья, привет!
Мы соскучились за каникулы и возвращаемся к вам не с пустыми руками. Начинаем сразу с тренда, который будет греметь весь год🔥
Участники комьюнити Алина Грибанова и Андрей Литвин (SberData) написали для Habr материал о AI DataChat. Это бот для удобной работы с данными – задавайте вопросы на естественном языке, он сам преобразует их в SQL-запросы и выдаст готовые отчеты.
В тексте – история о том, как коллеги создали AI DataChat и научили его вести диалоги, думать и разбираться в данных.
Заходите почитать и делитесь впечатлениями😊
👉ЧИТАТЬ СТАТЬЮ👈
С уважением,
команда DWH/BigData 💚
Друзья, привет!
Мы соскучились за каникулы и возвращаемся к вам не с пустыми руками. Начинаем сразу с тренда, который будет греметь весь год🔥
Участники комьюнити Алина Грибанова и Андрей Литвин (SberData) написали для Habr материал о AI DataChat. Это бот для удобной работы с данными – задавайте вопросы на естественном языке, он сам преобразует их в SQL-запросы и выдаст готовые отчеты.
В тексте – история о том, как коллеги создали AI DataChat и научили его вести диалоги, думать и разбираться в данных.
Заходите почитать и делитесь впечатлениями😊
👉ЧИТАТЬ СТАТЬЮ👈
С уважением,
команда DWH/BigData 💚
👍7❤1
Мне за эту разработку такую премию дадут…
Друзья, привет!
Приглашаем на первый в новом году митап комьюнити DWH/BigData! Тема – патентование IT-решений.
На митапе узнаем, что можно патентовать и зачем это нужно, как выглядит процесс патентования и кто такие патентные тролли. А также послушаем самих авторов-разработчиков.
С докладами выступят:
- Борис Герасин, руководитель патентной команды Сбера, Блок "GR, правовые вопросы, комплаенс и ДЗО", Правовой департамент;
- Ирина Рачицкая, Блок "Технологическое развитие", Управление исследований и инноваций;
- Владимир Белянкин, SberData, УРКАП.
🗓 30 января
⏰ 15:30-17:30
📍 ОЧНО на Новоданиловской наб., 10к1 СБТ, 2-ой этаж, Грейт Холл
🌐 ОНЛАЙН в SberJazz (ссылка в почте)
Перешли приглашалку коллегам
и получи плюсик в карму!
С уважением,
команда DWH/BigData 💚
Друзья, привет!
Приглашаем на первый в новом году митап комьюнити DWH/BigData! Тема – патентование IT-решений.
С докладами выступят:
- Борис Герасин, руководитель патентной команды Сбера, Блок "GR, правовые вопросы, комплаенс и ДЗО", Правовой департамент;
- Ирина Рачицкая, Блок "Технологическое развитие", Управление исследований и инноваций;
- Владимир Белянкин, SberData, УРКАП.
🗓 30 января
⏰ 15:30-17:30
📍 ОЧНО на Новоданиловской наб., 10к1 СБТ, 2-ой этаж, Грейт Холл
🌐 ОНЛАЙН в SberJazz (ссылка в почте)
Перешли приглашалку коллегам
и получи плюсик в карму!
С уважением,
команда DWH/BigData 💚
🔥3👍2
Друзья, привет!
⏱️ Через 10 минут стартуем в Грейтхолле!
Приходите, будет полезно🔥
⏱️ Через 10 минут стартуем в Грейтхолле!
Приходите, будет полезно🔥
Друзья, привет👋
Приглашаем на митап от активных спикеров комьюнити DWH/BigData.
ПОВЕСТКА:
1. Разработка витрины данных в контейнезированных средах DatalabPRO (Петр Гудков, Кристина Шаронова, Кирилл Богданов, Данияр Утебасов, SberData)
2. Гибридный поиск: продвинутые техники RAG в действии (Далгат Ибрагимов, Виктория Позднякова, SberData)
3. Обработка сигналов для АйболИТ (Андрей Емельянов, Андрей Ветров, Давид Акжолбаев, SberData, Елена Панина, Дирекция "SberF1")
🗓 4 марта
⏰ 15:30-17:00
💻 Онлайн в SberJazz (ссылка в почте)
Перешли приглашалку коллегам
и получи плюсик в карму!
С уважением,
команда DWH/BigData 💚
Приглашаем на митап от активных спикеров комьюнити DWH/BigData.
ПОВЕСТКА:
1. Разработка витрины данных в контейнезированных средах DatalabPRO (Петр Гудков, Кристина Шаронова, Кирилл Богданов, Данияр Утебасов, SberData)
2. Гибридный поиск: продвинутые техники RAG в действии (Далгат Ибрагимов, Виктория Позднякова, SberData)
3. Обработка сигналов для АйболИТ (Андрей Емельянов, Андрей Ветров, Давид Акжолбаев, SberData, Елена Панина, Дирекция "SberF1")
🗓 4 марта
⏰ 15:30-17:00
💻 Онлайн в SberJazz (ссылка в почте)
Перешли приглашалку коллегам
и получи плюсик в карму!
С уважением,
команда DWH/BigData 💚
❤8👍2
SberProfi DWH/BigData
Друзья, привет👋 Приглашаем на митап от активных спикеров комьюнити DWH/BigData. ПОВЕСТКА: 1. Разработка витрины данных в контейнезированных средах DatalabPRO (Петр Гудков, Кристина Шаронова, Кирилл Богданов, Данияр Утебасов, SberData) 2. Гибридный поиск:…
Друзья, привет!
Через 30 минут мы начинаем наш митап. Ссылка на онлайн-подключение есть в календаре😎
Присоединяйтесь и будьте активными!
До скорой встречи:)
Через 30 минут мы начинаем наш митап. Ссылка на онлайн-подключение есть в календаре😎
Присоединяйтесь и будьте активными!
До скорой встречи:)
Привет, комьюнити👋
Мы заметили, что вы тепло встречаете наши митапы и активно участвуете в обсуждениях. Спасибо всем, кто подключился к встрече!
Что было?
⚪ Петр Гудков, Кристина Шаронова, Данияр Утебасов (SberData) подвели итоги миграции с ЛД 3.0 и рассказали о разработке витрины данных в контейнезированных средах DatalabPRO.
⚪ Вопросы гибридного поиска и продвинутых техник RAG осветили Далгат Ибрагимов и Виктория Позднякова (SberData).
⚪ Андрей Емельянов, Андрей Ветров, Давид Акжолбаев (SberData) и Елена Панина, Дирекция "SberF1" поделились опытом автоматизации обработки сигналов для АйболИТ.
Надеемся, что вам было интересно и полезно!
🔗Видеозапись и материалы встречи доступны на канале Сбервидео.
Хотите выступить на следующем митапе? Пишите комьюнити-менеджеру Валерии Смахтиной.
С уважением,
Команда DWH/BigData💚
Мы заметили, что вы тепло встречаете наши митапы и активно участвуете в обсуждениях. Спасибо всем, кто подключился к встрече!
Что было?
⚪ Петр Гудков, Кристина Шаронова, Данияр Утебасов (SberData) подвели итоги миграции с ЛД 3.0 и рассказали о разработке витрины данных в контейнезированных средах DatalabPRO.
⚪ Вопросы гибридного поиска и продвинутых техник RAG осветили Далгат Ибрагимов и Виктория Позднякова (SberData).
⚪ Андрей Емельянов, Андрей Ветров, Давид Акжолбаев (SberData) и Елена Панина, Дирекция "SberF1" поделились опытом автоматизации обработки сигналов для АйболИТ.
Надеемся, что вам было интересно и полезно!
🔗Видеозапись и материалы встречи доступны на канале Сбервидео.
Хотите выступить на следующем митапе? Пишите комьюнити-менеджеру Валерии Смахтиной.
С уважением,
Команда DWH/BigData💚
🔥5
- Какой ваш лучший результат в соревнованиях Google Kaggle?
- Ой, кажется, у меня проблемы со связью
Привет, друзья!
Участники нашего комьюнити из подразделения RnD узнали, как попасть в ТОП 1% соревнования Google Kaggle и занять16 место.
Уже догадались, вком чем секрет?
Достаем двойные листочки и смотрим в СберВидео обзор на Data Science Agent Google Labs. Google Kaggle сам себя не выиграет!
Настало время брать задачи с upwork за 5-50$ - кто в команду по написанию агента?:)
С уважением,
команда DWH/BigData 💚
- Ой, кажется, у меня проблемы со связью
Привет, друзья!
Участники нашего комьюнити из подразделения RnD узнали, как попасть в ТОП 1% соревнования Google Kaggle и занять
Уже догадались, в
Достаем двойные листочки и смотрим в СберВидео обзор на Data Science Agent Google Labs. Google Kaggle сам себя не выиграет!
Настало время брать задачи с upwork за 5-50$ - кто в команду по написанию агента?:)
С уважением,
команда DWH/BigData 💚
👍7
Друзья, привет!
Николай Абрамов и Евгений Видман – участники комьюнити из Управления распространения данных (SberData) с общим стажем в Сбере 13 лет.
Условия для них таковы: нужно учесть особенности жизненного цикла данных в условиях высоконагруженных хранилищ... И таким образом обеспечить поддержку управленческой, обязательной и регуляторной отчетности... А теперь представьте, сколько тут интеграций...
Какое решение они разработали для ETL‑потоков? Читайте в нашей новой статье на Хабре «ETL-потоки «VACUUM FULL».
👉ЧИТАТЬ СТАТЬЮ👈
P.S. Хотите поделиться своими новостями или опубликовать статью? Не стесняйтесь и пишите нашему КМ Валерии Смахтиной.
С уважением,
команда DWH/BigData💚
Николай Абрамов и Евгений Видман – участники комьюнити из Управления распространения данных (SberData) с общим стажем в Сбере 13 лет.
Условия для них таковы: нужно учесть особенности жизненного цикла данных в условиях высоконагруженных хранилищ... И таким образом обеспечить поддержку управленческой, обязательной и регуляторной отчетности... А теперь представьте, сколько тут интеграций...
Какое решение они разработали для ETL‑потоков? Читайте в нашей новой статье на Хабре «ETL-потоки «VACUUM FULL».
👉ЧИТАТЬ СТАТЬЮ👈
P.S. Хотите поделиться своими новостями или опубликовать статью? Не стесняйтесь и пишите нашему КМ Валерии Смахтиной.
С уважением,
команда DWH/BigData💚
👍5❤1
Коллеги, добрый вечер.
Ищем тех, кто решал задачу оптимального подбора параметров (ядра, память для driver&executors) для Spark программ. Интересует именно инструмент автоматизации подбора параметров, а не умения и навык. Этот навык как раз есть )
Если такое решение есть, пожалуйста, напишите в комментариях
Ищем тех, кто решал задачу оптимального подбора параметров (ядра, память для driver&executors) для Spark программ. Интересует именно инструмент автоматизации подбора параметров, а не умения и навык. Этот навык как раз есть )
Если такое решение есть, пожалуйста, напишите в комментариях
Я не ленюсь, это просто стратегия такая
Друзья, привет!
Соскучились по шоу SberData Friday? Открываем новый сезон крутыми спикерами и полезным контентом🔥🔥
Наш гость – повелитель времени и гуру тайм-менеджмента в России Глеб Архангельский👇
🔹 основоположник российской школы тайм-менеджмента;
🔹 автор бестселлеров «Тайм-драйв», «Время. Большая книга тайм-менеджмента», «Удалёнка. Экспресс-курс по работе из дома», «Корпоративный тайм-менеджмент» и др.;
🔹 основатель консалтинговой компании «ТМ-инвест»;
🔹 кандидат экономических наук;
🔹 родился в День Сурка:)
На встрече раскроем секреты эффективного управления IT-проектами, научимся мастерски применять тайм-менеджмент и поговорим о его важнейшем разделе – отдыхе:) Формат - открытый диалог.
Готовы отправиться на прием к таймологу, поделиться наболевшим, вернуть интерес и рабочий настрой? Букируйте в календаре часа полтора, будет не оторваться🚀
📆 28 марта
⏰ 11:00 - 12:00
💻 Онлайн в SberJazz
💬 Задать вопрос
С уважением,
команда DWH/BigData💚
Друзья, привет!
Соскучились по шоу SberData Friday? Открываем новый сезон крутыми спикерами и полезным контентом🔥🔥
Наш гость – повелитель времени и гуру тайм-менеджмента в России Глеб Архангельский👇
🔹 основоположник российской школы тайм-менеджмента;
🔹 автор бестселлеров «Тайм-драйв», «Время. Большая книга тайм-менеджмента», «Удалёнка. Экспресс-курс по работе из дома», «Корпоративный тайм-менеджмент» и др.;
🔹 основатель консалтинговой компании «ТМ-инвест»;
🔹 кандидат экономических наук;
🔹 родился в День Сурка:)
На встрече раскроем секреты эффективного управления IT-проектами, научимся мастерски применять тайм-менеджмент и поговорим о его важнейшем разделе – отдыхе:) Формат - открытый диалог.
Готовы отправиться на прием к таймологу, поделиться наболевшим, вернуть интерес и рабочий настрой? Букируйте в календаре часа полтора, будет не оторваться🚀
📆 28 марта
⏰ 11:00 - 12:00
💻 Онлайн в SberJazz
💬 Задать вопрос
С уважением,
команда DWH/BigData💚
❤4👍1🔥1👏1
❗Срочные новости: SberData вошла в ТОП 3 сильнейшие команды по итогам хакатона!
В команду SDP Лангчейнеры вошли Далгат Ибрагимов, Андрей Литвин, Алина Грибанова, София Филимонова, кстати, все участники нашего комьюнити 😎 По итогам текущего этапа хакатона ребята заняли 3 место из 120 команд и 500+ участников!!
Их проект SberHound - мультимодальный контентный поиск в группах и каналах SberChat. Бот умет быстро и точно находить видео, презентации, фотографии и т.д. 🔥
Желаем Далгату, Андрею, Алине и Софии удачи и прорывных идей!
С уважением,
команда DWH/BigData💚
В команду SDP Лангчейнеры вошли Далгат Ибрагимов, Андрей Литвин, Алина Грибанова, София Филимонова, кстати, все участники нашего комьюнити 😎 По итогам текущего этапа хакатона ребята заняли 3 место из 120 команд и 500+ участников!!
Их проект SberHound - мультимодальный контентный поиск в группах и каналах SberChat. Бот умет быстро и точно находить видео, презентации, фотографии и т.д. 🔥
Желаем Далгату, Андрею, Алине и Софии удачи и прорывных идей!
С уважением,
команда DWH/BigData💚
🔥16❤13🤯3