SberProfi DWH/BigData
1.06K subscribers
324 photos
9 videos
362 links
Telegram-канал SberProfi DWH/BigData 💚
Наш чат: https://t.iss.one/+6Vc_rNMJl8MzYzcy
Наша миссия: развивать компетенции по технологиям работы с данными, например, такими, как экосистема Hadoop, Teradata, Oracle DB, GreenPlum и др.
Download Telegram
30 ноября прошел «Осенний бигдатник», на котором наш эксперт Сергей Смирнов представил сразу два доклада:
 
- Введение в потоковую обработку данных с примерами на Apache Flink;
- Streamhouse Architecture - единообразный способ работы с пакетными и потоковыми данными.
 
"У многих сейчас стоит задача перейти на что-то новое. И публика разбилась на две возрастные (!) группы. Одни интересовались преимуществами стриминга, другие спрашивали, почему лучше остаться на существующем стеке и текущих решениях", - подчеркнул
Сергей Смирнов.

 
Благодарим Сергея за активность и представление интересов Сбера на внешней площадке!
 
Ставь 🔥, если придешь на митап по концепции Streamhouse!
 
С уважением,
команда DWH/BigData 💚
🔥7👍3
ДЛЯ ТЕХ, КТО УЧИТСЯ И УЧИТ

Друзья, привет!

Только посмотрите, сколько курсов, программ обучения, видеороликов и компактных обзоров разработали коллеги. Вы можете так же!

Вместе с командой SberData приглашаем вас создавать обучающие решения для команд D-people!

Что мы предлагаем:

- Переложить ваш опыт в формат курсов, мини-курсов или видео
- Систематизировать и упаковать ваши материалы для обучения коллег
- Разработать тесты, которые помогут проверять знания и навыки

Как участвовать?

- Напишите в комментариях к этому посту о своем уникальном опыте или знаниях, которыми важно поделиться
- Свяжитесь с экспертом комьюнити Владимиром Фадеевым

Подробности и примеры ищите по внутренней ссылке.

Поторопитесь, старт проекту уже дан! И не забудьте поделиться этим постом с друзьями, им тоже будет полезно😊

С уважением,
команда DWH/BigData 💚
🔥6👍41
Друзья, привет!
 
На Хабре вышел новый материал о способах проверки качества данных после миграции с Teradata на Greenplum. Читаем вместе🔥
 
О своем опыте и результатах кросс‑платформенной проверки качества данных во время и после миграции, а также о трудностях и решениях рассказали участники комьюнити Николай Абрамов и Евгений Видман (SberData).
 
👉ЧИТАТЬ СТАТЬЮ👈

P.S. Полезные ссылки для тех, кто пропустил предыдущие статьи цикла:

- Конвертация в один клик! Как перенести код из Teradata в GreenPlum без лишних затрат и усилий
- Как мы перенесли архив данных из Teradata в GreenPlum с помощью Hadoop и PXF

P.P.S. Если у вас тоже есть материал или идея статьи, напишите нам😊
 
С уважением,
команда DWH/BigData 💚
🔥6
Друзья, привет!
 
Когда для Деда Мороза вы уже большие… подарки дарит комьюнити 🎁
 
Благодарности Блока Т за значимый вклад в развитие профсообщества получили участники DWH/BigData:
 
· Николай Абрамов (SberData)
· Иван Коньков (SberData)
· Иван Литвин (SberData)
· Антов Логинов (ООО «Датсис»)
· Максим Радионов (SberData)
· Кирилл Пашигорев (SberData)
 
Коллеги принимали активное участие в жизни комьюнити: выступали на мероприятиях, публиковали статьи на Habr, читали лекции в вузах, разрабатывали треки и тренажеры в Bootcamp и многое другое.
 
Благодаря вашим усилиям, сообщество стало ещё ярче, сильнее и сплочённее. Продолжайте в том же духе! Мы гордимся и восхищаемся вами!


С уважением,
команда DWH/BigData 💚
🔥12🦄1
Готовимся к Новому году с большими планами 🚀
 
Друзья, 2024 был масштабным. DWH/BigData росли, развивались и создавали пространство для новых возможностей.
 
С КАКИМИ ДОСТИЖЕНИЯМИ МЫ ЗАКРЫВАЕМ ГОД
 
💫 Более 1200 участников,
💫 30+ внутренних и внешних мероприятий, 100+ спикеров
💫 9 статей на Habr
💫 Прочитали курсы в МГТУ, МГУ им, МФТИ, КУ
💫 Bootcamp: обновили модели DE и «Добро пожаловать на Фабрику данных», запустили трек MLE, опубликовали курс-тренажер Hadoop
💫 Зарегистрировали 4 патента, 2 АС в Реестре российского ПО, 10+ заявок в работе
 
Благодарим всех причастных к жизни комьюнити, тех, кто развивается и растет вместе с нами!
 
Пусть 2025 станет годом сбывшихся надежд, принесет благополучие и успех, покорение новых вершин и осуществление задуманного! А мы вам в этом поможем:)
 
С НАСТУПАЮЩИМ НОВЫМ ГОДОМ 🎄🥂❄️
 
С уважением,
команда DWH/BigData 💚
🎄6🍾5👍2
Первый в этом году выпуск полезных материалов

Друзья, привет!

Мы соскучились за каникулы и возвращаемся к вам не с пустыми руками. Начинаем сразу с тренда, который будет греметь весь год🔥

Участники комьюнити Алина Грибанова и Андрей Литвин (SberData) написали для Habr материал о AI DataChat. Это бот для удобной работы с данными – задавайте вопросы на естественном языке, он сам преобразует их в SQL-запросы и выдаст готовые отчеты.

В тексте – история о том, как коллеги создали AI DataChat и научили его вести диалоги, думать и разбираться в данных.

Заходите почитать и делитесь впечатлениями😊

👉ЧИТАТЬ СТАТЬЮ👈

С уважением,
команда DWH/BigData 💚
👍71
Мне за эту разработку такую премию дадут…
 
Друзья, привет!
 
Приглашаем на первый в новом году митап комьюнити DWH/BigData! Тема – патентование IT-решений.
 
На митапе узнаем, что можно патентовать и зачем это нужно, как выглядит процесс патентования и кто такие патентные тролли. А также послушаем самих авторов-разработчиков.

С докладами выступят:
- Борис Герасин, руководитель патентной команды Сбера, Блок "GR, правовые вопросы, комплаенс и ДЗО", Правовой департамент;
- Ирина Рачицкая, Блок "Технологическое развитие", Управление исследований и инноваций;
- Владимир Белянкин, SberData, УРКАП.
 
🗓 30 января
15:30-17:30
📍 ОЧНО
на Новоданиловской наб., 10к1 СБТ, 2-ой этаж, Грейт Холл
🌐 ОНЛАЙН в SberJazz (ссылка в почте)
 
Перешли приглашалку коллегам
и получи плюсик в карму!
 
С уважением,
команда DWH/BigData 💚
🔥3👍2
Друзья, привет!

⏱️ Через 10 минут стартуем в Грейтхолле!

Приходите, будет полезно🔥
Вопросы направляйте по QR-коду в трансляции или по ссылке:)
Друзья, привет👋

Приглашаем на митап от активных спикеров комьюнити DWH/BigData.

ПОВЕСТКА:

1. Разработка витрины данных в контейнезированных средах DatalabPRO (Петр Гудков, Кристина Шаронова, Кирилл Богданов, Данияр Утебасов, SberData)
2. Гибридный поиск: продвинутые техники RAG в действии (Далгат Ибрагимов, Виктория Позднякова, SberData)
3. Обработка сигналов для АйболИТ (Андрей Емельянов, Андрей Ветров, Давид Акжолбаев, SberData, Елена Панина, Дирекция "SberF1")

🗓 4 марта
15:30-17:00
💻 Онлайн в SberJazz (ссылка в почте)


Перешли приглашалку коллегам
и получи плюсик в карму!

С уважением,
команда DWH/BigData 💚
8👍2
Привет, комьюнити👋

Мы заметили, что вы тепло встречаете наши митапы и активно участвуете в обсуждениях. Спасибо всем, кто подключился к встрече!

Что было?

Петр Гудков, Кристина Шаронова, Данияр Утебасов (SberData) подвели итоги миграции с ЛД 3.0 и рассказали о разработке витрины данных в контейнезированных средах DatalabPRO.
Вопросы гибридного поиска и продвинутых техник RAG осветили Далгат Ибрагимов и Виктория Позднякова (SberData).
Андрей Емельянов, Андрей Ветров, Давид Акжолбаев (SberData) и Елена Панина, Дирекция "SberF1" поделились опытом автоматизации обработки сигналов для АйболИТ.

Надеемся, что вам было интересно и полезно!

🔗Видеозапись и материалы встречи доступны на канале Сбервидео.

Хотите выступить на следующем митапе? Пишите комьюнити-менеджеру Валерии Смахтиной.

С уважением,
Команда DWH/BigData💚
🔥5
- Какой ваш лучший результат в соревнованиях Google Kaggle?
- Ой, кажется, у меня проблемы со связью

 
Привет, друзья!
 
Участники нашего комьюнити из подразделения RnD узнали, как попасть в ТОП 1% соревнования Google Kaggle и занять 16 место.
 
Уже догадались, в ком чем секрет?
 
Достаем двойные листочки и смотрим в СберВидео обзор на Data Science Agent Google Labs. Google Kaggle сам себя не выиграет!
 
Настало время брать задачи с upwork за 5-50$ - кто в команду по написанию агента?:)

С уважением,
команда DWH/BigData 💚
👍7
Друзья, привет!

Николай Абрамов и Евгений Видман – участники комьюнити из Управления распространения данных (SberData) с общим стажем в Сбере 13 лет.

Условия для них таковы: нужно учесть особенности жизненного цикла данных в условиях высоконагруженных хранилищ... И таким образом обеспечить поддержку управленческой, обязательной и регуляторной отчетности... А теперь представьте, сколько тут интеграций...

Какое решение они разработали для ETL‑потоков? Читайте в нашей новой статье на Хабре «ETL-потоки «VACUUM FULL».

👉ЧИТАТЬ СТАТЬЮ👈

P.S. Хотите поделиться своими новостями или опубликовать статью? Не стесняйтесь и пишите нашему КМ Валерии Смахтиной.

С уважением,
команда DWH/BigData💚
👍51
Коллеги, добрый вечер.
Ищем тех, кто решал задачу оптимального подбора параметров (ядра, память для driver&executors) для Spark программ. Интересует именно инструмент автоматизации подбора параметров, а не умения и навык. Этот навык как раз есть )

Если такое решение есть, пожалуйста, напишите в комментариях
Я не ленюсь, это просто стратегия такая

Друзья, привет!

Соскучились по шоу SberData Friday? Открываем новый сезон крутыми спикерами и полезным контентом🔥🔥

Наш гость – повелитель времени и гуру тайм-менеджмента в России Глеб Архангельский👇

🔹 основоположник российской школы тайм-менеджмента;
🔹 автор бестселлеров «Тайм-драйв», «Время. Большая книга тайм-менеджмента», «Удалёнка. Экспресс-курс по работе из дома», «Корпоративный тайм-менеджмент» и др.;
🔹 основатель консалтинговой компании «ТМ-инвест»;
🔹 кандидат экономических наук;
🔹 родился в День Сурка:)

На встрече раскроем секреты эффективного управления IT-проектами, научимся мастерски применять тайм-менеджмент и поговорим о его важнейшем разделе – отдыхе:) Формат - открытый диалог.

Готовы отправиться на прием к таймологу, поделиться наболевшим, вернуть интерес и рабочий настрой? Букируйте в календаре часа полтора, будет не оторваться🚀

📆 28 марта
11:00 - 12:00
💻 Онлайн в SberJazz
💬 Задать вопрос

С уважением,
команда DWH/BigData💚
4👍1🔥1👏1
Срочные новости: SberData вошла в ТОП 3 сильнейшие команды по итогам хакатона!

В команду SDP Лангчейнеры вошли Далгат Ибрагимов, Андрей Литвин, Алина Грибанова, София Филимонова, кстати, все участники нашего комьюнити 😎 По итогам текущего этапа хакатона ребята заняли 3 место из 120 команд и 500+ участников!!

Их проект SberHound - мультимодальный контентный поиск в группах и каналах SberChat. Бот умет быстро и точно находить видео, презентации, фотографии и т.д. 🔥

Желаем Далгату, Андрею, Алине и Софии удачи и прорывных идей!

С уважением,
команда DWH/BigData💚
🔥1613🤯3