SberProfi DWH/BigData
1.06K subscribers
325 photos
9 videos
363 links
Telegram-канал SberProfi DWH/BigData 💚
Наш чат: https://t.iss.one/+6Vc_rNMJl8MzYzcy
Наша миссия: развивать компетенции по технологиям работы с данными, например, такими, как экосистема Hadoop, Teradata, Oracle DB, GreenPlum и др.
Download Telegram
Друзья, привет!
Надеемся, вас сегодня не замело ❄️!

Спешим поделиться с вами отличной новостью.

На этой неделе 6 - 8 декабря состоится бесплатная online-конференция PyData Global 2023.

На ней будут представлены порядка 100 докладов по темам: Data, Machine Learning, General, Visualization, LLM.

Зарегистрироваться
на конференцию можно совершенно бесплатно
👉 тут 👈 (в графе цена оставляем 0).

А расписание можно посмотреть 👉 тут 👈.


С уважением,
команда DWH/BigData 💚
👍31🔥1
Коллеги, привет! ☃️

Год еще не закончился, а мы уже подготовили перечень внешних мероприятий на 2024!
Вот такие мы молодцы, вот так мы любим работать 😊👏🏻.

Осталось несколько профильных имиджевых конференций, на которые разыскиваются спикеры 🔽:

🔸 04-05.03.2024 - конференция DevOpsConf 2024 (Москва)

🔸 июнь 2024 - Saint HighLoad++ (Санкт-Петербург)

🔸 15-16.11.2024 - конференция Merge (Москва)

Если у вас есть актуальная тема доклада для упомянутых выше мероприятий, вы хотите прокачать личный бренд и ораторское искусство, непременно пишите об этом нашему комьюнити-менеджеру Бэлле @gbella1505.

Напоминаем, что команда сообщества вносит посильный вклад в то, чтобы процесс от выбора темы доклада до заявки на участие прошел для спикера максимально бесшовно.

Помощь в согласовании материалов, пробрифовку спикера и оплату его доклада* (если она требуется) берет на себя SberProfi DWH/BigData.


*Оплата спикерства возможна только для сотрудников SberData (для этой цели используется бюджет департамента, в котором базируется ядро комьюнити).


С уважением,
команда DWH/BigData 💚
🔥21
Друзья, привет! ☃️

Мы всегда с особой гордостью делимся успехами и достижениями коллег! 🥇

Сегодня хотим рассказать о митапе VK Data Meetup, где нас представили участники SberProfi DWH/BigData Ермекбаев Заур, Техлид направления SDP Hadoop и по совместительству лидер стрима комьюнити Compute&Storagе, и Дмитриев Игорь, Корпоративный архитектор аналитической платформы Сбера.

О том, как разделить Compute&Sorage в Hadoop и не утонуть в лавине миграций, ребята рассказали в своем докладе, который можно запросить у самих спикеров (или лидера сообщества архитекторов Крысанова Евгения 😎).

Очень здорово, что мы так часто заявляем о себе на внешнем рынке!

Кстати, не забывайте, пожалуйста, что мы еще принимаем заявки на спикерство в конференциях (сообщение от 13.12.2023) 🎤.


С уважением,
команда DWH/BigData 💚
🔥111
Дорогие друзья! ❄️☃️

Совсем скоро мы окунемся в предновогоднюю суету – поучаствуем во флешмобах под названием «10-бальные пробки» ради покупки лучших подарков своим близким 🎁 , будем отчаянно скупать продукты для новогоднего стола 🫛🍍🫒🥂, слегка залипнем в телевизор за просмотром советских тематических фильмов, которые смотрели уже тысячу раз (и еще тысячу посмотрим).

Именно поэтому не хочется говорить о том, каким непростым был уходящий год.
Знаете, если не фокусироваться на сложностях, или, по крайней мере, относиться к ним проще, можно достичь очень больших высот!
Известному писателю Вадиму Зеланду принадлежит цитата: «Пессимист видит трудности в каждой возможности. Оптимист видит возможность в каждой трудности».

Я не случайно ее привел – команда нашего комьюнити – это, в первую очередь, команда оптимистов, иначе как объяснить, что за 2023 год мы проделали такую работу?

Смотрите сами: 15 митапов, 8 внешних выступлений, 5 дайджестов, 3 курса для КУ, 2 выпуска шоу SberData Friday, 2 экспертные площадки, 1 круглый стол и 1 лекционный курс в вузе-партнере.

Отдельно хочется поделиться тем, что мы перешагнули отметку в 1000 участников (сейчас нас 1027), провели ребрендинг комьюнити, ввели новый стрим (MLE), обновили обучающие подборки в Confluence, продолжили подсветку внутренних обучений в КУ и международных онлайн-конференций, появились в ЕСР (чтобы радовать вас красочными e-mail-рассылками), а также начали работу над публикацией нескольких статей на Habr, которые мы анонсируем уже в новом году.

Все перечисленные активности – залог слаженной работы пула инициативных участников сообщества!

От лица команды SberProfi DWH/BigData я поздравляю каждого и каждую из вас с наступающими праздниками – Новым годом и Рождеством – и желаю главного – здоровья и благополучия!
Надеюсь, зимние каникулы вы проведете в кругу любимых, дорогих вам людей, зарядитесь энергией и позитивом!
Помните – чудеса случаются с теми, кто в них верит 🎄.

До встречи в новом году!


С уважением,
Илья Поздняков
6🎉6👍1
Друзья,
наши коллеги из Блока «Сеть продаж» разработали собственные объекты визуализации, которые могут частично заменить использование Vizlib в рамках Qlik Sense.

Продукт был презентован 18.12.
Посмотреть запись демо можно по ссылке 🍿.


С уважением,
команда DWH/BigData 💚
Please open Telegram to view this post
VIEW IN TELEGRAM
2
Сегодня мы очень активны в канале 🔋!

Ловите 3-й пост за день (а завтра, обещаем, будете от нас отдыхать 🫶).

Команда R‘n‘D SberData возвращается с рубрикой #втренде и представляет подборку про LLM 👏:


🙂 SEC Insights
Имплементация LlamaIndex-приложения для работы с финансовой отчетностью компаний США (10-К и 10-Q)

🙂 RunGPT
Помогает масштабировать (вверх и вниз) LLM на пул GPU. Типа бессерверные LLM. Возможно применить в AI Дата Лабе для более эффективного использования нескольких LLM

🙂 HeimdaLLM
Валидация структурированного вывода от LLM. Пока поддерживает только SQL

📝 Специально для промпт-инженеров:

🙂 Pezzo
🙂 Microsoft Prompt flow

Управлять версиями промптов, искать ошибки, мониторить выполнение и коллабиться с коллегами. 👉 Такие тулы очень важны для обеспечения работоспособности промптов, например, впоследствии обновлений GigaChat или других LLM под капотом


С уважением,
команда DWH/BigData 💚
Please open Telegram to view this post
VIEW IN TELEGRAM
👍43
Please open Telegram to view this post
VIEW IN TELEGRAM
😁16🎄31🥱1
Дорогие друзья! 🧰

В это сложно поверить, но наши новогодние каникулы подошли к концу, и все мы стройными рядами вышли на работу.
Чтобы не было так грустно, приглашаем вас на первый митап нашего комьюнити в новом году.

Коллеги из SberWorks подготовили интересное решение, которые призвано облегчить жизнь многим СБЕРовцам, - площадку по обмену опытом SberOverFlow.
Про него нам и расскажут :)

✏️ Тема:
Решение рабочих задач на базе SberOverFlow

🗣️: Спикеры:
Беляева А., Вахминова Ю., Крехов А. (SberWorks)

🗓️ 16.01
15:00-16:00
💌 Приглашалку ищите в почте


С уважением,
команда DWH/BigData 💚
👍4🔥1
Новая подборка полезных инструментов для работы с данными от команды R’n’D SberData #втренде

⚡️ Compage
Для визуальной low-code разработки cloud-native backend приложений ☁️ От IntelOps.

⚡️ Fractl
Это “ultra high-level data-oriented, declarative programming language” 👾 Позиционируют себя как мостик между code и low-code.
Коллеги ЕСС, обратите внимание!

⚡️ SpacetimeDB
Забудьте про кубер, докер и виртуалки. Выполняйте код прямо в БД! 😎 Есть демо-игра из фронта и БД и никакого бэкенда.

⚡️ ScratchDB
По сути это Open source Snowflake поверх ClickHouse. Serverless ❤️



С уважением,
команда DWH/BigData 💚
Please open Telegram to view this post
VIEW IN TELEGRAM
👍4
SberProfi DWH/BigData
Дорогие друзья! 🧰 В это сложно поверить, но наши новогодние каникулы подошли к концу, и все мы стройными рядами вышли на работу. Чтобы не было так грустно, приглашаем вас на первый митап нашего комьюнити в новом году. Коллеги из SberWorks подготовили интересное…
Дорогие коллеги! ❄️

По техническим причинам мы вынуждены перенести митап с 16-го января на 22-е.

Пожалуйста, удалите из календаря старую приглашалку и примите новую! 🙏.



С уважением,
команда DWH/BigData 💚
Please open Telegram to view this post
VIEW IN TELEGRAM
Друзья, привет! 🐾

Наши коллеги из Управления развития технологий искусственного интеллекта и машинного обучения (SberData) и СберУниверситета совместными усилиями разработали и опубликовали в Пульсе онлайн-курс для начинающих сотрудников, в обязанности которых входит внедрение моделей в промышленную эксплуатацию: Инструменты ML-инженера для внедрения AI-моделей в промышленные среды.

✏️ При создании курса авторы уделили особое внимание техническим аспектам подготовки модели к запуску в продакшен-среде.

В фокусе внимания программы находятся MEF и ПИМ – инструменты, обеспечивающие сборку, deployment и эксплуатацию модели.

Стоит отметить, что курс содержит не только теоретический контент, но и практику.

По итогам обучения участники смогут внедрять модели ИИ в промышленную среду с использованием инструментов MLOps.

👥 Над курсом трудилась дружная команда Исследования данных под руководством Сергея Кочеткова в составе экспертов: Тузбекова Альберта, Глушкова Романа, Богданова Кирилла, Литвина Андрея, Ветров Андрея, имеющих практический опыт внедрения моделей.



С уважением,
команда DWH/BigData 💚
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥14👍43
Друзья, привет!

(Обращаемся к коллегам из SberData):
Ребята, очень нужны ваши голоса (строго до завтра 👉):

пожалуйста, пройдите наш первый коммуникацинный опрос, чтобы мы понимали, каких новостей вы хотите видеть больше, а также направляли вам breaking news Департамента с классным контентом!

👉 ПРОЙТИ ОПРОС 👈



С уважением,
команда DWH/BigData 💚
Please open Telegram to view this post
VIEW IN TELEGRAM
1
#втренде

🔥🔥🔥 Apache Gluten
Только на днях вошел в Apache инкубатор - это middle layer, который ускоряет Spark, Flink, ClickHouse и Trino.

🔥🔥 Apache HoraeDB
Распределенная cloud-native БД с гибридным хранением для аналитических и time-series нагрузок. Месяц назад попала в Apache инкубатор.

🔥 Apache Fury
Фреймворк для сериализации, работает по принципу zero-copy. До 170x быстрее protobuf, protostuff, Kryo, Hession, поддерживает Scala.

🔥 DoltgreSQL
Интересная концепция - версионный контроль над PostgreSQL в стиле git, т.е. log, diff, branch и merge над схемами и таблицами.

🔥 Kurtosis
Экосистема для упаковки приложений и их окружений для запуска в докере, кубере и других. Что docker для бинарников, то Kurtosis для распределенных приложений. Особенно годится для web3.

🔥 Alaz
eBPF агент для низкоуровневого мониторинга трафика k8s. Может на основании наблюдений создать карту сервисов. Не нужно использовать такие лайфхаки как sidecar и перезагрузки.



С уважением,
команда DWH/BigData 💚
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥91
Коллеги, привет! 🤟

2024 только начался, а мы уже расписали его первую половину под внешние конференции 🎆.

Сейчас находимся в активном поиске спикеров на такие профильные конференции, как:

✔️ конференция С++ (22-23.05)
✔️ конференция Saint HighLoad++ (20-21.06)
✔️ конференция HighLoad++ (ноябрь 2024)

Заявки на данные мероприятия принимаются задолго до дня Х, поэтому если вы хотите выступить с докладом, пожалуйста, примите решение в ближайшее время и напишите от этом нашему КМ @gbella1505 🩷.



С уважением,
команда DWH/BigData 💚
Please open Telegram to view this post
VIEW IN TELEGRAM
SberProfi DWH/BigData pinned «Коллеги, привет! 🤟 2024 только начался, а мы уже расписали его первую половину под внешние конференции 🎆. Сейчас находимся в активном поиске спикеров на такие профильные конференции, как: ✔️ конференция С++ (22-23.05) ✔️ конференция Saint HighLoad++ (20…»