SberProfi DWH/BigData
1.08K subscribers
346 photos
9 videos
371 links
Telegram-канал SberProfi DWH/BigData 💚
Наш чат: https://t.iss.one/+6Vc_rNMJl8MzYzcy
Наша миссия: развивать компетенции по технологиям работы с данными, например, такими, как экосистема Hadoop, Teradata, Oracle DB, GreenPlum и др.
Download Telegram
Друзья, привет!

С 1 марта мы отключаем глобальный поиск в Супермаркете данных (СМД). Это первый этап перехода на единую платформу – Дататеку!

Почему так?
 
Поиск в СМД не отвечает сегодняшним технологическим стандартам. Дататека– это современная экосистема с новыми возможностями: поиск на естественном языке, AI-рекомендации, поиск в КАП и вне КАП и др. См. видео обзор (5 мин).

Что будет в СМД?
 
Останется фильтрация внутри разделов каталога, но основной поиск будет только в Дататеке.
 
А подписки?
 
🔹В Дататеке уже работает быстрый заказ для ключевых сценариев.
🔹До конца марта добавим заказ через корзину для прокси-подписок в ЛД.
🔹Остальные сценарии подтянем постепенно — мы же Sbergile:)
 
Начните пользоваться Дататекой уже сейчас! 👉 Сигма | 👉 Омега
 
С уважением,
команда DWH/BigData💚
👍3
Друзья, привет!

Спрос на современные решения в области работы с данными продолжает расти.

🔥 Команда SberData развивает и внедряет принципиально новое семейство хранения табличных данных, которое значительно улучшает возможности файловых хранилищ, – Open Table Formats (OTF).

Этот подход помогает получить все возможности классической СУБД, не отказываясь при этом от мощи, масштабируемости и экономичности облачного хранения😎

На прошедшем митапе разобрали архитектуру и особенности OTF, а также провели демо.

🔗 Материалы встречи доступны на M-App.
🔗 По техническим причинам видеозапись еще в работе, непременно сообщим о готовности🙏

Увидимся на следующих митапах по OTF!

С уважением,
команда DWH/BigData💚
🔥32
Друзья, привет!

Напоминаем вам о DataAPI - внутреннем API, позволяющем агентам получать данные КАП по фиксированным SQL запросам.

В декабре коллеги завершили пилот с блоком КИБ, который на практике подтвердил. Итог: подключенный агент прошел путь от публикации API до стабильной работы в ПРОМ.

Метрики пилота:

🔹Публикация нового DataAPI для Агента (вывод API в ПРОМ) - 5 рабочих дней;
🔹Среднее время ответа DataAPI Edge - ~35 мс на запрос (на данных 90 тыс. строк).

Что дает DataAPI:

🔹Работа с данными на разных тех.стеках: Hadoop, GreenPlum, Pangolin, ClickHouse.
🔹Готовое решение, разработанное с соблюдением требований ДКА и ДКБ.
🔹Предоставление данных агентам, размещённым в контурах Alpha и Sigma.
🔹Возможность публикации готового API в Function Registry.

И главное - всё это не в теории, а в рамках реального пилота.

Подключиться к DataAPI.
Вступить в круг.

С уважением,
команда DWH/BigData💚
👍1
Сотканы из разных историй

Друзья, привет!

Каждый день наши активисты не только побеждают на переднем крае BigData и AI, но и достигают высот в спорте, учебе, проектной деятельности.

❄️❄️8 февраля в Санкт-Петербурге прошел десятый «Кубок Большой Невы» по зимнему плаванию.

Участник комьюнити, исполнительный директор по исследованию данных SberData Сергей Кочетков собрал полный набор медалей в пяти дисциплинах: три золота, серебро и бронзу🥇

Поздравляем Сергея с победой и желаем удачи в подготовке к предстоящим соревнованиям!

Для выработки порции дофамина читайте интервью Сергея в канале СберСпорта (ссылка).

Делитесь в комментариях вашими увлечениями и достижениями😉

С уважением,
команда DWH/BigData💚
🔥7🏆5👍31
Мы знаем, вы этого ждали:)

Друзья, привет!

Стартовал новый «сезон» выступлений наших участников на внешних конференциях.
 
Первым событием стала конференция «Качество данных». Ирина Шахтарина из команды витрин данных для СБОЛ рассказала о ключевых показателях качества данных для бизнеса.

Следующим знаковым событием февраля стала конференция T-Sync Conf от Т-Банка. Иван Ласьков и Егор Жарков (SberData) провели масштабное демо вычислений на больших данных в Serverless Engine. Напомним, это автомасштабируемый кластер Flink в k8s для аналитики на реальных потоковых данных через SQL интерфейс. 

Благодарим коллег за экспертные выступления и живые кейсы:)

🚀  Тоже хочешь выступить на внешней конференции и заявить о себе в профессиональном сообществе?

🔹Подавай заявку (список конференций на M-App);
🔹Расскажи нам, и мы поможем на каждом этапе:) 

С уважением,
команда DWH/BigData 💚
🔥51
Врываемся в весну!

Друзья, привет!

🚀Приглашаем вас на очередной митап сообщества! Тема - Lineage и периметры доступа.

Поговорим о том, как увязать проектирование, разработку и исполнение в единый механизм и защитить периметр. 

🗓 5 марта
15:00-16:00
💻 ‎Онлайн в SberJazz, ссылка в почте и СберЧате
🎤 Спикер – Сергей Смирнов, Департамент корпоративной архитектуры

Пора развиваться и получать новые знания:) Будет технично, интересно и очень полезно.

🔥 – если чувствуете весну и рветесь навстречу успеху.

 С уважением,
команда DWH/BigData 💚