Сегодня мы очень активны в канале 🔋!

Ловите 3-й пост за день (а завтра, обещаем, будете от нас отдыхать 🫶).

Команда R‘n‘D SberData возвращается с рубрикой #втренде и представляет подборку про LLM 👏:


🙂 SEC Insights
Имплементация LlamaIndex-приложения для работы с финансовой отчетностью компаний США (10-К и 10-Q)

🙂 RunGPT
Помогает масштабировать (вверх и вниз) LLM на пул GPU. Типа бессерверные LLM. Возможно применить в AI Дата Лабе для более эффективного использования нескольких LLM

🙂 HeimdaLLM
Валидация структурированного вывода от LLM. Пока поддерживает только SQL

📝 Специально для промпт-инженеров:

🙂 Pezzo
🙂 Microsoft Prompt flow

Управлять версиями промптов, искать ошибки, мониторить выполнение и коллабиться с коллегами. 👉 Такие тулы очень важны для обеспечения работоспособности промптов, например, впоследствии обновлений GigaChat или других LLM под капотом


С уважением,
команда DWH/BigData 💚

#пятничный_мем_dwhbigdata 🎄

Новая подборка полезных инструментов для работы с данными от команды R’n’D SberData #втренде

⚡️ Compage
Для визуальной low-code разработки cloud-native backend приложений ☁️ От IntelOps.

⚡️ Fractl
Это “ultra high-level data-oriented, declarative programming language” 👾 Позиционируют себя как мостик между code и low-code.
Коллеги ЕСС, обратите внимание!

⚡️ SpacetimeDB
Забудьте про кубер, докер и виртуалки. Выполняйте код прямо в БД! 😎 Есть демо-игра из фронта и БД и никакого бэкенда.

⚡️ ScratchDB
По сути это Open source Snowflake поверх ClickHouse. Serverless ❤️



С уважением,
команда DWH/BigData 💚

Дорогие коллеги! ❄️

По техническим причинам мы вынуждены перенести митап с 16-го января на 22-е.

Пожалуйста, удалите из календаря старую приглашалку и примите новую! 🙏.



С уважением,
команда DWH/BigData 💚

Друзья, привет! 🐾

Наши коллеги из Управления развития технологий искусственного интеллекта и машинного обучения (SberData) и СберУниверситета совместными усилиями разработали и опубликовали в Пульсе онлайн-курс для начинающих сотрудников, в обязанности которых входит внедрение моделей в промышленную эксплуатацию: Инструменты ML-инженера для внедрения AI-моделей в промышленные среды.

✏️ При создании курса авторы уделили особое внимание техническим аспектам подготовки модели к запуску в продакшен-среде.

В фокусе внимания программы находятся MEF и ПИМ – инструменты, обеспечивающие сборку, deployment и эксплуатацию модели.

❕Стоит отметить, что курс содержит не только теоретический контент, но и практику.

По итогам обучения участники смогут внедрять модели ИИ в промышленную среду с использованием инструментов MLOps.

👥 Над курсом трудилась дружная команда Исследования данных под руководством Сергея Кочеткова в составе экспертов: Тузбекова Альберта, Глушкова Романа, Богданова Кирилла, Литвина Андрея, Ветров Андрея, имеющих практический опыт внедрения моделей.



С уважением,
команда DWH/BigData 💚

Друзья, привет!

(Обращаемся к коллегам из SberData):
Ребята, очень нужны ваши голоса (строго до завтра 👉):

пожалуйста, пройдите наш первый коммуникацинный опрос, чтобы мы понимали, каких новостей вы хотите видеть больше, а также направляли вам breaking news Департамента с классным контентом!

👉 ПРОЙТИ ОПРОС 👈



С уважением,
команда DWH/BigData 💚

#втренде

🔥🔥🔥 Apache Gluten
Только на днях вошел в Apache инкубатор - это middle layer, который ускоряет Spark, Flink, ClickHouse и Trino.

🔥🔥 Apache HoraeDB
Распределенная cloud-native БД с гибридным хранением для аналитических и time-series нагрузок. Месяц назад попала в Apache инкубатор.

🔥 Apache Fury
Фреймворк для сериализации, работает по принципу zero-copy. До 170x быстрее protobuf, protostuff, Kryo, Hession, поддерживает Scala.

🔥 DoltgreSQL
Интересная концепция - версионный контроль над PostgreSQL в стиле git, т.е. log, diff, branch и merge над схемами и таблицами.

🔥 Kurtosis
Экосистема для упаковки приложений и их окружений для запуска в докере, кубере и других. Что docker для бинарников, то Kurtosis для распределенных приложений. Особенно годится для web3.

🔥 Alaz
eBPF агент для низкоуровневого мониторинга трафика k8s. Может на основании наблюдений создать карту сервисов. Не нужно использовать такие лайфхаки как sidecar и перезагрузки.



С уважением,
команда DWH/BigData 💚

Друзья, присоединяйтесь к митапу 🤗

Коллеги, привет! 🤟

2024 только начался, а мы уже расписали его первую половину под внешние конференции 🎆.

Сейчас находимся в активном поиске спикеров на такие профильные конференции, как:

✔️ конференция С++ (22-23.05)
✔️ конференция Saint HighLoad++ (20-21.06)
✔️ конференция HighLoad++ (ноябрь 2024)

Заявки на данные мероприятия принимаются задолго до дня Х, поэтому если вы хотите выступить с докладом, пожалуйста, примите решение в ближайшее время и напишите от этом нашему КМ @gbella1505 🩷.



С уважением,
команда DWH/BigData 💚

Коллеги, привет! ☀️
 
Приглашаем на наш митап SberProfi DWH/BigData! 
 
😊 Повестка: 
Обзор сервисов КАП. Виртуализация данных (итоги 2023 года)
 
🤓 Спикеры:
Ильин А., Фокин А., Гавриленко А., Шпилев И. (SberData)
 
Пересылайте приглашалку коллегам
и получайте плюсики в карму!
 
🗓  8 февраля
⏰  16:00–17:00
🌐  SberJazz

 
👉 Подключиться 👈




С уважением,
команда DWH/BigData 💚

Друзья, привет! 👋

Нужна ваша помощь в определении области и способов применения возможности получения права локального администратора на корпоративной технике.

Просьба пройти опрос ⬅️!

По его результатам наши коллеги поймут:

- Набор задач, которые решаются при наличии прав локального администратора

- Набор ресурсов, доступ к которым после получения соотв. прав обеспечит непрерывность производства

- Отношение к возможным ограничениям прав доступа при получении прав локального администратора
 
Ваши ответы позволят сбалансировать интересы разработчиков и специалистов по тестированию с задачами департамента кибербезопасности (ДКБ), которые отвечают за защиту инфраструктуры Банка.
 
Результаты данного исследования и предложения, согласованные с ДКБ, обязуемся рассказать в ближайшее время.

Заранее спасибо 🙏


С уважением,
команда DWH/BigData 💚

Друзья, привет! 👋

Многие из вас знают, что в рамках нашего комьюнити, помимо основного стрима DE, есть 2 подстрима: MLE и SDP Hadoop.

Сейчас мы изучаем потребность в создании отдельного трека по GreenPlum 🤔.

Насколько это было бы полезно и актуально для вас?

Ниже мы опубликуем опрос, который любезно попросим вас пройти, чтобы понять объем потребности и предпочитаемый формат взаимодействия.

Будем ждать ваши ответы до понедельника 🤝.


С уважением,
команда DWH/BigData 💚