Data Engineering / reposts & drafts
34 subscribers
227 photos
22 videos
40 files
557 links
Download Telegram
Forwarded from Yandex Cloud
Подводим итоги 2024 года

Шахматы — наша новогодняя тема: точные ходы и продуманные стратегии вдохновляют команду Yandex Cloud на новые достижения.

Подобно гроссмейстерам мы продолжаем расти и развивать бизнес, помогаем клиентам и партнёрам становиться сильными фигурами на рынке, а разработчикам создавать новые технологии и делать выигрышные ходы в работе и жизни.

В карточках мы провели параллель между итогами года и шахматными рекордами, а все подробности читайте в нашем блоге по ссылке.

#yacloud_news
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Yandex Cloud
This media is not supported in your browser
VIEW IN TELEGRAM
📌 Monthly Cloud News 26: лучшие ходы и рекорды 2024 года

В последний рабочий день этого года предлагаем вспомнить главные ИТ-события уходящего 2024 вместе с участниками подкаста Monthly Cloud News. Итоговый эпизод подкаста мы записали вместе с вами в онлайне. Публикуем выпуск специально для тех, кто пропустил прямой эфир.

В этом эпизоде:

🔴Сколько новых сервисов мы представили в 2024 году.
🔴 Зачем мы запустили платформу Cloud Video и как она работает.
🔴 Как нейросети помогали нашим клиентам справляться с нетривиальными задачами и какие рисунки пользователи создавали с помощью YandexART.
🔴 Что необычного построила команда архитекторов Yandex Cloud.
🔴 Какие проекты 2024 года запомнились больше всего.

Смотреть и слушать выпуск:
➡️ Яндекс Музыка
➡️ Rutube
➡️ VK Видео

#yacloud_podcasts
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Yandex Cloud
📌Атаки на GitHub-разработчика в 2024 году

Наш CPO в команде SourceCraft Денис Макрушин поделился коллекцией атак на GitHub-разработчиков в 2024 году. В статье он рассказал, какие ошибки могут привести к уязвимостям, связанным с платформой разработки, а также как от них защититься.

Поиск секретов в git-коммитах, распространение вредоносного кода через комментарии, доступ к данным из удалённых или приватных репозиториев — об этом и идёт речь в статье. Целая коллекция чужих примеров и ошибок, на которых учиться лучше, чем на своих.

👉 Ссылка на статью

#yacloud_articles
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Inside Yandex Cloud
This media is not supported in your browser
VIEW IN TELEGRAM
Кто такой разработчик Serverless?

В новом выпуске «Как мы делаем Yandex Cloud» погрузились в тему Serverless-решений. Сергей Ненашев, старший разработчик Serverless Computing Core, поделился впечатлениями от онбординга в команду. Рассказал о своём первом коммите и релизе, чем занимается разработчик Serverless, и какие компетенции ему для этого нужны.

📎 Смотрите на YouTube, Rutube и VK Видео
📎 Слушайте на Яндекс Музыке
📎 Или на любой удобной подкаст-платформе
Forwarded from Yandex Cloud
🔍 Как использовать Kafka API для работы с потоками данных Yandex Data Streams?

В Yandex Cloud есть инструменты работы с потоковыми нагрузками YDB Topics — они реализованы в отдельном сервисе Yandex Data Streams. Однако что делать компаниям, которые уже пользуются Apache Kafka и хотят перейти на Yandex Data Streams?

Рассказываем в статье, как использовать Kafka API для работы с топиками YDB без переписывания всего кода.

#yacloud_articles
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Yandex Cloud
Подводим итоги 2024 года

Шахматы — наша новогодняя тема: точные ходы и продуманные стратегии вдохновляют команду Yandex Cloud на новые достижения.

Подобно гроссмейстерам мы продолжаем расти и развивать бизнес, помогаем клиентам и партнёрам становиться сильными фигурами на рынке, а разработчикам создавать новые технологии и делать выигрышные ходы в работе и жизни.

В карточках мы провели параллель между итогами года и шахматными рекордами, а все подробности читайте в нашем блоге по ссылке.

#yacloud_news
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from 5 minutes of data
Data Contracts

Низкое качество данных угрожает ‘дата командам’, рискуя доходами и доверием. Контракты данных решают эту проблему, обеспечивая качество данных посредством четких определений, владения и соблюдения требований CI/CD.
В этом руководстве рассматриваются основы архитектуры контрактов данных, от ее значения для реальных приложений и стратегий реализации, а также пропагандируется ее внедрение в организациях.

Скачать книгу можно по ссылке
Forwarded from 5 minutes of data
State of Open Source Read-Time OLAP Systems 2025

2024 год стал значимым для развития OLAP-систем с открытым исходным кодом. В данной статье рассматриваются основные тренды и технологии, которые будут определять развитие отрасли в 2025 году.

Ключевые тренды 2024 года:

• Apache Doris укрепил свои позиции как один из лидеров рынка, особенно в Китае

• ClickHouse продолжает активное развитие, фокусируясь на улучшении производительности и расширении функционала.
Так же Clickhouse остается безусловным лидером по всем направлениям.

Что ожидать в 2025:
Технологические тренды

• Развитие гибридных архитектур, объединяющих преимущества различных OLAP-систем
• Рост популярности облачных и serverless-решений
• Углубление интеграции с инструментами искусственного интеллекта и машинного обучения
• Фокус на real-time аналитику и потоковую обработку данных

Бизнес-тренды

• Увеличение спроса на специалистов по OLAP-системам
• Рост инвестиций в развитие open-source решений
• Расширение использования OLAP в средних и малых компаниях
• Повышение требований к безопасности и соответствию регуляторным нормам

💡 Интересные факты:
• За последний год количество проектов, использующих open-source OLAP решения, выросло более чем на 40%
• Более 60% крупных компаний планируют миграцию на open-source OLAP-системы в ближайшие 2 года
• Объем данных, обрабатываемых OLAP-системами, увеличился в 2.5 раза за последний год.

📊 Прогнозы на будущее:
Ожидается, что рынок open-source OLAP-систем продолжит активный рост, а конкуренция между различными решениями приведет к появлению новых инновационных функций и улучшению производительности существующих систем.

@data_whisperer