Тенденции дата-инжиниринга 2023
1️⃣ Миграция в облака
Облачные платформы становятся основой для обработки, хранения и анализа больших объемов данных из-за масштабируемости и наличия специализированных сервисов. По прогнозам Google к 2027 году более 50% всех предприятий перейдут в облако.
2️⃣ Real-time обработка данных
С развитием сферы облачных вычислений и ростом объемов данных возросла необходимость в оперативных инсайтах. Обработка данных в real-time режиме позволяет быстро реагировать на изменения, выявлять паттерны и принимать обоснованные решения.
3️⃣ DataOps и MLOps
Это методологии, направленные на автоматизацию и улучшение процессов сбора, обработки и анализа данных. DataOps (DevOps + Data Science) стремится организовать непрерывную поставку качественных данных, MLOps (DevOps + Machine Learning) – эффективно разрабатывать, развертывать и обслуживать ML-модели.
4️⃣ Data Lakehouse
Data Lakehouse — новая гибридная технология, которая использует лучшее из хранилищ (Data Warehouse) и озёр данных (Data Lake). Технология стала возможна благодаря новому дизайну системы: реализации структур данных и функций управления данными, аналогичных тем, которые используются в хранилище данных, непосредственно поверх недорогого облачного хранилища в открытых форматах. Основное преимущество – возможность хранения структурированных и неструктурированных данных, возможность практически безграничного масштабирования и относительно низкая стоимость.
5️⃣ Big Data и IoT
Говоря о тенденциях индустрии обработки данных, нельзя пройти мимо Интернета вещей (IoT), который бурно развивается и влияет на область инжиниринга данных. Устройства IoT собирают большие объемы неструктурированных данных, которые можно эффективно обрабатывать в режиме реального времени, используя различные подходы.
6️⃣ Data Governance
Последняя тенденция, которую мы хотели бы сегодня осветить — Data Governance — целостная стратегия управления корпоративными данными. Данная стратегия включает в себя:
● создание единого каталога метаданных, описывающих все источники организации (например, данные о том, в каких ИТ-системах хранится информация);
● бизнес-глоссарий, определяющий основные элементы и атрибуты данных, а также их бизнес-контекст;
● правила для обеспечения качества данных;
● жизненный цикл данных.
Организации, которые внедрили технологии Data Engineering и научились эффективно работать с данными, могут обеспечить себе конкурентное преимущество в условиях быстро меняющегося цифрового мира.
#экспертиза
Облачные платформы становятся основой для обработки, хранения и анализа больших объемов данных из-за масштабируемости и наличия специализированных сервисов. По прогнозам Google к 2027 году более 50% всех предприятий перейдут в облако.
С развитием сферы облачных вычислений и ростом объемов данных возросла необходимость в оперативных инсайтах. Обработка данных в real-time режиме позволяет быстро реагировать на изменения, выявлять паттерны и принимать обоснованные решения.
Это методологии, направленные на автоматизацию и улучшение процессов сбора, обработки и анализа данных. DataOps (DevOps + Data Science) стремится организовать непрерывную поставку качественных данных, MLOps (DevOps + Machine Learning) – эффективно разрабатывать, развертывать и обслуживать ML-модели.
Data Lakehouse — новая гибридная технология, которая использует лучшее из хранилищ (Data Warehouse) и озёр данных (Data Lake). Технология стала возможна благодаря новому дизайну системы: реализации структур данных и функций управления данными, аналогичных тем, которые используются в хранилище данных, непосредственно поверх недорогого облачного хранилища в открытых форматах. Основное преимущество – возможность хранения структурированных и неструктурированных данных, возможность практически безграничного масштабирования и относительно низкая стоимость.
Говоря о тенденциях индустрии обработки данных, нельзя пройти мимо Интернета вещей (IoT), который бурно развивается и влияет на область инжиниринга данных. Устройства IoT собирают большие объемы неструктурированных данных, которые можно эффективно обрабатывать в режиме реального времени, используя различные подходы.
Последняя тенденция, которую мы хотели бы сегодня осветить — Data Governance — целостная стратегия управления корпоративными данными. Данная стратегия включает в себя:
● создание единого каталога метаданных, описывающих все источники организации (например, данные о том, в каких ИТ-системах хранится информация);
● бизнес-глоссарий, определяющий основные элементы и атрибуты данных, а также их бизнес-контекст;
● правила для обеспечения качества данных;
● жизненный цикл данных.
Организации, которые внедрили технологии Data Engineering и научились эффективно работать с данными, могут обеспечить себе конкурентное преимущество в условиях быстро меняющегося цифрового мира.
#экспертиза
Please open Telegram to view this post
VIEW IN TELEGRAM
👍12❤4🔥2
Опасения заказчиков по внедрению DevSecOps
Если DevOps уже стал стандартом разработки и ценность методологии всем очевидна, так как напрямую влияет на скорость выпуска ИТ-продуктов, то DevSecOps используют еще далеко не все.
🛡 DevSecOps – это по сути новый этап развития DevOps и заключается он во внедрении автоматизированных проверок безопасности в DevOps-пайплайн, то есть с первых этапов разработки.
Мы обратили внимание на несколько распространенных опасений, которые могут останавливать компании от внедрения DevSecOps, и хотим разобрать их в этом посте.
❓ «DevSecOps замедляет разработку»
На этапе внедрения DevSecOps может быть замедление из-за того, что сотрудники из ИТ и ИБ будут вынуждены осваивать новые инструменты, учиться новым процессам и коммуницировать друг с другом. Но зато после внедрения вы получите ускорение разработки за счет того, что большая часть уязвимостей будет обнаруживаться на этапе разработки, когда их устранение занимает минимальное время.
❓ «Для DevSecOps нужно объединить разработчиков и безопасников»
Это действительно так, и это важно для вашей безопасности! Возможно, вы сталкивались с ситуациями, когда команды безопасности присоединялись к процессу слишком поздно, и у них оставалось мало времени для запуска тестов и решения проблем (в том числе требующих серьезных правок кода) без нарушения сроков выпуска. DevSecOps поможет решить эту проблему с помощью специализированных инструментов, которые помогают организовать эффективный процесс коммуникации между ИТ и ИБ и повысить общий уровень безопасности ваших приложений.
❓ «DevSecOps – это дорого»
В долгосрочной перспективе DevSecOps, напротив, помогает сэкономить, так как исправлять ошибки на этапе разработки в десятки и сотни раз дешевле, чем на этапе эксплуатации. Кроме того, можно построить DevSecOps-пайплайн полностью на бесплатных и open source-инструментах (инструкция здесь).
Если вам нужна консультация по построению DevSecOps-пайплайна, пишите нам на [email protected]
#экспертиза
Если DevOps уже стал стандартом разработки и ценность методологии всем очевидна, так как напрямую влияет на скорость выпуска ИТ-продуктов, то DevSecOps используют еще далеко не все.
Мы обратили внимание на несколько распространенных опасений, которые могут останавливать компании от внедрения DevSecOps, и хотим разобрать их в этом посте.
На этапе внедрения DevSecOps может быть замедление из-за того, что сотрудники из ИТ и ИБ будут вынуждены осваивать новые инструменты, учиться новым процессам и коммуницировать друг с другом. Но зато после внедрения вы получите ускорение разработки за счет того, что большая часть уязвимостей будет обнаруживаться на этапе разработки, когда их устранение занимает минимальное время.
Это действительно так, и это важно для вашей безопасности! Возможно, вы сталкивались с ситуациями, когда команды безопасности присоединялись к процессу слишком поздно, и у них оставалось мало времени для запуска тестов и решения проблем (в том числе требующих серьезных правок кода) без нарушения сроков выпуска. DevSecOps поможет решить эту проблему с помощью специализированных инструментов, которые помогают организовать эффективный процесс коммуникации между ИТ и ИБ и повысить общий уровень безопасности ваших приложений.
В долгосрочной перспективе DevSecOps, напротив, помогает сэкономить, так как исправлять ошибки на этапе разработки в десятки и сотни раз дешевле, чем на этапе эксплуатации. Кроме того, можно построить DevSecOps-пайплайн полностью на бесплатных и open source-инструментах (инструкция здесь).
Если вам нужна консультация по построению DevSecOps-пайплайна, пишите нам на [email protected]
#экспертиза
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥10👍5💯5
В чем заключается работа SRE и DevOps
В нашей команде работают как DevOps, так и SRE-инженеры. DevOps – более знакомый широкой общественности термин, а SRE только набирает популярность. Разберемся, что скрывается за этими ролями.
🔩 DevOps отвечает в первую очередь за построение конвейера по доставке кода в продакшн, а также поддержку и разработку инструментов, которые этому способствуют. В его обязанности входит настройка TEST & DEV-окружений, конфигурирование CI/CD-систем и разработка разнообразных вспомогательных скриптов.
🔩 SRE — это инженер по надёжности и отказоустойчивости инфраструктуры. В обязанности SRE входит разработка концепции надежности и метрик мониторинга, оценка релизов (повредит данный релиз продакшну или нет) и разработка инструментов, которые повышают надежность системы, а также реагирование на инциденты и предотвращение всевозможных сбоев в продакшне.
Если кратко: DevOps автоматизирует и оптимизирует, а SRE следит, чтобы прод не падал и системы были надежны.
#экспертиза
В нашей команде работают как DevOps, так и SRE-инженеры. DevOps – более знакомый широкой общественности термин, а SRE только набирает популярность. Разберемся, что скрывается за этими ролями.
Если кратко: DevOps автоматизирует и оптимизирует, а SRE следит, чтобы прод не падал и системы были надежны.
#экспертиза
Please open Telegram to view this post
VIEW IN TELEGRAM
👍13🔥5💯2
Эволюция оптимизации облачных затрат
На заре развития облачных технологий перед cloud-инженерами не стояла задача мониторинга и оптимизации затрат на облако, потому что облачные инфраструктуры и счета за облако были меньше, а конкуренция на рынке — ниже.
Сегодня компании, которые хотят обеспечить себе конкурентоспособность, должны заботиться о затратах на облако, именно поэтому активно развивается FinOps.
Сравним, что изменилось с приходом FinOps.
1. Прозрачность облачных расходов
Как было раньше:
Для инженеров не имело значения, сколько стоит создать продукт, важно было только, чтобы он хорошо работал, вписывался в рыночную нишу и удовлетворял потребности пользователей. Решения о расходах на облако принимал топ-менеджмент и зачастую не видел причин делиться данными о затратах с инженерами.
Как стало с FinOps:
Инженеры сами стали нести ответственность за большую часть расходов в рамках разрабатываемого продукта. В FinOps каждое инженерное решение — это решение о покупке, поэтому инженеры получили доступ к информации о структуре расходов.
2. Сотрудничество команд
Как было раньше:
Финансы и ИТ были обособленными командами с разными приоритетами и говорили на разных языках. Научить финансистов понимать сложные инженерные термины (и наоборот) казалось нереальной задачей.
Как стало с FinOps:
В компаниях, которые внедряют FinOps, происходят культурные изменения и налаживается коммуникация между финансовыми, техническими и операционными командами для достижения единых целей компании.
3. Проще переезд в облако
Как было раньше:
Компании опасались миграции в облако из-за сложностей в понимании структуры расходов на облако. В счетах за облачные услуги (cloud bill) трудно разобраться и тем более принять какие-либо бизнес-решения на их основе.
Как стало с FinOps:
FinOps-инструменты дают простое и эффективное бюджетирование по категориям – можно контролировать затраты по продуктам, командам, релизам и другим факторам – а также прогнозировать будущие расходы. Благодаря этому компаниям легче решиться на переезд.
#экспертиза
На заре развития облачных технологий перед cloud-инженерами не стояла задача мониторинга и оптимизации затрат на облако, потому что облачные инфраструктуры и счета за облако были меньше, а конкуренция на рынке — ниже.
Сегодня компании, которые хотят обеспечить себе конкурентоспособность, должны заботиться о затратах на облако, именно поэтому активно развивается FinOps.
Сравним, что изменилось с приходом FinOps.
1. Прозрачность облачных расходов
Как было раньше:
Для инженеров не имело значения, сколько стоит создать продукт, важно было только, чтобы он хорошо работал, вписывался в рыночную нишу и удовлетворял потребности пользователей. Решения о расходах на облако принимал топ-менеджмент и зачастую не видел причин делиться данными о затратах с инженерами.
Как стало с FinOps:
Инженеры сами стали нести ответственность за большую часть расходов в рамках разрабатываемого продукта. В FinOps каждое инженерное решение — это решение о покупке, поэтому инженеры получили доступ к информации о структуре расходов.
2. Сотрудничество команд
Как было раньше:
Финансы и ИТ были обособленными командами с разными приоритетами и говорили на разных языках. Научить финансистов понимать сложные инженерные термины (и наоборот) казалось нереальной задачей.
Как стало с FinOps:
В компаниях, которые внедряют FinOps, происходят культурные изменения и налаживается коммуникация между финансовыми, техническими и операционными командами для достижения единых целей компании.
3. Проще переезд в облако
Как было раньше:
Компании опасались миграции в облако из-за сложностей в понимании структуры расходов на облако. В счетах за облачные услуги (cloud bill) трудно разобраться и тем более принять какие-либо бизнес-решения на их основе.
Как стало с FinOps:
FinOps-инструменты дают простое и эффективное бюджетирование по категориям – можно контролировать затраты по продуктам, командам, релизам и другим факторам – а также прогнозировать будущие расходы. Благодаря этому компаниям легче решиться на переезд.
#экспертиза
❤8👍3🔥3
Big Data — это сколько?
Давайте разберемся, в какой момент данные становятся "большими", и мы уже не можем использовать традиционные подходы для их обработки, хранения и анализа в виде баз данных.
Если говорить исключительно об объеме, то часто называют порог в 150 Гб в сутки, но не стоит на него ориентироваться, потому что Big Data – это не просто большое количество данных. В основе Big Data лежат 3 основные характеристики (VVV):
Volume – фактический размер данных (условно от 150 Гб в сутки),
Velocity – высокая скорость накопления и обработки данных (например, если база интернет-магазина пополняется со скоростью 10 заказов в сутки, то это не большие данные),
Variety – слабая структурированность данных (например, не относится к Big Data список из 10 000 ФИО пользователей какого-либо сервиса или расписание транспорта в городе).
Есть еще 3 дополнительных V:
Veracity – достоверность как самого набора данных, так и результатов его анализа,
Variability – изменчивость потока данных во времени (например, на него может влиять время суток). Чем нестабильнее поток, тем сложнее его анализ,
Value – ценность данных, то есть извлечение из данных пользы для бизнеса и клиентов.
Поэтому Big Data – это не только определенный объем, но и способность извлекать ценную и достоверную информацию из постоянно растущего потока слабо структурированных данных.
Несколько примеров Big Data:
🍎 Данные со смартфонов пользователей мобильного приложения фитнес-трекера: количество шагов, качество сна, тренировки,
🚘 Данные с сенсоров на сборочной линии автомобильного завода: качество сборки, время прохождения каждого этапа, количество брака,
🌐 Логи использования городского Wi-Fi: в каких точках города наиболее активное использование, какие сайты посещают пользователи, длительность сессий,
💳 Информация о покупках клиентов банка и снятии ими наличных в терминалах и отделениях.
#экспертиза
Давайте разберемся, в какой момент данные становятся "большими", и мы уже не можем использовать традиционные подходы для их обработки, хранения и анализа в виде баз данных.
Если говорить исключительно об объеме, то часто называют порог в 150 Гб в сутки, но не стоит на него ориентироваться, потому что Big Data – это не просто большое количество данных. В основе Big Data лежат 3 основные характеристики (VVV):
Volume – фактический размер данных (условно от 150 Гб в сутки),
Velocity – высокая скорость накопления и обработки данных (например, если база интернет-магазина пополняется со скоростью 10 заказов в сутки, то это не большие данные),
Variety – слабая структурированность данных (например, не относится к Big Data список из 10 000 ФИО пользователей какого-либо сервиса или расписание транспорта в городе).
Есть еще 3 дополнительных V:
Veracity – достоверность как самого набора данных, так и результатов его анализа,
Variability – изменчивость потока данных во времени (например, на него может влиять время суток). Чем нестабильнее поток, тем сложнее его анализ,
Value – ценность данных, то есть извлечение из данных пользы для бизнеса и клиентов.
Поэтому Big Data – это не только определенный объем, но и способность извлекать ценную и достоверную информацию из постоянно растущего потока слабо структурированных данных.
Несколько примеров Big Data:
💳 Информация о покупках клиентов банка и снятии ими наличных в терминалах и отделениях.
#экспертиза
Please open Telegram to view this post
VIEW IN TELEGRAM
👍12🔥3❤1💯1
Forwarded from Yandex Cloud
🎓 Расширяем программу обучения по работе с данными в облаке
🆕 Теперь для дата-инженеров и дата-аналитиков доступен курс «Managed Service for ClickHouse». Вы научитесь эффективно обрабатывать потоки данных и выполнять SQL‑запросы с помощью базы данных ClickHouse, использовать его для задач Data Science в облаке и многому другому. Курс будет полезен опытным специалистам, которые хотят научиться обеспечивать высокую доступность, производительность и масштабируемость баз данных.
Также вы можете пройти и другие курсы:
⏺ «Построение корпоративной платформы данных»
Вы выполните практические задания по синхронизации данных, построению гибридного хранилища, созданию аналитических витрин и визуализации данных.
⏺ «Основы работы с DataLens»
Вы научитесь строить графики на основе данных и проектировать what-if-калькуляторы с отображением результатов на дашбордах с помощью Yandex DataLens.
⏺ «Витрина данных для веб-аналитики в ClickHouse®»
Узнайте, как собрать данные из разных источников и автоматизировать их загрузку в хранилище.
Выбрать курсы Yandex Cloud можно по ссылке.
#yacloud_news
Также вы можете пройти и другие курсы:
Вы выполните практические задания по синхронизации данных, построению гибридного хранилища, созданию аналитических витрин и визуализации данных.
Вы научитесь строить графики на основе данных и проектировать what-if-калькуляторы с отображением результатов на дашбордах с помощью Yandex DataLens.
Узнайте, как собрать данные из разных источников и автоматизировать их загрузку в хранилище.
Выбрать курсы Yandex Cloud можно по ссылке.
#yacloud_news
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥9👍5❤3💯2
🛠 Туториал по управлению доступами в облаке
Если перед вами стоит задача мигрировать инфраструктуру в Yandex Cloud, важно позаботиться о безопасности и предоставить вашим сотрудникам и подрядчикам ровно тот объем доступа к облаку, который им необходим для выполнения своих задач.
Чтобы вам легче было разобраться с базовыми особенностями ресурсной модели и управления доступами в Yandex Cloud наши инженеры Михаил Кажемский и Алексей Колосков опубликовали статью-туториал на Хабре «Сам себе DevOps: как разобраться с доступами в Yandex Cloud».
💾 Добавляйте статью в закладки, чтобы информация в нужный момент была под рукой.
💻 Также рекомендуем пройти бесплатный курс «Аутентификация и управление доступами», который мы разработали совместно с Yandex Cloud.
#статьи
Если перед вами стоит задача мигрировать инфраструктуру в Yandex Cloud, важно позаботиться о безопасности и предоставить вашим сотрудникам и подрядчикам ровно тот объем доступа к облаку, который им необходим для выполнения своих задач.
Чтобы вам легче было разобраться с базовыми особенностями ресурсной модели и управления доступами в Yandex Cloud наши инженеры Михаил Кажемский и Алексей Колосков опубликовали статью-туториал на Хабре «Сам себе DevOps: как разобраться с доступами в Yandex Cloud».
💾 Добавляйте статью в закладки, чтобы информация в нужный момент была под рукой.
💻 Также рекомендуем пройти бесплатный курс «Аутентификация и управление доступами», который мы разработали совместно с Yandex Cloud.
#статьи
🔥10👍4❤2
21 сентября состоится SmartDev 2023 – технологическая конференция от «Сбер» для разработчиков, инженеров, аналитиков и других представителей IT‑сообщества.
Михаил Кажемский, ведущий DevOps-инженер Hilbert Team, выступит в треке по DevOps c докладом «ClickHouse как бекенд для Prometheus».
Участие в мероприятии бесплатное, регистрация открыта на сайте конференции. Для тех, кто не сможет посетить конференцию очно, будет доступна онлайн-трансляция на сайте мероприятия.
#мероприятия_оффлайн
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥16👍4❤2
На YouTube-канале Yandex Cloud вышел специальный выпуск Monthly Cloud News, посвященный теме #FinOps.
Антон Черноусов, Developer Advocate в Yandex Cloud, обсудил с CEO Hilbert Team Вячеславом Бессоновым и CEO Хайстекс Юлией Рынденковой развитие культуры FinOps в России и в мире. Эксперты рассмотрели вопросы влияния FinOps на бизнес и практическую пользу от конкретных практик, например, лейблинг ресурсов.
Monthly Cloud News: специальный выпуск про FinOps
Если у вас есть вопросы по FinOps или вам нужна консультация по FinOps-оптимизации вашей инфраструктуры, пишите нам [email protected]
#интервью
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥10❤7🥰3👍2💯2
Чтобы сделать процесс разработки цифровых продуктов максимально быстрым и эффективным, важно избавить своих разработчиков от рутинной настройки окружений и помочь им сосредоточиться на главном – написании кода.
На вебинаре мы расскажем, как облегчить жизнь вашим разработчикам и внедрить подходы по автоматизации создания R&D-окружений, а также покажем, как вы можете организовать это на практике в своей организации.
Программа:
1. Создание динамических окружений в
Kubernetes (пример реализации, плюсы и минусы), 2. Создание статических окружений с помощью
Terraform и Terragrunt (пример реализации, плюсы и минусы), 3. Создание окружений с помощью
CrossPlane и ArgoCD (пример реализации, плюсы и минусы, планы Yandex Cloud на развитие CrossPlane),4. Как выбрать подходящий сценарий в зависимости от требований бизнеса.
Спикеры:
Михаил Кажемский – ведущий DevOps-инженер Hilbert Team.
Антон Брехов – партнерский архитектор Yandex Cloud.
➡️ Зарегистрироваться на вебинар
#мероприятия_онлайн
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥18👍7💯4
Что было на конференциях Yandex Cloud, Сбера, Selectel?
Наша команда в сентябре посетила ряд мероприятий от крупнейших технологических компаний. Хотим рассказать, что там было интересного и важного.
📌 Yandex Scale 2023
Yandex Cloud сделал ряд важных анонсов:
✔️ Yandex DataLens, сервис для анализа и визуализации данных, выходит в open source,
✔️ Запущен ряд новых сервисов: Smart Web Security для защиты веб-приложений с помощью поведенческого анализа пользователей и машинного обучения,
✔️ Yandex Managed Service for Apache Airflow™ для настройки операций по обработке и аналитике данных,
✔️ Yandex SpeechSens – сервис речевой аналитики для глубокого анализа каналов коммуникации,
✔️ Yandex Cloud Postbox – сервис для отправки транзакционных писем,
✔️ Подведены итоги закрытого тестирования YandexGPT.
Репортаж Yandex Scale 2023 на Хабр.
Видеозапись конференции.
📌 Smart Dev 2023
Сбер поделился результатами исследования «Панорама российского IT-рынка»: размер IT-рынка РФ составил 1,6 трлн рублей, при этом 80% IT-рынка покрывают топ-500 компаний.
Также Сбер представил новые разработки:
✔️ интерфейс доступа к нейросети Сбера GigaChat API,
✔️ инструмент для разработки и автодополнения программного кода GigaCode,
✔️ сервис для работы над проектами с открытым и закрытым кодом GitVerse,
✔️ интеграцию сервиса для разработки ботов SaluteBot + GigaChat.
Видеозапись конференции (обратите внимание на лекции профессоров МГУ в треке «Инновации и стратегии» и трек по DevOps).
📌 Selectel Tech Day
На мероприятии было объявлено о запуске новых решений Selectel:
✔️ Управляемый сервис по развертыванию кластеров Kubernetes на базе выделенных серверов (Managed Kubernetes on Bare Metal),
✔️ ML-платформа – облачное решение для обучения и развертывания ML-моделей,
✔️ Вскоре из бета-теста выйдет удобное решение для бизнеса — 1С в облаке.
Видеозапись конференции.
#подборка_материалов
Наша команда в сентябре посетила ряд мероприятий от крупнейших технологических компаний. Хотим рассказать, что там было интересного и важного.
Yandex Cloud сделал ряд важных анонсов:
✔️ Yandex DataLens, сервис для анализа и визуализации данных, выходит в open source,
✔️ Запущен ряд новых сервисов: Smart Web Security для защиты веб-приложений с помощью поведенческого анализа пользователей и машинного обучения,
✔️ Yandex Managed Service for Apache Airflow™ для настройки операций по обработке и аналитике данных,
✔️ Yandex SpeechSens – сервис речевой аналитики для глубокого анализа каналов коммуникации,
✔️ Yandex Cloud Postbox – сервис для отправки транзакционных писем,
✔️ Подведены итоги закрытого тестирования YandexGPT.
Репортаж Yandex Scale 2023 на Хабр.
Видеозапись конференции.
Сбер поделился результатами исследования «Панорама российского IT-рынка»: размер IT-рынка РФ составил 1,6 трлн рублей, при этом 80% IT-рынка покрывают топ-500 компаний.
Также Сбер представил новые разработки:
✔️ интерфейс доступа к нейросети Сбера GigaChat API,
✔️ инструмент для разработки и автодополнения программного кода GigaCode,
✔️ сервис для работы над проектами с открытым и закрытым кодом GitVerse,
✔️ интеграцию сервиса для разработки ботов SaluteBot + GigaChat.
Видеозапись конференции (обратите внимание на лекции профессоров МГУ в треке «Инновации и стратегии» и трек по DevOps).
На мероприятии было объявлено о запуске новых решений Selectel:
✔️ Управляемый сервис по развертыванию кластеров Kubernetes на базе выделенных серверов (Managed Kubernetes on Bare Metal),
✔️ ML-платформа – облачное решение для обучения и развертывания ML-моделей,
✔️ Вскоре из бета-теста выйдет удобное решение для бизнеса — 1С в облаке.
Видеозапись конференции.
#подборка_материалов
Please open Telegram to view this post
VIEW IN TELEGRAM
👍7❤3💯1
Hilbert Team | Эксперты в DevOps
Автоматизация создания окружений для R&D
На прошлой неделе мы совместно с Yandex Cloud провели вебинар по теме «Автоматизация создания окружений для R&D». Мы рассмотрели три подхода к созданию таких окружений:
⏺ Создание динамических окружений в Kubernetes,
⏺ Создание статических окружений с помощью Terraform и Terragrunt,
⏺ GitOps-подход: создание окружений с помощью CrossPlane и ArgoCD.
🗂 Материалы с вебинара мы собрали в статье на Хабре.
▶️ Видеозапись вебинара можете посмотреть на YouTube.
#мероприятия_онлайн
На прошлой неделе мы совместно с Yandex Cloud провели вебинар по теме «Автоматизация создания окружений для R&D». Мы рассмотрели три подхода к созданию таких окружений:
#мероприятия_онлайн
Please open Telegram to view this post
VIEW IN TELEGRAM
Хабр
Подходы к автоматизации создания окружений для R&D-команд
Привет! Меня зовут Михаил Кажемский, я ведущий DevOps-инженер в ИТ‑интеграторе Hilbert Team. В этой статье я расскажу о различных подходах к созданию унифицированных типовых R&D-окружений....
🔥10❤7👍4
Решения по #FinOps в России
Сегодня хотим рассказать вам о трех специализированных инструментах по управлению облачными затратами, которые доступны в России.
⏺ Хайстекс Оптсекейл – платформа помогает компаниям контролировать и оптимизировать расходы на кластеры Kubernetes и публичные облака.
GitHub: https://github.com/hystax/optscale
⏺ Coster от Cloudmaster – FinOps-решение для контроля и учета затрат на ИТ-инфраструктуру. С помощью единого мультиоблачного дашборда Coster легко и быстро предоставит информацию о бюджетах и расходах по всем облакам.
Подробнее о решении: https://cloudmaster.ru/coster
⏺ Cloud Advisor – инструмент от основателей компании Agnitum, известной по продукту Outpost Firewall. Cloud Advisor сканирует облачную инфраструктуру и позволяет выявить неиспользуемые и неподключенные, а также недостаточно загруженные ресурсы.
Подробнее о решении: https://www.cloudadvisor.app/cost-optimization/
🔵 Если хотите узнать больше о том, как эффективно использовать FinOps-инструменты, приходите послушать доклад нашего CEO Вячеслава Бессонова на Highload++ в Москве.
#инструменты
Сегодня хотим рассказать вам о трех специализированных инструментах по управлению облачными затратами, которые доступны в России.
GitHub: https://github.com/hystax/optscale
Подробнее о решении: https://cloudmaster.ru/coster
Подробнее о решении: https://www.cloudadvisor.app/cost-optimization/
#инструменты
Please open Telegram to view this post
VIEW IN TELEGRAM
👍8🔥6💯2
Наши инженеры совместно с экспертами Yandex Cloud разработали курс Managed Service for ClickHouse® по работе с популярной базой данных ClickHouse.
На курсе вы научитесь:
⌚️ Длительность прохождения курса составит 50–80 часов.
Зарегистрироваться на курс
#курсы
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥15❤6👍6
Мы решили посчитать, с каким количеством технологий работают наши инженеры, и насчитали около 80 инструментов в 16 категориях! 😳 Решили поделиться с вами нашим стеком.
#инструменты
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥10❤5👍3