Экодиктант 2021: highload проект с 0 за 2 месяца – тема доклада Станислава Жуковского
⠀
📋 https://bx.vc/lavr8i
⠀
Станислав расскажет, как они настроили и отправили почти 10 миллионов писем за одну неделю с двух холодных доменов в рамках проводимого мероприятия Экодиктант 2021.
⠀
Целевая аудитория доклада: от системных администраторов и Dev инженеров, до руководителей IT-подразделений и технических директоров
⠀
✅ Узнать подробно о HighLoad++ 2022 и купить билеты на сайте – https://bx.vc/x42p7g
⠀
Встречаемся 24 и 25 ноября в Москве ✋

Нужно прокачать NER модель, но как? Расскажет в своем докладе Прохор Гладких, Lead Data Scientist в команде SmartNLP Sber.Devices.
⠀
📋 https://bx.vc/3nrrwy
⠀
Основные тезисы доклада:
⠀
- Постановка задачи: повышения качества NER модели
- Как избежать распространенных проблем при подготовке датасета?
- Специальный инструмент анализа ошибок модели
- Улучшение процесса разметки и контроль качества
- 2GIS ❤️ NER
⠀
Целевая аудитория доклада: специалисты по машинному обучению в области NLP
⠀
✅ Полная информация о HighLoad++ 2022 и билеты здесь – https://bx.vc/5hfo1y
⠀
До встречи ✋

Всем привет! У нас готовы видеозаписи докладов конференции Saint HighLoad++, которая прошла 22 и 23 сентября в Санкт-Петербурге. В записи 80 докладов с презентациями на самые интересные и актуальные темы, из которых вы узнаете максимальные пределы технологий.
⠀
✅ Купить записи можно здесь - https://bx.vc/w9srzj
⠀
➡️ Обратите внимание на топ-5 докладов, которые набрали наибольшее количество оценок за содержание и подачу:
⠀
1) Service Mesh на стероидах
(часть 2): Zero Deployment Downtime в корпоративных приложениях. Алексей Ефимов (Netcracker) https://bx.vc/wwa9dk
⠀
2) Эволюция распределенных атак в Интернете: 1994 - настоящее время. Георгий Тарасов (Qrator Labs) https://bx.vc/pl4dyo
⠀
⤵️⤵️

3) Под красным флагом: как инженер может понять, что в проекте происходит что-то не то. Даниил Подольский (CryptoWize) https://bx.vc/ypyzdp
⠀
4) Одна платформа, чтобы править всеми. Михаил Кабищев (Ozon) https://bx.vc/hxy6ac
⠀
5) Архитектура: история и будущее на примере ВКонтакте. Александр Тоболь (ВКонтакте) https://bx.vc/1874yg
⠀
🖐 Ждем вас 24 и 25 ноября на HighLoad++ в Москве.
⠀
✅ Программа конференции и билеты на сайте - https://bx.vc/sg90pf

С Ириной Блажиной и Николаем Зайцевым обсудим SSO решение на 5 млн пользователей. Масштабирование от пилотного проекта до федерального уровня
⠀
📋 https://bx.vc/p6g5nf
⠀
У них было порядка 20 клиентских мобильных и веб приложений с локальной аутентификацией, написанных разными командами со своими процессами и уязвимостями. Переключаться между приложениями было сложно, пользователям это не нравилось. Это привело к созданию решения единого входа для клиентов (SSO).
⠀
За 2 месяца внедрили пилот на базе открытого Keycloak и начали постепенно масштабировать его на всю страну. При 300000 сессиях получили даунтайм при обновлениях: пользователи не могли войти в систему около 15 минут. Они снизили время простоя настройками кэширования и модификацией схемы базы данных до 3 минут, но дальше их ждал первый миллион сессий…

⠀
🙌 Ждем вас 24 и 25 ноября на HighLoad++ 2022 в Москве или онлайн по всему миру.
⠀
✅ Программа конференции и билеты на сайте – https://bx.vc/jvi4mf

Про архитектуру надёжной In-Memory-СУБД на примере Tarantool расскажет Владимир Перепелица
⠀
📋 https://bx.vc/vooonk
⠀
База данных в оперативной памяти или in-memory-db — понятие не новое. На сегодняшний день сложилась довольно сильная ассоциация подобных решений со словами «кэш», «неперсистентный» и «ненадёжно».
⠀
Решения в оперативной памяти имеют гораздо более широкое применение, чем кэш. А уровень надёжности не хуже, чем у самых проверенных реляционных БД.
⠀
Владимир расскажет, какие архитектурные подходы позволяют базе данных в памяти быть надёжной, как швейцарские часы. Он рассмотрит устройство Tarantool от входящего запроса до работы синхронной репликации и транзакционного механизма на скорости в 1 000 000 RPS.
⠀
Цель доклада — показать, что in-memory-технологии уже достаточно зрелые и надёжные, чтобы быть основным хранилищем данных в вашем продукте.
⠀
Присоединяйтесь к нам 24 и 25 ноября на HighLoad++ в Москве 🖐
⠀
✅ Программа конференции и билеты на сайте – https://bx.vc/sm3qj5

О безопасности ядра Linux: в теории и на практике узнаем из доклада Александра Попова
⠀
📋 https://bx.vc/74p4cu
⠀
Безопасность ядра Linux — очень сложная предметная область. Она включает большое количество взаимосвязанных понятий: классы уязвимостей, техники их эксплуатации для проведения атак, механизмы выявления ошибок, технологии защиты ядра.
⠀
Александр разработал карту средств защиты ядра Linux, которая отражает взаимосвязи между этими понятиями. В докладе он даст обзор текущего состояния безопасности Linux, используя данную карту, и расскажет о своем инструменте kconfig-hardened-check, который помогает управлять ядерными опциями безопасности.
⠀
Целевая аудитория: широкий круг IT-специалистов: разработчики, безопасники, технические лидеры.
⠀
✅ Подробно о конференции, расписание и билеты на сайте – https://bx.vc/921ewg
⠀
До встречи 24 и 25 ноября на HighLoad++ 2022 в Москве 🙌

Александр Кирсанов расскажет про честные модули внутри монолита, или Когда Composer не подходит
⠀
📋 https://bx.vc/txiqgk
⠀
Когда у вас очень много кода, его связность неуклонно растёт. Всё переплетено, и нельзя взять и переместить какую-то часть в отдельный пакет — каждая часть сотнями щупалец склеена с остальным монолитом. Нет-нет да и вставят разработчики новые зависимости, срезая углы, "потому что надо было ещё вчера", и шансы распутать клубок с течением времени стремятся к нулю.
⠀
В докладе Александр покажет новый инструмент, который они создали внутри ВКонтакте, чтобы ограничить разрастание энтропии внутри их монолита — и, традиционно, он будет открыт и может быть использован вне ВК тоже.
⠀
Доклад будет интересен тем, кто имеет дело с большим объёмом связного и запутанного кода, а также кто находится в поисках способа, чтобы эта связность и запутанность росли более контролируемо.
⠀
🖐 Встречаемся 24 и 25 ноября на HighLoad++ 2022.
⠀
✅ Программа конференции и билеты на сайте - https://bx.vc/sn7971

⚡️Успейте забронировать билет до 31 октября.
⠀
Друзья, напоминаем, чем ближе конференция, тем выше стоимость билетов.
⠀
С 1 ноября цена станет максимальной, но вы можете зафиксировать текущую стоимость, если забронируете билет до 31 октября. После брони у вас еще будет несколько дней для оплаты.
⠀
В результате участия в HighLoad++ вы:
⠀
- будете в курсе тенденций в мире разработки и узнаете, как ведущие компании и их разработчики перестраивают свою работу под новые законы РФ;
- систематизируете, подтянете свои знания и приобретете новые;
- сможете разобрать свой случай на проекте и получить профессиональный совет от коллег;
- отлично и продуктивно проведете время в компании единомышленников
⠀
Присоединяйтесь к нам 24 и 25 ноября 🙌
⠀
✅ Забронируйте билет здесь - https://bx.vc/313944

Почему видеостриминг через 15 лет возвращается с TCP на UDP? Расскажет в своем докладе Максим Лапшин
⠀
📋 https://bx.vc/7wtvtl
⠀
Проникновение флеш-плеера вместе с H264 почти 15 лет назад, а потом и появление HLS привело к тому, что массовая доставка видео в интернете перешла на TCP-протоколы: RTMP, HLS, DASH (и даже HDS).
⠀
Последние годы мы видим обратную тенденцию с возвращением на UDP-протоколы: WebRTC, SRT и эксперименты с WebTransport over HTTP/3.
⠀
Почему это происходит, во что это выливается, как это конфликтует с другими трендами в индустрии интернет-разработки? Почему приходится переизобретать заново TCP-стек 40-летней давности?
⠀
Целевая аудитория: инженеры, архитекторы систем, использующих стриминговое видео.
⠀
Встречаемся 24 и 25 ноября на HighLoad++ 2022 🙌
⠀
✅ Программа конференции и билеты на сайте – https://bx.vc/gkt6mp

Из доклада Алексея Тюрина, Fullstack-разработчика НЛМК, узнаем, как они построили советчики на микросервисной архитектуре и ML на данных из Legacy MES-систем и инициировали их замещение
⠀
📋 https://bx.vc/67vpy2
⠀
Алексей расскажет:
⠀
1) Как «приладить» микросервисную архитектуру к сталеплавильному агрегату: датчики, АСУТП, MES-системы. Совмещение сетей различных уровней для запуска цифровых продуктов на современном стеке разработки.
⠀
2) О проблеме внедрения ML в Legacy MES-систем: как добывали данные для построения ML (от полуавтоматических инструментов до стриминговых платформ). Как обучить и запустить в продакшн математическую модель на Legacy MES. Решение проблем доставки online-данных для моделей — стриминговые платформы данных.
⠀
3) О модернизации MES — переходим с Legacy на современный стек. Технические, программные и организационных решения для преодоления трудностей внедрения цифровых продуктов.
⠀
До встречи 24 и 25 ноября в Москве 🙌
⠀
✅ Программа конференции и билеты на сайте – https://bx.vc/pkzf3r

Секреты тестирования версий Web API с помощью Behat узнаем из доклада Антона Золотилина
⠀
📋 https://bx.vc/llzpij
⠀

Антон расскажет о популярном для PHP фреймворке для функционального тестирования Behat и языкe Gherkin. О том, как с их помощью они тестируют поведение эндпоинтов своего API, и как они расширили функционал фреймворка для тестирования поведения разных версий API. Как боролись с ростом времени прохождения тестов, обусловленным ростом числа поддерживаемых версий, и как победили этот рост.
⠀
В первую очередь, доклад ориентирован на разработчиков и архитекторов, перед которыми встал вопрос функционального тестирования версий своих webAPI. Возможно, доклад будет интересен тем, кто уже использует функциональное тестирование версионированного API, но ищет способы оптимизации времени прохождения тестов.
⠀
Ждем вас 24 и 25 ноября на HighLoad++ 2022 🙌
⠀
✅ Подробно о конференции, расписание и билеты на сайте – https://bx.vc/hcmtja

Друзья, зацените ролик Saint HighLoad++, очень тёплая получилась конференция :)

События этого года встревожили всех, но особенно всколыхнули российское IT-сообщество. Ушли иностранные компании, появились проблемы с железом и многим другим.
⠀
Поэтому, сейчас всех интересует вопрос: «А что же будет дальше?». Чтобы ответить на него, технологический эксперт Kaspersky Product Studio Константин Кичинский составил прогноз, который начал собирать в конце февраля этого года и впервые представил весной на конференции Highload Foundation.
⠀
Его модель описания технологической экосистемы оказалась достаточно верной. Прогноз на ее основе сбылся на 82%. Поэтому модель вполне можно применять и использовать для прогнозирования дальнейших событий.
⠀
Читайте подробнее ⤵️
⠀
https://bx.vc/few412

С чего начинается биллинг облачных сервисов? Узнаем из доклада Сергея Нечаева, разработчика биллинга в Яндекс Облаке
⠀
📋 https://bx.vc/hltkta
⠀
Сейчас биллинг Yandex Cloud обрабатывает около 4,2 миллиарда метрик от сервисов в сутки, а задержка с момента, когда что-то случилось, до того, как это отразится в детализации, составляет единицы минут.
⠀
Сергей расскажет, как они проектировали биллинг, какие вопросы задавали сами себе, какие архитектурные решения выдержали проверку временем, а какие нет.
⠀
В частности, рассмотрим:
⠀
• как строить объектную модель;
• масштабируемость: что будет, если пользователей, продуктов или данных станет больше в 100 раз (спойлер: так и вышло);
• механизмы доставки данных о потреблении: push, pull, message queue;
• OLTP для потоковой обработки и OLAP для тяжёлой аналитики.

⠀
🖐 Ждем вас 24 и 25 ноября на HighLoad++ 2022
⠀
✅ Программа конференции и билеты на сайте – https://bx.vc/ynofg2

Илья Орлов расскажет про укрощение мифического чудовища: реальный опыт промышленного использования ScyllaDB без прикрас
⠀
📋 https://bx.vc/7eqfeu
⠀
"Кассандра - прошлый век", - говорили они, - "Переходите на Сциллу". Написана на плюсах, быстрая, надежная, с шардированием из коробки. Как тут удержаться и не попробовать? Тем более в условиях, когда вендоры других популярных баз данных того и гляди закроют поддержку для российских пользователей. Всё-таки хочется иметь под рукой пару-тройку запасных вариантов.
⠀
Решились! Нашли время, ресурсы и провели исследование одноглазого монстрика в диких условиях кровавого энтерпрайза. Что из этого вышло — опыт, лайфхаки и выводы о целесообразности использования Сциллы — в докладе Ильи.
⠀
Спойлер: зверушка у них прижилась 😁
⠀
Доклад будет интересен: разработчикам, техлидам и архитекторам высоконагруженных систем, интересующимся NoSQL БД.
⠀
Встречаемся 24 и 25 ноября на HighLoad++ 2022 🙌
⠀
✅ Подробно о конференции, расписание и билеты на сайте – https://bx.vc/mm2jfo

Строим отказоустойчивую инфраструктуру приложения в kubernetes. Принципы, паттерны, приёмы – тема доклада Олега Вознесенского
⠀
📋 https://bx.vc/3f2r64
⠀
Задача обеспечения стабильности и отказоустойчивости приложений остаётся актуальной во все времена. Задача эта комплексная и лежит в нескольких плоскостях:
⠀
- отказоустойчивой должна быть инфраструктура, в которой мы эксплуатируем приложение;
- архитектура приложения должна быть построена с учетом требований по отказоустойчивости.
⠀
С появлением kubernetes у нас появилось гораздо больше возможностей создавать отказоустойчивые приложения, вынося и реализуя паттерны отказоустойчивости в плоскости инфраструктуры.
⠀
Давайте разберём эти возможности и рассмотрим паттерны создания отказоустойчивой инфраструктуры для приложений в kubernetes.
⠀
Целевая аудитория: DevOps и разработчики, эксплуатирующие приложения в kubernetes.
⠀
🖐 Присоединяйтесь к нам 24 и 25 ноября на HighLoad++ в Москве.
⠀
✅ Программа конференции и билеты на сайте – https://bx.vc/42hh6z

Никита Назаров расскажет про омерзительную восьмёрку: техники, тактики и процедуры (TTPs) группировок шифровальщиков
⠀
📋 https://bx.vc/etaejf

Они в «Лаборатории Касперского» провели анализ самых популярных тактик, техник и процедур (TTPs) восьми самых активных групп шифровальщиков: Conti/Ryuk, Pysa, Clop (TA 505), Hive, Lockbit 2.0, RagnarLocker, BlackByte и BlackCat. За исследованный период — с марта 2021 по март 2022 года — операторы этих групп пытались атаковать более 500 организаций в разных отраслях, среди которых промышленность, разработка ПО, строительство. Оказалось, что различные семейства этого вида ПО совпадают более чем наполовину в своих TTPs на протяжении всех этапов цепочки атак.

Узнаем обо всех этапах атаки, излюбленных TTPs злоумышленников и преследуемых ими целях, чтобы помочь понять, как действуют данные группы и как защититься от целенаправленных атак вымогателей.

🙌 Ждем вас на HighLoad++ 2022

✅ Программа конференции и билеты здесь - https://bx.vc/wos2mg

Service Mesh Big Survey – тема доклада Максима Чудновского и Игоря Густомясова
⠀
📋 https://bx.vc/ffr4jo
⠀
Итак, вы решили идти в ногу со временем и добавить в свой кластер Kubernetes первый Service Mesh. От друзей вы слышали, что Istio требует много памяти, прокси в Linkerd очень быстрые, но никто не проверял. А еще все почему-то говорят про Cillium, хотя это CNI-плагин. Настало время все это обсудить!
⠀
В докладе мы разберем:
⠀
1. что такое паттерн Service Mesh и зачем, в принципе, он может понадобиться;
2. все существующие архитектурные подходы к реализации Service Mesh;
3. самые популярные OpenSource-реализации Service Mesh: Istio, Linkerd, Cillium, NGINX Service Mesh и др. Проверим Control&Data planes, познакомимся с User API, узнаем все про возможности расширения и кастомизации;
4. опыт эксплуатации и типовые проблемы Service Mesh в большом и нагруженном продакшне.

⠀
🖐 Встречаемся 24 и 25 ноября на HighLoad++ 2022.
⠀
✅ Программа конференции и билеты на сайте - https://bx.vc/60e30p

🖐️ Друзья, если ваш проект недавно стал высоконагруженным, и вы хватаетесь за голову — как масштабироваться дальше, как поддерживать отказоустойчивость — рекомендуем подписаться на курс HighLoad++ Junior.

➡️ 30 простых и логичных лекций от топовых разработчиков помогут вам понять базовые основы разработки highload-систем. Вы пройдете все этапы от самых общих вещей проектирования до понимания деталей разработки крупных систем и начнёте думать как разработчик высоконагруженных проектов.

Поговорим вот о чём:

- Логика проектирования и архитектура крупных проектов
- Проблемы нагрузки на базу данных
- Масштабирование базы данных через шардирование и партиционирование
- Кеширование, NoSQL, очереди
- Поиск, Hadoop и бинарные хранилища

А если вы и так уже всё понимаете про высокие нагрузки, перешлите этот пост менее опытным коллегам. Ваша команда заработает гораздо эффективнее, если каждый будет понимать основные принципы создания крупных проектов 😉

✅ Подписаться на курс HighLoad++ Junior - https://bx.vc/gz9d0g