Друзья, у нас открыта продажа видеозаписей докладов Saint HighLoad++ 2023
⠀
В плейлисте 70+ докладов. Программа охватывает такие аспекты веб-разработок, как архитектуры крупных проектов, базы данных и системы хранения, devops и системное администрирование, нагрузочное тестирование, эксплуатация крупных проектов и другие направления, связанные с большими и высоконагруженными IT-системами
⠀
✅Купить видеозаписи можно здесь
⠀
⭐ Топ-5 докладов:
⠀
1) Мы охлаждаем воздухом. Дата-центр Яндекса. Какой он? Егор Гордовский (Яндекс)
⠀
2) Архитектура ленты и рекомендаций ВКонтакте. Андрей Якушев (ВКонтакте, VK)
⠀
3) Авито Автозагрузка: как качать миллионы фотографий в сутки, выдержать кратный рост и не умереть. Евгений Толмачев (Авито)
⠀
4) 5 GB трейсов в секунду, или Как устроена система трассировки в Ozon. Владимир Балун (Ozon)
⠀
5) 7 петабайт логов в Elastic, Как мы это сделали? Роман Николаев (Тинькофф)

Мы находимся в переломном моменте, когда машинное обучение из «творчества» переходит в классическую разработку. Это уже перестаёт быть искусством, в котором человек был «художником», и для творчества остается всё меньше места.
⠀
Лидер направления ИИ из ЕВРАЗ Андрей Зубков расскажет, какие свойства «классической enterprise-разработки» машинное обучение уже адаптировало, а чего до сих пор не хватает и каким будет ML 2.0.
⠀
Откуда и почему возникают проблемы внедрения ML в бизнес и как правильно находить взаимопонимание с заказчиком. Естественно, всё будет с конкретными примерами из профессионального опыта.

✅ Читать статью в нашем блоге на Habr https://habr.com/ru/companies/oleg-bunin/articles/749862/

⚡Объявляем о старте приема заявок на Премию HighLoad++.

HighLoad++ Award 2023 - наивысшая благодарность профессионалам и лидерам интернет-разработки России.

В 2023 году премия будет вручена уже в 3-ий раз в рамках 20-ой конференции разработчиков высоконагруженных систем HighLoad++. Среди победителей прошлых лет - Денис Крючков (Хабр), Пётр Зайцев (Percona), Андрей Бреслав (Kotlin), Олег Бартунов (PostgreSQL), Константин Осипов (Tarantool).

Победителей определяет экспертный совет из 184 представителей IT-отрасли и народное онлайн-голосование.

Заявки на участие в премии принимаются до 31 августа 2023 г.

Начало голосования - 15 сентября 2023 г.

Награждение победителей состоится 27 ноября во время конференции HighLoad++.

Премия может быть вручена профессионалу, сообществу или даже компании. Премия может быть вручена повторно по решению экспертного совета, если для этого имеются весомые предпосылки.

Отправить заявку можно на сайте премии

Привет, друзья!
⠀
27 и 28 ноября в рамках HighLoad++ 2023 пройдет конференция для Go-разработчиков Golang Conf 2023.
⠀
Мы собираем лучшие заявки на тему разработки, поддержки и обслуживания сервисов, разработанных на языке Go, и отбираем доклады на самые актуальные темы. Если у вас есть чем поделиться с нашей аудиторией, подавайте заявку на доклад.
⠀
✅ Доклады принимаем до 3 сентября
⠀
А если у вас есть желание выступить, но пока нет темы, или идея для доклада есть, но не уверены, что она интересна – приходите на встречу в Zoom с Программным комитетом. Мы подскажем, как лучше выбрать и «упаковать» тему.
⠀
📍Встреча пройдет 2 августа в 18:00 (Мск)
⠀
Узнать подробнее о CFP на Golang Conf 2023 можно здесь
⠀
Зарегистрироваться на встречу
⠀
⠀
До встречи!

Всем привет!
⠀
Приглашаем вас 27 и 28 ноября на профессиональную конференцию для разработчиков высоконагруженных систем HighLoad++ 2023, которая пройдет в Москве в Кампусе Сколково. Подготовка у нас идет полным ходом и уже есть первые принятые доклады, о которых сегодня начнем рассказывать.
⠀
Программа конференции охватывает такие аспекты веб-разработок, как архитектуры крупных проектов, базы данных и системы хранения, devops и системное администрирование, нагрузочное тестирование, эксплуатация крупных проектов и другие направления, связанные с большими и высоконагруженными IT-системами.
⠀
✅ На сайте в описании канала можно узнать подробнее о конференции и забронировать билет по самой выгодной цене сейчас @HighLoadChannel

⠀
До встречи!

Мы начинаем знакомить вас со спикерами HighLoad++ 2023 🖐️
⠀
Илья Нечаев в своем докладе расскажет, как они построили платформу данных из 300 витрин общим размером 10,5 ПТб на базе Hadoop и GreenPlum со стабильной обработкой ежедневного инкремента в 15Тб
⠀
Узнаем:
⠀
1. Какую цель решает подразделение и почему без данных эту цель не решить
2. Какая задача стояла перед командой при старте построения дата-платформы
3. Описание реализованного решения - Архитектура и Тех. стек реализации решения
4. Как решали проблемы скорости, надежности и качества расчета
5. Результат, какое велью принесла реализация этого решения
⠀
Встречаемся в Москве 27 и 28 ноября на HighLoad++ 2023 🙌
⠀
✅ Узнать подробнее о конференции и забронировать билет можно на сайте в описании канала @HighLoadChannel

Ставим облачное решение на сервера заказчику: как начать продавать SaaS как on-prem и не сойти с ума? Узнаем из доклада Андрея Чернопятова
⠀
Однажды вы поняли, что чудо-софт, который вы написали для компании, можно продавать таким же серьезным компаниям. Что может быть проще: давайте обменяем программу на деньги! В этом докладе Андрей расскажет, насколько глубока эта кроличья нора:
⠀
• почему технология - это еще не продукт?
• что нужно кроме ПО для энтерпрайз заказчиков?
• как происходят большие внедрения?
⠀
Крупнейшая профессиональная конференция для разработчиков высоконагруженных систем HighLoad++ 2023 пройдет в Москве 27 и 28 ноября 🙌
⠀
✅ Подробнее о конференции и билеты на сайте в описании канала @HighLoadChannel

С Глебом Гончаровым поговорим о SRE-практиках как управлении многоквартирным домом
⠀
Управление инфраструктурой ИТ и управление многоквартирным домом — это сравнимые процессы, которые имеют общие цели: обеспечить бесперебойную работу системы и удовлетворить потребности конечного пользователя. Обе эти задачи подразумевают работу со сложными и многокомпонентными системами, в которых важны безопасность, мониторинг и анализ данных, оптимизация процессов и ремонтоспособность.
⠀
Глеб на своём личном опыте председателя ТСЖ расскажет об общности и разности подходов, а также чему может научиться DevOps или SRE в эксплуатации собственных систем из реального мира.
⠀
Встречаемся 27 и 28 ноября на HighLoad++ 2023 🖐️
⠀
✅ Ознакомиться с уже принятыми докладами в программу и купить можно на сайте в описании канала @HighLoadChannel

Как мигрировать hadoop в облака и не умереть? Узнаем из доклада Михаила Марюфича, руководителя Data Platform в Одноклассниках.
⠀
Для OK Hadoop это ключевой компонент инфраструктуры, он активно используется как для реализации продуктовой аналитики, так и для продакшена рекомендательных систем. С точки зрения объемов это более 200 PB в hdfs, 50k vcores, 200 TB RAM.
⠀
Михаил расскажет об устройстве кластеров в ОК, миграции кластеров во внутреннее контейнерное облако. В докладе ожидаются детали итогового решения, обзор граблей в ходе миграции и преимуществ подхода.
⠀
Встречаемся 27 и 28 ноября на HighLoad++ 2023 🙌
⠀
✅ Узнать подробнее о конференции и купить билет можно на сайте в описании канала @HighLoadChannel

Никита Рьянов расскажет о поставке данных, имеющих сложную иерархическую структуру, в Greenplum

Поставка данных в Greenplum может превратиться в нетривиальную задачу, если речь идет о поставке данных, которые имеют иерархическую структуру и которые нужно атомарно и консистентно разложить по множеству таблиц. Сложности также добавляет необходимость в поддержке DDL-миграций и то, что набор источников может динамически меняться, а поставку останавливать не хочется. Еще интереснее становится, когда источников данных становится другая СУБД.
⠀
В этом докладе Никита хотел бы рассказать о том, как они организовали подобную поставку данных, используя формат данных Avro, Apache Flink, микро-gpfdist'ы и self-service, который позволяет всем этим управлять.
⠀

Встречаемся 27 и 28 ноября на HighLoad++ 2023 🙌
⠀
✅ Программа конференции и билеты на сайте в описании канала @HighLoadChannel

🔺 От дощечки к компьютеру. О пути от ткачества к ЭВМ узнаем из доклада Ирины Шахтариной и Павла Архипова
⠀
Невозможно однозначно судить о времени зарождения искусства и ремесел, корни которых теряются в глубине тысячелетий, а материальные следы непрочны и недолговечны. Но можно попробовать проследить одну из ветвей развития человечества, которая привела к созданию компьютеров и дальнейшему их повсеместному распространению.
⠀
Ирина с Павлом расскажут о развитии такого ремесла как ткачество (процесс переплетения нитей и создания ткани), в результате оптимизации которого был создан ткацкий станок с перфокартами… а там и до ЭВМ пара шагов: вычислительная машина Бэббиджа, язык Ады Лавлейс для её программирования, калькулятор Шойца, табулятор Холлерита, аналоговый компьютер Буша и машина Тьюринга, ну а дальше семимильными шагами в 21 век.
⠀
Также можно будет попробовать работать с ткацкими инструментами и за станком.
⠀
Ждем вас на профессиональной конференции разработчиков высоконагруженных систем HighLoad++ 2023 🙌
⠀
✅ Ознакомиться с программой конференции и купить билет можно на сайте в описании канала @HighLoadChannel

🫥 Как из Python и палок собрать детектор аномалий для highload? Расскажет в своем докладе Евгений Россинский
⠀
При эксплуатации любого сервиса рано или поздно появляются сотни и тысячи графиков, за которыми надо следить, это и RPS, и время ответа, и количество открытых сокетов, и многие другие. В каждом из них могут появляться аномалии, о которых очень хочется своевременно узнавать.
⠀
Евгений расскажет о том, как на коленке написать детектор аномалий, который будет перемалывать несколько тысяч метрик в минуту и работать одновременно с данными из Zabbix, Graphite, Prometheus, Clickhose да и вообще любой БД или системой мониторинга.
⠀
Встречаемся 27 и 28 ноября в Москве на HighLoad++ 2023 🙌
⠀
✅ Программа конференции и билеты на сайте в описании канала @HighLoadChannel

⚡️Сейчас самая выгодная цена билетов
⠀
Друзья, с 1 сентября у нас первое повышение стоимости билетов, сейчас самая минимальная цена. Если забронировать билет до 31 августа, текущая стоимость зафиксируется, а оплатить можно будет в течение нескольких дней.
⠀
Ждем вас на юбилейной, 20-й конференции HighLoad++ 2023 🥳. В этом раз мы объединили две конференции – в рамках HighLoad++ 2023 пройдет конференция для Go-разработчиков Golang Conf 2023.
⠀
И, конечно, первый день традиционно завершим афтепати: фуршет, обсуждение полученной информации, кейсов, собственных задач и все это в неформальной обстановке в кругу единомышленников 😎
⠀
✅ Ознакомиться подробнее с программой конференции и забронировать билет можно на сайте

▶️Всем привет!
⠀
Подготовили для вас полезную подборку видеозаписей докладов Saint HighLoad++ 2022 из секции «Архитектуры, масштабируемость», которые набрали наибольшее количество просмотров.
⠀
1) От 0 до 200 000 000 игроков — об эволюции бэкенда за 40 мин. Андрей Михеев (Pixonic)
⠀
2) Микросервисы через боль и превозмогание. Филипп Дельгядо (lekton.io)
⠀
3) Гибридная архитектура: разделяемый на микросервисы монолит. Станислав Сидристый (ЦРТ)
⠀
4) Граф компонентов: как отобразить 100 компонентов и 500 связей. Анастасия Некрашевич (ЦФТ)
⠀
5) Без A/B — результат XЗ, или Как мы построили платформу A/B-тестов в Ozon. Евгений Пак (Ozon)

Продуктивного просмотра 🙌