Как собрать огромный датасет (и не потратить годовой бюджет маленькой страны)? Расскажут Александр Капитанов и Карина Кванчиани
⠀
📋 https://bx.vc/7kdjlt
⠀
Узнаем, как собрать и качественно разметить большие объемы данных для задачи компьютерного зрения на примере датасета жестов. В докладе пойдет речь о выстраивании автоматизированного пайплайна в 4 шага: сбор данных - валидация - разметка - обучение нейронных сетей.
⠀
Александр и Карина расскажут основные лайфхаки по работе с краудсорсинг-платформами, как снизить общую стоимость проекта и повысить качество финальной разметки. Результаты работы доступны как open-source проект.
⠀
Целевая аудитория: датасаентисты, ML и Data-инженеры.
⠀
✅ Программа конференции и билеты здесь – https://bx.vc/cf1xlv
⠀
До встречи 24 и 25 ноября на HighLoad++ 2022 ✋

💥 Друзья, в этом году в рамках конференции HighLoad++ также пройдет крупнейшая конференция по PHP в России, в программе которой вас ждет:
⠀
▪️20+ докладов от лучших спикеров вселенной PHP
▪️самые актуальные тематики сезона, среди которых: реальный опыт и лучшие практики, внутренности РНР, архитектура и масштабируемость, асинхронные приложения и параллельная обработка, OpenSource и другое
⠀
И конечно опыт реализации крупных проектов на PHP, общение с единомышленниками и море идей для вдохновения
⠀
Ждем вас 24 и 25 ноября в Москве на HighLoad++ 2022 🙌
⠀
✅ Программа конференции и билеты здесь - https://bx.vc/z4rqdt

Почти все продуктовые и технические решения ВКонтакте принимаются на основе метрик. StatsHouse: метрики ВКонтакте – обсудим с Григорием Петросяном
⠀
📋 https://bx.vc/csfzgj
⠀
ВКонтакте живет метриками. Все запуски происходят с оглядкой на метрики – в реальном времени, во время запуска. ВКонтакте пишет 200 миллионов метрик каждую секунду. И все эти метрики ВКонтакте пишет в свою внутреннюю систему, StatsHouse. Григорий расскажет про технические и архитектурные решения, которые принципиально отличают StatsHouse от существующих Open Source решений – в том числе его уникальную Бесконечную® Масштабируемость™. И еще – сделает пока секретный анонс.
⠀
Целевая аудитория: программисты, системные администраторы, аналитики, менеджеры, CTO - все те, кто каждый день пользуется метриками в своей работе.
⠀
Присоединяйтесь к нашей крутой тусовке разработчиков высоконагруженных систем 24 и 25 ноября в Москве 🙌
⠀
✅ Программа конференции и билеты здесь – https://bx.vc/9s2yuh

Как организовать поиск в стартапе, который планирует вырасти до масштабов ВКонтакте? Узнаем из доклада Богдана Гаркушина
⠀
📋 https://bx.vc/m6ewh3
⠀
Когда проект, в котором есть поиск, растет и развивается, растут и требования к поиску. Его нужно менять вместе с усложнением задач.
⠀
В докладе мы вместе с вами попробуем спроектировать архитектуру поисковой системы. Начнем с самой простой, которая позволит быстрее запуститься, и по шагам будем растить проект и вместе с ним модифицировать архитектуру поиска. Ближе к концу доклада дорастем до размеров ВКонтакте и подробно рассмотрим их текущую архитектуру поиска, ежедневно выполняющую поисковые задачи 20 млн пользователей, задающих 250 млн поисковых запросов в день.
⠀
В заключение посмотрим на то, какие есть еще варианты построения архитектуры поиска для нужд крупных проектов, их плюсы и минусы.
⠀
Целевая аудитория: разработчики любых проектов, в которых нужен поиск.
⠀
✋ До встречи на HighLoad++ 2022
⠀
✅ Программа конференции и билеты здесь https://bx.vc/1eifui

Как работает MVCC в in-memory СУБД? Расскажет Александр Ляпунов, он работает в Tarantool-подразделении VK, разрабатывают СУБД Tarantool.
⠀
📋 https://bx.vc/0w0ttu
⠀
Один из ключевых механизмов любой СУБД - это возможность предоставить согласованное состояние данных в базе - "снимка" или "снапшота". Этот механизм используется в первую очередь для организации изоляции транзакций: каждая транзакция видит свою версию состояния базы данных. В сочетании с другими механизмами это порождает технологию MVCC, когда транзакции независимо и одновременно видят каждая свое собственное состояние БД и работают в нем.
⠀
В этом докладе Александр на примере in-memory СУБД Tarantool в памяти расскажет, как устроены снимки данных и MVCC, как и почему эволюционировали эти алгоритмы, во что обходится поддержание этих структур пользователю, как правильно использовать и что ожидать от этих механизмов.
⠀
✋ Ждем вас 24 и 25 ноября на HighLoad++ 2022.
⠀
✅ Программа конференции и билеты здесь - https://bx.vc/z7wliy

Объединение DevOps, SRE, Dev, QA в единый DevOps процесс в банке – тема доклада Алексея Шарапова

📋 https://bx.vc/h1r7t4

Существует мнение, что DevOps работает только в формате небольшой компании и масштабировать очень сложно, и вообще это не применимо к крупным энтерпрайз организациям или необходимо сразу создавать DevOps отдел.

В ходе доклада Алексей хочет раскрыть данную тему и поделиться положительным опытом, на темы:

- как они выстроили работу DevOps, SRE, дежурной application службы без создания DevOps отдела
- как в эту схему вписали Dev и Qa, какую роль они играют
- как масштабировать данную систему при количестве инженеров 50+ и 150+ команд
- как быстро можно расти в данной схеме и не стать винтиком системы
- как проводить онбординг, стажировку
- как учитывать пожелания инженеров и облегчить найм

🖐️ Встречаемся 24 и 25 ноября на HighLoad++ 2022.

✅ Подробно о конференции, расписание и билеты на сайте - https://bx.vc/rwssyx

Про мониторинг черных ящиков и котов в мешке через eBPF поговорим с Петром Бобровым
⠀
📋 https://bx.vc/8tm1ce
⠀
ПО сторонних производителей сложно мониторить из-за отсутствия удобного API, интерфейсов, а также из-за лицензионных ограничений. На помощь приходит eBPF — современная подсистема в ядре Linux, позволяющая вставлять ваши вызовы в любой пользовательский код и некоторые системные функции ядра. Теперь задачу мониторинга может решить даже менеджер, у которого 'лапки'.
⠀
Целевая аудитория: администраторы прикладных систем, ИТ-менеджеры.
⠀
Присоединяйтесь к нам 24 и 25 ноября на HighLoad++ в Москве 🙌
⠀
✅ Программа конференции и билеты на сайте - https://bx.vc/yi71ya

H264 жив – тема доклада Ивана Емельянова
⠀
📋 https://bx.vc/6gl4er
⠀
Видео — основная часть трафика в интернете, для Дзена важно уметь контролировать его рост, ограничивать сверху.
⠀
Иван расскажет про механизмы экономии трафика, которые они реализовали. Для этого пришлось применять такие подходы:
⠀
- подобрать набор оптимальных пресетов для видео;
- уметь быстро категоризировать видео в один из пресетов;
- не ухудшить визуальное качество.
⠀
Целевая аудитория: разработчики видеоплатформ, онлайн-кинотеатров. Разработчики видеокодеков и работающие в сфере обработки видео.
⠀
✋ Ждем вас на крупнейшей профессиональной конференции для разработчиков высоконагруженных систем HighLoad++ 2022.
⠀
✅ Подробно о конференции, расписание и билеты на сайте – https://bx.vc/et47z3

С Дмитрием Евдокимовым поговорим про сочетание несочетаемого в Kubernetes: удобство, производительность, безопасность
⠀
📋 https://bx.vc/znhstq
⠀
В докладе Дмитрий хочет развенчать миф что из 3-х качеств (удобство, производительность, безопасность) одновременно можно выбрать только 2. И все это благодаря новым решениям, подходам, инструментам, которые дружно уживаются и дополняют друг друга в Kubernetes! Поговорим об immutable infrastructure, специализированных Container-Optimized OS, минималистичных образах для микросервисов и многом другом.
⠀
Целевая аудитория: 1) Dev 2) Ops 3) Sec 4) И их комбинации 😉
⠀
📍Встречаемся 24 и 25 ноября на HighLoad++ 2022, Москва, Крокус-Экспо 3, зал 20.
⠀
✅ Программа конференции и билеты здесь - https://bx.vc/81nxqs

Как доставать цены и наличия со всего интернета и доставлять их за минуту до рантайма Поиска по Товарам? Расскажет Илья Кучумов
⠀
📋 https://bx.vc/foezfz
⠀
Недавно Яндекс запустил Поиск по Товарам https://yandex.ru/products. Он позволяет находить актуальные предложения по магазинам со всего интернета. Как с больших маркетплейсов: Ozon, Wildberries, Яндекс Маркет, так и с небольших магазинов размером десятки-сотни товаров, которые невозможно найти без поиска.
⠀
Узнаем:
⠀
- Как устроен парсинг необходимых данных из DOM-дерева при помощи Catboost модели и легких нейронок
- Как сделать парсинг еще быстрее при помощи похостового кеширования результатов
- Как устроена потоковая архитектура парсинга на базе контент системы Яндекс робота
и другое
⠀
Доклад будет построен вокруг практического кейса запуска Поиска по Товарам.
⠀
✋ До встречи 24 и 25 ноября на HighLoad++ 2022.
⠀
✅ Программа конференции и билеты на сайте – https://bx.vc/pv9nxp

AP и CP: пытаемся усидеть на двух стульях и боремся с последствиями – тема доклада Сергея Петренко
⠀
📋 https://bx.vc/ipx3e9
⠀
Алгоритм Raft является классическим примером CP – обеспечивает линеаризуемость в случае разделения сети, но это в определенных случаях приводит к временной потере доступности и на запись, и на чтение до восстановления связности.
⠀
Да, на бумаге всё хорошо. Берём нечётное количество узлов и наслаждаемся работоспособностью кластера и консистентностью данных до тех пор, пока большая часть узлов работает. Однако, эта схема использования идёт вразрез с самой популярной схемой установки БД: равное число узлов в двух ЦОДах. Для Raft это значит, что потеря одного ЦОДа сразу приведёт к недоступности кластера на запись.
⠀
Узнаем о методах, которые применили Сергей с командой, чтобы обнаруживать расхождения и обеспечивать консистентность данных после периода работы в разделенной сети.
⠀
До встречи на HighLoad++ 2022 ✋
⠀
✅ Подробная программа конференции и билеты на сайте - https://bx.vc/ujbfko

Всем привет! Начинаем пятницу с полезного. Делимся с вами видеозаписями докладов HighLoad++ 2021 из секции «Архитектура, масштабируемость», которые набрали наибольшее количество просмотров. Берите на заметку, делитесь с коллегами 😉
⠀
1) Как правильно выбирать очередь. Владимир Перепелица (Mail.Ru Group) https://bx.vc/9row39
⠀
2) Микросервисы с нуля. Семен Катаев (Авито) https://bx.vc/c9winm
⠀
3) Python и Ruby под нагрузкой: самый низкий уровень. Григорий Петров (Evrone) https://bx.vc/7p5btg
⠀
4) API Gateway: пустая трата сил или полезный инструмент? Василий Сошников (Quantil Inc.) https://bx.vc/77nilm
⠀
5) Отказоустойчивое Такси, или Как мы строим надежный сервис. Максим Педченко (Яндекс.Go) https://bx.vc/xw84ue
⠀
Отличных выходных и продуктивных идей после просмотра 🙌

Илья Устинов расскажет доклад на тему: Bare metal k8s или туда и обратно. История Quadcode
⠀
📋 https://bx.vc/8mwe4x
⠀
В докладе мы проследим эволюцию технических аспектов и процессов вокруг их кластеров и предпосылки тех или иных решений. Узнаем, к каким факапам привёл выбор Kubespray, почему команда Ильи сталкивалась со сменой подхода к управлению инфраструктурой каждые два года, и как они решают эту проблему. На цифрах посмотрим, сколько в разное время занимали процессы по раскатке кластера с нуля, добавлению нод, апгрейду версий кластера. И, конечно, поговорим о планах развития, а также о плюсах и минусах разных подходов по сопровождению вашей инфраструктуры под K8S.
⠀
Целевая аудитория: DevOps-инженеры и системные администраторы, которые пользуются opensource/самописными решениями для сопровождения baremetal k8s или задумываются о его внедрении.
⠀
Присоединяйтесь к нам 24 и 25 ноября на HighLoad++ в Москве ✋
⠀
✅ Программа конференции и билеты на сайте – https://bx.vc/iby5d2

О трансформации подхода к хранению и синхронизации писем поговорим с Андреем Колесниковым
⠀
📋 https://bx.vc/xwspew
⠀
Компания МойОфис разрабатывает сразу несколько почтовых решений и имеет большой опыт работы на российском рынке. Андрей отвечает за внедрение продуктов компании и хочет поделиться опытом, накопленным за последние 5 лет.
⠀
На примере продуктов МойОфис он расскажет об эволюции почтовых решений в компании. В частности, проиллюстрирует, как менялись, развивались их подходы к хранению и синхронизации данных. Путь от Dovecot dsync, OpenStack Swift до GlusterFS и DOS, собственного объектного хранилища. Не оставим без внимания проблемы, с которыми они сталкиваются на практике и пути их решения.
⠀
Целевая аудитория: системные администраторы, системные инженеры, DevOps-инженеры, системные архитекторы, системные аналитики, менеджеры ИТ-проектов, ИТ-директора.
⠀
Ждем вас 24 и 25 ноября на HighLoad++ 2022 ✋
⠀
✅ Посмотреть программу конференции и купить билет можно на сайте - https://bx.vc/v58rqo

Экодиктант 2021: highload проект с 0 за 2 месяца – тема доклада Станислава Жуковского
⠀
📋 https://bx.vc/lavr8i
⠀
Станислав расскажет, как они настроили и отправили почти 10 миллионов писем за одну неделю с двух холодных доменов в рамках проводимого мероприятия Экодиктант 2021.
⠀
Целевая аудитория доклада: от системных администраторов и Dev инженеров, до руководителей IT-подразделений и технических директоров
⠀
✅ Узнать подробно о HighLoad++ 2022 и купить билеты на сайте – https://bx.vc/x42p7g
⠀
Встречаемся 24 и 25 ноября в Москве ✋

Нужно прокачать NER модель, но как? Расскажет в своем докладе Прохор Гладких, Lead Data Scientist в команде SmartNLP Sber.Devices.
⠀
📋 https://bx.vc/3nrrwy
⠀
Основные тезисы доклада:
⠀
- Постановка задачи: повышения качества NER модели
- Как избежать распространенных проблем при подготовке датасета?
- Специальный инструмент анализа ошибок модели
- Улучшение процесса разметки и контроль качества
- 2GIS ❤️ NER
⠀
Целевая аудитория доклада: специалисты по машинному обучению в области NLP
⠀
✅ Полная информация о HighLoad++ 2022 и билеты здесь – https://bx.vc/5hfo1y
⠀
До встречи ✋

Всем привет! У нас готовы видеозаписи докладов конференции Saint HighLoad++, которая прошла 22 и 23 сентября в Санкт-Петербурге. В записи 80 докладов с презентациями на самые интересные и актуальные темы, из которых вы узнаете максимальные пределы технологий.
⠀
✅ Купить записи можно здесь - https://bx.vc/w9srzj
⠀
➡️ Обратите внимание на топ-5 докладов, которые набрали наибольшее количество оценок за содержание и подачу:
⠀
1) Service Mesh на стероидах
(часть 2): Zero Deployment Downtime в корпоративных приложениях. Алексей Ефимов (Netcracker) https://bx.vc/wwa9dk
⠀
2) Эволюция распределенных атак в Интернете: 1994 - настоящее время. Георгий Тарасов (Qrator Labs) https://bx.vc/pl4dyo
⠀
⤵️⤵️

3) Под красным флагом: как инженер может понять, что в проекте происходит что-то не то. Даниил Подольский (CryptoWize) https://bx.vc/ypyzdp
⠀
4) Одна платформа, чтобы править всеми. Михаил Кабищев (Ozon) https://bx.vc/hxy6ac
⠀
5) Архитектура: история и будущее на примере ВКонтакте. Александр Тоболь (ВКонтакте) https://bx.vc/1874yg
⠀
🖐 Ждем вас 24 и 25 ноября на HighLoad++ в Москве.
⠀
✅ Программа конференции и билеты на сайте - https://bx.vc/sg90pf

С Ириной Блажиной и Николаем Зайцевым обсудим SSO решение на 5 млн пользователей. Масштабирование от пилотного проекта до федерального уровня
⠀
📋 https://bx.vc/p6g5nf
⠀
У них было порядка 20 клиентских мобильных и веб приложений с локальной аутентификацией, написанных разными командами со своими процессами и уязвимостями. Переключаться между приложениями было сложно, пользователям это не нравилось. Это привело к созданию решения единого входа для клиентов (SSO).
⠀
За 2 месяца внедрили пилот на базе открытого Keycloak и начали постепенно масштабировать его на всю страну. При 300000 сессиях получили даунтайм при обновлениях: пользователи не могли войти в систему около 15 минут. Они снизили время простоя настройками кэширования и модификацией схемы базы данных до 3 минут, но дальше их ждал первый миллион сессий…

⠀
🙌 Ждем вас 24 и 25 ноября на HighLoad++ 2022 в Москве или онлайн по всему миру.
⠀
✅ Программа конференции и билеты на сайте – https://bx.vc/jvi4mf

Про архитектуру надёжной In-Memory-СУБД на примере Tarantool расскажет Владимир Перепелица
⠀
📋 https://bx.vc/vooonk
⠀
База данных в оперативной памяти или in-memory-db — понятие не новое. На сегодняшний день сложилась довольно сильная ассоциация подобных решений со словами «кэш», «неперсистентный» и «ненадёжно».
⠀
Решения в оперативной памяти имеют гораздо более широкое применение, чем кэш. А уровень надёжности не хуже, чем у самых проверенных реляционных БД.
⠀
Владимир расскажет, какие архитектурные подходы позволяют базе данных в памяти быть надёжной, как швейцарские часы. Он рассмотрит устройство Tarantool от входящего запроса до работы синхронной репликации и транзакционного механизма на скорости в 1 000 000 RPS.
⠀
Цель доклада — показать, что in-memory-технологии уже достаточно зрелые и надёжные, чтобы быть основным хранилищем данных в вашем продукте.
⠀
Присоединяйтесь к нам 24 и 25 ноября на HighLoad++ в Москве 🖐
⠀
✅ Программа конференции и билеты на сайте – https://bx.vc/sm3qj5