✋ Филипп Мальковский расскажет, как они адаптировали существующий пайплайн по распознаванию речи для работы в инфраструктуре VK Видео, внедряли новые компоненты и оптимизировали получившееся решение
⠀
📋 https://bx.vc/3l28jl
⠀
Узнаем:
⠀
- как инкапсуляция и переиспользование компонентов на C++ помогли найти компромисс между максимальным переиспользованием существующего решения и минимизацией трафика между серверами
- как реализация в виде нативного процесса позволила гибко и независимо масштабировать пайплайн в инфраструктуре обработки видео и распространить распознавание речи на все популярные и загружаемые ролики
- как выбирали формат субтитров и способ их отображения на клиентах
- с какими неожиданностями при доставке контента через CDN столкнулись после запуска и как смогли все быстро поправить.
⠀
А также, какие возможности для развития продукта открывает распознавание речи, встроенное в пайплайн обработки видео.
⠀
✅ Подробная информация о конференции и билеты здесь – https://bx.vc/l2uzej
⠀
До встречи 🙌

🔥 Вчера у нас состоялась встреча Программного комитета московской HighLoad++ с активистами и докладчиками в Москве. Фото здесь - https://bx.vc/pqfmxy
⠀
Обсудили, куда движется HighLoad++ сейчас. Устроили мозгоштурм. Наметили, что сейчас важнее всего раскрыть в рамках HighLoad++ 2022. Обсудили идеи, запитчили доклады и просто душевно пообщались.
⠀
Спасибо Авито за теплый прием 🙌
Спасибо гостям за отличные и продуктивные посиделки ✋

✋ Друзья, выбирайте свободное время, устраивайтесь поудобнее, потому что мы подготовили для вас следующую подборку полезных видео: 7 популярных докладов Saint HighLoad++ и HighLoad++ 2021 года.
⠀
▪️Что нового в плане мониторинга в PostgreSQL. Алексей Лесовский (Data Egret) https://bx.vc/i9qrtm
⠀
▪️Как мы перевели десятки миллионов пользователей на новый сетевой протокол. Олег Смирнов, Алексей Никитин (ВКонтакте) https://bx.vc/lm8a6f
⠀
▪️ML в промышленности: задачи и проблемы. Андрей Зубков (Евраз) https://bx.vc/szxk6h
⠀
▪️SQL_JSON в PostgreSQL: настоящее и будущее. Олег Бартунов (Postgres Professional) https://bx.vc/yk447k
⠀
▪️Как прикрутить SQL к чему угодно при помощи Apache Calcite. Роман Кондаков (Querify Labs) https://bx.vc/vjxfuf
⠀
▪️Зачем и как мы разработали свою серверную материнскую плату. Максим Лапшин (Erlyvideo) https://bx.vc/5t0a6j
⠀
▪️Инциденты и коммуникация: что, как и зачем говорить, когда все сломалось. Виктор Попов (X5 Retail Group) https://bx.vc/3jfpii
⠀
Приятного просмотра 🙌

🔺 Внимание🔺
⠀
➡️ 12 августа - окончание приема докладов на конференцию HighLoad++ 2022, которая пройдёт в Москве 24 и 25 ноября. Решение по каждому докладу примем 9 сентября.
⠀
Тематика конференции охватывает все, что актуально для специалистов, работающих или планирующих работать с системами высоких нагрузок и реального времени, крупных и сложных проектов:
⠀
▫️Архитектуры, масштабируемость
▫️Базы данных и системы хранения
▫️BigData и машинное обучение
▫️Нейронные сети, искусственный интеллект
⠀
и другие направления, связанные с высоконагруженными системами.
⠀
Всем нашим спикерам мы помогаем с подготовкой презентации и самого выступления, дарим билет на конференцию и (если нужно) оплачиваем проживание и дорогу.
⠀
✅ Подавайте заявку - https://bx.vc/3pxhlk
⠀
✅ Все подробности по ссылке - https://bx.vc/emzvxr

📍 Про автоматический подбор параметров для Spark-приложений: как запускать больше на ограниченном кластере и не тратить время инженеров расскажет Валерия Дымбицкая - техлид команды ML Data в OneFactor
⠀
📋 https://bx.vc/lh2b8t
⠀
Валерия с командой научились каждой модели автоматически выдавать оптимальные ресурсы в Hadoop-кластере без участия человека. В их кластере запускаются сотни ежедневных и тысячи ежечасных Spark-расчётов, все очень разные и со своим SLA. В такой ситуации тюнить силами инженеров нереально. Поэтому они построили и внедрили полностью автоматическую систему тюнинга, а в результате увеличили пропускную способность кластера в четыре раза.
⠀
Валерия расскажет, как устроен подбор параметров и что позволяет ему работать автономно, а также поделится проблемами, с которыми они столкнулись в процессе внедрения и эксплуатации.
⠀
Встречаемся 22 и 23 сентября 🙌
⠀
✅ Подробная информация о конференции и билеты по ссылке - https://bx.vc/t2uu1r

👉 Ван Хачатрян расскажет про "ML свадьбу" между миллионами товаров, и как выдержать нагрузку в потоке
⠀
📋 https://bx.vc/qihqek
⠀
Узнаем, как удалось построить крутой real-time алгоритм матчинга для товаров на огромной e-commerce площадке. Задача была не из простых и заслуживает целый доклад.
⠀
Раньше их алгоритмом могли пользоваться только они, а теперь — любой разработчик компании.
⠀
Команде удалось сохранить высокие нагрузки, отказавшись от batch-подхода при онбординге большого количества новых товаров, которые у них представлены в виде длинных векторов. Речь пойдет об используемых технологиях, а также ML/DL подходах, которые они используем при сопоставлении и ранжировании товаров.
⠀
Из доклада узнаем:
⠀
1. Про задачу и цель
2. Стэк и технологии
3. Метрики и мониторинг на всех уровнях
4. Про ML и используемые SOTA подходы
5. Как они борются с деградацией своих моделей
6. Нагрузки и поток данных, с которым приходится работать
⠀
✅ Информация о конференции и билеты здесь - https://bx.vc/9lkrft
⠀
Приходите 🙌

💥 Как выжить под нагрузкой, имея 100ТБ в нешардированной MongoDB? Обсудим с Андреем Комягиным, CTO компании STM Labs
⠀
📋 https://bx.vc/h60lmd
⠀
Очень часто, особенно на начальном этапе развития системы/проекта, в погоне за функциональными возможностями, у нас банально не хватает времени подумать о том, что будет в долгосрочной перспективе с жизнеспособностью созданного решения под нагрузкой. К тому моменту (когда возникают проблемы) накопленные объемы данных могут исчисляться десятками и даже сотнями терабайт.
⠀
Взяв за основу реальный проект очень большой track & trace системы, Андрей покажет, что именно происходит с системой класса big data, в которой по разным причинам откладывали переход на использование шардированной архитектуры хранилища под нагрузкой. И самое главное, как выжить в этих условиях, меняя архитектуру решения на лету без downtime (DT).
⠀
Встречаемся 22 и 23 сентября на Saint HighLoad++ ✋
⠀
✅ Информация о конференции и билеты по ссылке - https://bx.vc/wx4y1t

📍"Канал. Продукт. Платформа" или эволюция подходов к развитию мобильного банка Тинькофф – тема доклада Александра Поломодова, руководителя управления разработки цифровых экосистем в Тинькофф
⠀
📋 https://bx.vc/135u09
⠀
Александр расскажет историю развития большого проекта, а именно: как менялись требования бизнеса, схема управления командами и архитектура приложения. Как они прошли путь от одной общей мобильной команды к ~ 50 отдельным командам, среди которых 5 являются чисто платформенными командами.
⠀
Узнаем, как они дошли до формулирования принципов и правил платформы МБ, без которых дальнейшее развитие было бы невозможно. Отдельно расскажет про две текущие задачи, которые приводят к очередному организационному редизайну и изменениям в архитектуре:
⠀
1) выделение сквозных кросс-функциональных команд, условно, МБ <-> API <-> backends;
2) улучшения архитектурных подходов в интеграции МБ и API
⠀
Встречаемся на Saint HighLoad++ 22 и 23 сентября ✋
⠀
✅ Подробно о конференции и билеты здесь - https://bx.vc/x4r9uw

👉 Про надежность высоконагруженных С++ приложений в Яндекс.Маркете поговорим с Кириллом Гореловым
⠀
📋 https://bx.vc/3fbroq
⠀
В этом докладе Кирилл прольет свет на основные проблемы надежности высоконагруженных приложений, написанных на C++, с которыми им пришлось столкнуться в Яндекс.Маркете, и мы поговорим о методах их решения. Речь пойдёт и о поиске, который отвечает на запросы пользователей, и о пайплайнах подготовки данных, которые строят поисковые индексы.
⠀
Кирилл расскажет, как они измеряют надёжность сервиса, с какими причинами падений они сталкивались и какие инструменты и автоматику реализовали для предотвращения инцидентов и их быстрого устранения.
Также затронет тему инцидент-менеджмента в Яндекс.Маркете и расскажет про их практики быстрого тушения "пожаров".
⠀
🔺Внимание, с 1 сентября цена на билеты вырастет, успевайте забронировать по текущей стоимости
⠀
✅ Информация о конференции и билеты по ссылке – https://bx.vc/zp56d9
⠀
До встречи!

➡️ Блокчейн в корпоративной архитектуре - дань моде или необходимость? Узнаем из доклада Дениса Васина, CTO в компании Waves Enterprise
⠀
📋 https://bx.vc/pf74me
⠀
Блокчейн — пожалуй, одна из самых противоречивых технологий современности. Модная игрушка или ценный инструмент?
⠀
Пока вы ищете ответ на этот вопрос, одно из самых цифровых ведомств в РФ — Федеральная Налоговая Служба — уже внедрило блокчейн и развернуло крупнейшую в России блокчейн-сеть.
⠀
На этом докладе мы узнаем, как построить блокчейн-сеть федерального масштаба, справиться с нагрузкой, разработать собственный алгоритм консенсуса и подключить к блокчейн-сети более 100 организаций.
⠀
✅ Подробно о Saint HighLoad++ и билеты по ссылке - https://bx.vc/e2d4jq

До встречи 22 и 23 сентября 🙌

⚡️ Прокачайте свои hard- и soft-skills и сэкономьте до 30%
⠀
🔥 Отличная возможность выгодно купить билеты на две конференции в сентябре:

✔️ для разработчиков высоконагруженных систем Saint HighLoad++
✔️ для тимлидов, руководителей и топ-менеджеров Saint TeamLead Conf.
⠀
При покупке мультибилета сразу на обе конференции, вы получаете скидку:
⠀
▪️30% при покупке онлайн-билета
▫️20% при покупке офлайн-билета
⠀
Вас ждут уникальные программы каждой конференции, решения конкретных задач, обмен опытом с лидерами отрасли, общение с единомышленниками, вдохновение, позитив и энергия. Не упустите шанс первыми узнать о новейших технологических решениях IT-индустрии и полезный опыт в управлении.

⠀
➡️ Купить билет и подробно узнать программы конференций можно по ссылке - https://bx.vc/3vwpx3
⠀
🙌 Встречаемся в Санкт-Петербурге:
⠀
22 и 23 сентября на Saint HighLoad++
26 и 27 сентября на Saint TeamLead Conf

🗓 Друзья, у нас готово финальное расписание конференции Saint HighLoad++ ➡️ https://bx.vc/73ask0
⠀
Изучайте и планируйте свое участие. Встречаемся 22 и 23 сентября в Санкт-Петербурге 🙌

💥 Анастасия Некрашевич последние 8 лет разрабатывает бэкенд на Java для интернет-банков в ЦФТ. На Saint HighLoad++ она расскажет про граф компонентов: как отобразить 100 компонентов и 500 связей
⠀
📋 https://bx.vc/t3bnuo
⠀
Все мечтают распилить свой монолит на микросервисы или пишут микросервисную архитектуру с самого начала, если им повезло. С ростом микросервисов растет и количество связей между ними, а если и с самого начала проект подразумевает много интеграций, то вскоре для схемы взаимодействия не хватит не то, что монитора, но и ватмана.
⠀
В своем докладе Анастасия расскажет, с какими проблемами они столкнулись при визуализации интеграций продукта при его активном росте и развитии и каким инструментом решили задачу отображения более 500 связей для более 100 компонентов.
⠀
Встречаемся 22 и 23 сентября в Санкт-Петербурге 🙌
⠀
✅ Прочитать подробно о конференции и купить билеты здесь - https://bx.vc/9y10s6

➡️ Про Technical governance IDP (Internal Developer Platform) для 7000 разработчиков узнаем из доклада Дмитрия Гаевского
⠀
📋 https://bx.vc/05jy11
⠀
Дмитрий расскажет:
⠀
- Как приняли решение делать IDP и почему.
- Какие главные вызовы были перед новой командой.
- С чего начали делать платформу, какие были приняты ключевые архитектурные решения.
- Как справлялись с ростом вовлеченных в разработку людей на порядок.
- Использование практик API Managment для контроля за целостностью платформы.
- Как обеспечивается качество и доступность системы, разрабатываемой также и не напрямую подчиненными командами.
⠀
В конце ретроспективно взглянем на то, что у них получилось сделать всего за 2 года.
⠀
🔺Внимание, с 1 сентября цена на билет вырастет. Успевайте забронировать по текущей стоимости.
⠀
🙌 Встречаемся на Saint HighLoad++ 22 и 23 сентября - https://bx.vc/0wkrgw

✋ Мне нужна твоя поддержка: как запустить чат-бот на пяти языках, быстро без разметки и смс – тема доклада Алексея Принькова
⠀
📋 https://bx.vc/wfqhq7
⠀
Узнаем, как они решили проблему увеличения нагрузки на клиентские сервисы продукта, а именно — на агентов поддержки в чатах. Им не подошло проприетарное решение из-за специфики мультиязычности — это сложно; тарификации каждого решенного чата — это дорого, а переход на новую систему поддержки из-за выстроенных процессов оценивался как трудоемкий и долгий. Алексей с командой разработали собственный чат-бот, способный общаться с клиентами на нескольких языках и самостоятельно закрывать чаты, решая вопросы клиентов.
⠀
Перед имплементацией решения за короткое время им удалось проверить гипотезу о том, что чаты, в принципе, могут быть закрыты ботом, оценить, с какой эффективностью это может происходить и как можно выделить направления для автоматизации сценариев.
⠀
🙌 Встречаемся 22 и 23 сентября
⠀
✅ Подробно о конференции и билеты здесь - https://bx.vc/hetmv9

➡️ Про свой распределенный S3 на базе MinIO - практический опыт наступания на грабли расскажет Алексей Плетнев
⠀
📋 https://bx.vc/uo1ujj
⠀
Любому проекту требуется где-то хранить свои данные. Если это не тестовая среда, хранилище должно быть надёжным, отказоустойчивым и достаточно быстрым для решения стоящих задач. При планировании такого проекта на ум любого архитектора сразу приходят S3-совместимые хранилища вроде Amazon AWS, Google Cloud Storage и т.п. Однако при действительно больших объёмах данных даже приблизительно ожидаемые цифры, выдаваемые калькулятором стоимости, способны повергнуть в шок любого финансового директора.
⠀
Алексей поделится своим опытом внедрения, совершёнными ошибками. В выводах резюмирует — стоит ли игра свеч, пошёл бы он снова по этому пути и сколько на самом деле стоят бесплатные решения. И главное — с конкретным цифровым выражением материальных, моральных и физических затрат.
⠀
✅ Подробно о Saint HighLoad++ и билеты по ссылке – https://bx.vc/g3zj8e
⠀
До встречи!

🔥 Для тех, кому надоели рассказы про классную автоматизацию — история становления PerfOps подхода в Самокате от SRE-тимлида Кирилла Юркова. Он приведет примеры, как они у себя решили проблемы нагрузочного тестирования и производительности на проде. Расскажет какие грабли им попались на этом непростом пути и какие трудности в итоге удалось преодолеть.
⠀
https://bx.vc/f3x573

🔥 Saint HighLoad++ это самая высокая концентрация лучших IT-профессионалов страны. Познакомьтесь с нашими докладчиками-звездами, а на конференции вы сможете пообщаться с ними лично, задать вопросы, получить решение и вдохновиться новыми идеями 🙌
⠀
1) Архитектура ВКонтакте: история и будущее. Александр Тоболь (ВКонтакте) https://bx.vc/5n8bdk
⠀
2) Про историю и будущее поиска. Андрей Аксенов (Авито, Sphinx) https://bx.vc/ocrfae
⠀
3) Postgres от начала веков и до наших дней. Олег Бартунов, Иван Панченко (Postgres Professional) https://bx.vc/20a61m
⠀
4) Языки программирования: прошлое, настоящее и будущее. Дмитрий Завалишин (ГК Digital Zone) https://bx.vc/zt7hrt
⠀
5) Под красным флагом: как инженер может понять, что в проекте происходит что-то не то. Даниил Подольский (CryptoWize) https://bx.vc/olhaue
⠀
6) "Канал. Продукт. Платформа", или Эволюция подходов к развитию мобильного банка Тинькофф. Александр Поломодов (Тинькофф) https://bx.vc/ol5otl

😎 Присоединяйтесь к очень крутой тусовке - https://bx.vc/4vox91

🔥 СУБД возникли гораздо раньше, чем люди это осознали. Олег Бартунов и Иван Панченко расскажут про Postgres от начала веков и до наших дней
⠀
📋 https://bx.vc/d8qg6c
⠀
Из доклада узнаем:
⠀
- когда была создана первая база данных, и когда людям потребовалась СУБД
- как менялись представления человечества о том, какой должна быть СУБД, и почему язык SQL возник именно тогда, когда он возник
- какие были периоды дикого хайпа вокруг тех или иных фич СУБД и во что они вылились
- как Стоунбрейкер пришел к идее Постгреса и зачем
- кто основные контрибьюторы в Постгрес и в чём их вклад
- меняют ли технологии СУБД мир, если да, то как
- чем отличается сообщество Постгреса сейчас от того, каким оно было в прошлом веке и почему, насколько это применимо для других сообществ СПО
- в чем причины роста популярности Постгреса
- история от самого известного российского постгресиста — что значит Постгрес для него лично.
⠀
Ждем вас 22 и 23 сентября в Петербурге ✋
⠀
✅ Программа конференции и билеты здесь - https://bx.vc/munycy

⚡️ С 1 сентября цена билетов на конференцию Saint HighLoad++ станет максимальной ⚡️
⠀
Друзья, самое время бронировать билеты, чтобы успеть по текущей стоимости:
⠀
▪️Офлайн участие – 52000 руб.
▫️Онлайн участие – 26000 руб
⠀
После брони у вас будет еще несколько дней для оплаты.
⠀
На Saint HighLoad++ вы узнаете и получите:
⠀
- узнаете, как развиваются и будут развиваться популярные технологии,
- как работают технологии будущего,
- внутрянку мета-технологий
- получите алгоритм выбора хранилища под задачу
- обменяетесь опытом с крупнейшим интернет-сегментом мира
⠀
Присоединяйтесь 22 и 23 сентября 🙌
⠀
✅ Забронировать билеты по ссылке - https://bx.vc/edhnjh