Как разрабатываются свободные проекты в команде ALT? Узнаем из доклада Евгения Синельникова.
⠀
ALT Linux Team — это международная команда разработчиков, объединённая вокруг репозитория свободного ПО — проекта Сизиф. Ключевая особенность деятельности команды ALT заключается в открытом подходе к разработке. Все, в том числе и проприетарные продукты компании «Базальт СПО» — дистрибутивы семейства Альт — поставляются в исходном коде, а компоненты, составляющие эти продукты, доступны по свободным или открытым лицензиям (за исключением закрытых драйверов и программных решений некоторых известных компаний).
⠀
Евгений расскажет:
⠀
- Где и как можно встретить наработки команды ALT.
- Какие свободные проекты разрабатывает команда ALT для корпоративных задач.
- Как, вообще, работает модель разработки «бесплатных» программ с точки зрения разработчика.
⠀
🖐 Ждём вас 27 и 28 ноября на HighLoad++ 2023.
⠀
✅ Программа опенсорс-трека и билеты на конференцию на сайте в описании канала @HighLoadChannel

Domain Driven Design — это больно, когда из красивых книг переходит в реальный проект. Дмитрий Анисов расскажет об этой боли на своем опыте, какими решениями она вызвана, про непростые выборы в архитектуре, и как Go-специфика влияет на реализации DDD на практике.
⠀
Узнаем о необходимости DDD, о его плюсах и минусах, зачем стоит использовать данный подход в разработке, и с какими трудностями они столкнулись. Как проектировать внутреннюю архитектуру сервиса так, чтобы было удобно и эффективно работать с ним в будущем.
⠀
Рассмотрим пример одного из сервисов на Go, на основе которого будут разбираться основные детали. Разберём наиболее частые вопросы, которые возникают в процессе внутреннего проектирования сервисов, и проблемы, с которыми сталкиваются разработчики.
⠀
Те, кто не знаком или не имеют опыта работы и написания кода в стиле DDD, узнают, как можно и нужно проектировать сервисы, какие практики и архитектурные стили существуют, если это не обычный CRUD. А те, кто знаком, смогут почерпнуть новые идеи, а также, возможно, получат ответы на вопросы, которые возникали при использовании данного подхода в разработке.
⠀
Встречаемся 27 и 28 ноября на HighLoad++ 2023, в рамках которой проёдет Golang Conf 2023 🖐
⠀
✅ Программа конференции и билеты на сайте в описании канала @HighLoadChannel

Басель Дарвиш расскажет, как они в 1С сделали с нуля веб-фреймворк и панель управления облака на нем.
⠀
Всем нужны платформы для организации своей разработки, чтобы повысить управляемость зоопарком технологий, упростить поддержку своих сервисов (особенно микросервисов), стандартизировать решение одних и тех же задач при запуске каждого нового сервиса, тем самым повысить скорость и качество разработки.
⠀
В 1С уже очень давно строят фреймворки для своих пользователей. И, конечно, при создании своего PaaS-облака, при разработке его слоя управления (админки и control plane) решили использовать свой веб-фреймворк, в котором решены такие вопросы, как управление пользователями и правами доступа, есть встроенный BI для очень наглядных графиков и многое другое.
⠀
Ждём вас 27 и 28 ноября на HighLoad++ 2023 🖐
⠀
✅ Программа конференции и билеты на сайте в описании канала @HighLoadChannel

Как вложиться в Open Source и не прогореть? Узнаем из доклада Антона Виноградова.
⠀
В основе их сервисов лежит Open Source-распределенная база данных — Apache Ignite, точнее, их продукт, на ней основанный.
⠀
Для обеспечения гарантий быстродействия, их кастомерам потребовалось хранить как можно больше данных в оперативной памяти, и они доработали свой продукт. Пошли по пути компромисса между донейшеном в Open Source и приватной фичей и получили плюсы от обоих подходов.
⠀
В докладе пройдем весь путь от постановки задачи до её решения — разработки механизма сжатия данных в памяти. Разберем все варианты реализации сжатия данных в Apache Ignite, включая уже существовавшие, проанализируем подводные камни и бонусы каждого из вариантов, в том числе неожиданные.
⠀
Встречаемся на HighLoad++ 2023 🙌
⠀
✅ Программа опенсорс-трека и билеты на конференцию на сайте в описании канала @HighLoadChannel

Поиск по образцу на последовательностях строк в БД обсудим с Евгением Зверевым.
⠀
Задача поиска по образцу на последовательности строк БД может возникать в различных сферах деятельности. Например, в финансовой аналитике — поиск определённых паттернов изменения цены акций; в системах борьбы с мошенничеством (AntiFraud) — поиск последовательностей событий, которые могут свидетельствовать о подозрительной активности, а также в IoT и многих других.
⠀
Для реализации таких запросов к базам данных в стандарте SQL:2016 была введена конструкция MATCH_RECOGNIZE, которая постепенно появляется в популярных базах данных с тем или иным набором ограничений, т. к. конструкция довольно сложная и имеет большое количество особенностей и режимов работы.
⠀
В своём докладе Евгений расскажет о реализации MATCH_RECOGNIZE в YDB: о том, как это работает под капотом, какие подходы и алгоритмы реализованы, с какими сложностями они столкнулись.
⠀
Отдельная часть выступления будет посвящена отличиям в обработке аналитических запросов на табличках и обработке на потоках «живых» данных. Какие возникают ограничения при обработке потоков, как бороться с большим стейтом, необходимым для накопления цепочек совпадений на сложных образцах и пр.
⠀
Ждём вас 27 и 28 ноября на HighLoad++ 2023 🙌
⠀
✅ Программа конференции и билеты на сайте в описании канала @HighLoadChannel

C Олегом Чирухиным поговорим о том, как создается Java.
⠀
Проекты в Open Source разрабатываются так, что задаёшься вопросом — почему же всё это не превратилось в хаос? Как эти люди, вообще, способны выпустить завершённый, работающий продукт?
⠀
В этом докладе мы поговорим о том, как устроен проект OpenJDK. Он будет интересен тем, кто хочет разобраться в процессах крупного Open Source-проекта и унести что-то себе.
⠀
Встречаемся на HighLoad++ 2023 🙌
⠀
✅ Программа опенсорс-трека и билеты на конференцию на сайте в описании канала @HighLoadChannel

С Иваном Матвеевым обсудим собеседования на senior разработчика: зачем проверять soft skills вопросами на hard skills.
⠀
Представьте, вы пришли на интервью. Какой вопрос будет первым? Что-то про slice или map. А что потом? Ну, наверное, что-то про concurrency и как устроена многопоточка в Go. Вы думаете: «Ну почему опять эти базовые вопросы. Это же так просто».
⠀
Оказывается, большинство ответов на вопросы по hard skills — могут многое рассказать о кандидате-разработчике.
⠀
Из доклада узнаем:
⠀
- что проверяют на «простых» вопросах
- как задачки позволяют понять — впишется разработчик в команду или нет
- какие черты характера можно определить на вопросах по устройству многопоточности в Go
- всё это приправлено вагоном историй и баек из более чем 50 собеседований за 2 года на различные позиции
⠀
🖐 Встречаемся на HighLoad++ 2023, в рамках которой пройдет Golang Conf 2023
⠀
✅ Программа конференции и билеты на сайте в описании канала @HighLoadChannel

Про чистые метки для ML поговорим с Анастасией Беззубцевой.
⠀
Анастасия расскажет про связь качества моделей и меток, на которых она обучена, про способы улучшить качество меток, полученных от крауда (Toloka, MTurk и аналоги). Поделится историями из жизни — плохими и хорошими примерами, как можно организовать сбор меток, и как их качество помогает улучшить распознавание речи, распознавание текста по картинке, синтез речи и другие ML-модели.
⠀
Встречаемся 27 и 28 ноября в Москве на HighLoad++ 2023 🙌
⠀
✅ Программа конференции и билеты на сайте в описании канала @HighLoadChannel

Олег Балбеков поделится (не)удачным экспериментом по выращиванию культуры Open Source.
⠀
Удобно, когда бизнес компании построен вокруг Open Source. Можно заниматься любимым делом и автоматически иметь преимущества при найме, материал для статей, выступлений на конференциях.
⠀
Но что, если вы обычная аутстаффинговая компания? Компания Олега занимается аутстаффом: они нанимают разработчиков, обучают их, и затем они работают на проектах клиентов компании, где редко можно встретить Open Source.
⠀
Несколько лет назад, смотря на успехи Open Source и на то, как они заботятся о своих сотрудниках, Олег решил провести эксперимент. Что, если помогать разработчикам с их начинаниями? Оплачивать личное время работы над проектами, помогать им с дизайном, сайтами для их pet projects. Рассказывать об их Open Source силами редакции компании. Использовать проекты для обучения разработчиков и много чего еще. Олег выделил бюджет, наметил процессы, и эксперимент начался.
⠀
Прошло три года, их проекты имеют тысячи звезд на гитхабе, но последний раз Олег подписывал экспенсы за участие в Open Source больше года назад.
⠀
Это доклад о том, что он хотел сделать, что получилось, а что пошло совсем не так, как ожидалось.
⠀
Ждём вас 27 и 28 ноября в Москве на HighLoad++ 2023 🙌

✅ Программа опенсорс-трека и билеты на конференцию на сайте в описании канала @HighLoadChannel

Firewall в облаке: Никита Ражев поделится способами внедрения в сетевые архитектуры.
⠀
Межсетевые экраны в облаке можно внедрить разными способами и по-разному организовать маршрутизацию. Никита расскажет, как они постепенно, за несколько лет пришли от простых решений к сложным, какие задачи перед ними ставил бизнес. А также какие достоинства и недостатки существуют в выбранных и нереализованных решениях. Поделится своим опытом внедрения и обсудим ваш.
⠀
🖐 Ждём вас 27 и 28 ноября в Москве на HighLoad++ 2023.
⠀
✅ Программа конференции и билеты на сайте в описании канала @HighLoadChannel

Из доклада Дмитрия Латышева узнаем, как они построили модерацию рекламы с нуля и достигли потока 1 млрд вердиктов в сутки.
⠀
Из-за роста объема рекламных объявлений Яндексу требуется модерировать более 1 миллиарда различных объектов в день с минимальными задержками автоматических проверок порядка единиц секунд, при этом добиться высокого качества модерации.
⠀
На входе у них были две системы с неподходящими архитектурами для поставленных ими целей. Первая была написана на устаревших технологиях, что затрудняло развитие и масштабирование, а вторая батчевая система с нетипизированными данными и множеством составных компонентов, не укладывающаяся в требуемые тайминги. В этих условиях было также сложно поддерживать качество вердиктов на достаточном уровне.
⠀
Они решили написать новую модерацию с нуля на основе стримингового фреймворка поверх YTsaurus. В результате они полностью переехали на новую систему, по пути наткнувшись на множество проблем, которые не были видны со старта. В докладе будет рассказано, с какими проблемами им пришлось столкнуться, и как они их решили.
⠀
Ждём вас 27 и 28 ноября в Москве на HighLoad++ 2023 🙌
⠀
✅ Программа конференции и билеты на сайте в описании канала @HighLoadChannel

С Алексеем Дмитриевым поговорим про особенности шин данных для очень больших инсталляций на примере YDB Topics.
⠀
Шины передачи данных используются практически везде, но использование шин данных в очень больших инсталляциях на тысячи серверов накладывает особые требования для работы и приводит к отличиям в работе систем. Поговорим на примере YDB Topics, в чем заключаются эти отличия, как они влияют на архитектуру и эксплуатацию.
⠀
Встречаемся уже совсем скоро на HighLoad++ 2023 🙌
⠀
✅ Программа опенсорс-трека и билеты на сайте в описании канала @HighLoadChannel

Авито.Автозагрузка: от 4 млн до 80 млн активных объявлений. Евгений Толмачев расскажет, как они искали проблемные места для поддержки роста х20.
⠀
Автозагрузка — это инструмент, позволяющий клиентам автоматизировать работу со своими объявлениями. Он состоит из множества сервисов и входит в топ-10 потребителей ресурсов в компании.
⠀
За все время существования они привыкли к линейному росту — каждый год продукт увеличивался в 1,5-2 раза, но в 2021 году все изменилось. Для запуска важных продуктовых инициатив им требовалось поддержать рост х20 и несмотря на то, что они имели неплохой «запас прочности», к таким цифрам не были готовы.
⠀
На Saint HighLoad++ 2023 Евгений уже рассказывал, как они готовили к росту один из своих сервисов. В этот раз он поделится опытом поддержки роста х20 уже на уровне всей компании и расскажет:
⠀
• как они искали узкие места и потенциальные точки отказа среди нескольких десятков сервисов, через которые проходит объявление перед тем, как попасть на Авито;
⠀
• о подходе к нагрузочному тестированию, который позволил им за квартал справиться с задачей, которую они изначально оценили в несколько человеко-лет;
⠀
• об основных проблемных местах в их архитектуре и решениях, которые помогли с ними справиться;
⠀
• о концепте инструмента прогнозирования нагрузки и проактивного поиска проблемных мест, который в будущем поможет исправлять их заранее.
⠀
🖐 Встречаемся 27 и 28 ноября на HighLoad++ 2023.
⠀
✅ Программа конференции и билеты на сайте в описании канала @HighLoadChannel

Частичная модификация объектов в Yandex Object Storage: Александр Снопов расскажет, как они улучшают работу ФС поверх S3.
⠀
Объектные хранилища являются популярными системами хранения данных с отличной масштабируемостью, простым API и подходят для большого спектра задач. Однако для некоторых приложений возможностей стандартного объектного хранилища может оказаться недостаточно, а именно, когда для работы требуется интерфейс ФС.
⠀
Сейчас уже есть возможность работать с Yandex Object Storage как с ФС с помощью GeeseFS, про которую они рассказывали в прошлом году. Но для хорошего решения им сильно не хватало возможности частичной перезаписи объектов - метода PATCH. Про него и будет доклад.
⠀
В докладе Александр расскажет про:
⠀
- задачи, для которых не хватает стандартного S3 API, и хочется работать с хранилищем как с ФС;
- какие возможности предоставляют в этом плане различные облачные провайдеры;
- подробности про то, как они решали эту проблему в прошлом и чего не хватало для счастья;
- технические аспекты реализации частичной модификации объектов, проблемы, с которыми они столкнулись;
- что получилось в итоге, какие возможности дает метод PATCH и что планируется в будущем.
⠀
Ждём вас 27 и 28 ноября на HighLoad++ 2023 🙌
⠀
✅ Программа конференции и билеты на сайте в описании канала @HighLoadChannel

С Максимом Набоких поговорим про Kubernetes без интернета.
⠀
Kubernetes сейчас запускают везде, в том числе и в банках, и в КИИ. Только вот с интернетом там дела не то, чтобы обстоят плохо, его нет от слова совсем.
⠀
В докладе Максим расскажет про установку самого популярного решения для запуска контейнеров там, где не ступал ни один пакет из публичной сети.
⠀
- Рассмотрим целевую схему закрытого контура.
- Отдельно остановимся на нюансах работы инструментов для создания безопасной среды.
- Максим покажет, как они готовят дистрибутив к установке.
- Обсудим нюансы, возникающие на тех масштабах, на которых это делает Флант.
- Не обойдем стороной и доставку приложений в закрытых окружениях.
⠀
Ждём вас 27 и 28 ноября на HighLoad++ 2023 🖐
⠀
✅ Программа конференции и билеты на сайте в описании канала @HighLoadChannel

Eventual consistency в stateful-сервисе обсудим с Дмитрием Исаевым.
⠀
Поговорим вот о чём:
⠀
- Распределенное хранилище размером 80+ Тб.
- Проблемы масштабирования.
- Невозможность строгих гарантий.
- Откуда взялась потребность усложнять простую схему.
- Как изначально звучал продуктовый заказ.
- Как устроена транзакционность в Метрике.
- Какие проблемы возникают, когда появляются связи между пользователями.
- Дмитрий расскажет, как они пошли «в лоб» и к чему это привело.
- Как они пришли к идее «команд».
- Переход к eventual consistency.
- Планировщик и decision maker как участник конвейера.
⠀
Встречаемся на HighLoad++ 2023 🙌
⠀
✅ Программа конференции и билеты на сайте в описании канала @HighLoadChannel

Огорчает ли ChatGPT Даниила Подольского? Расскажут в своём докладе Варвара Подольская и Даниил Подольский.
⠀
Узнаем:
⠀
- Возможно ли пройти собеседование на сеньора при помощи ChatGPT.
- Как использовать ChatGPT эффективно, отвечая на вопросы и генерируя код на Golang.
- Как изменить процесс собеседования, чтобы действительно проверить знания разработчика.
- Что действительно нужно учить в Golang, чтобы соревноваться с ChatGPT.
⠀
Встречаемся на HighLoad++ 2023, в рамках которой пройдёт Golang Conf 2023 🖐
⠀
✅ Программа конференции и билеты на сайте в описании канала @HighLoadChannel

Внутренняя платформа для разработки и разработчиков: за что платит бизнес? Александр Чубинский предлагает «справедливую» модель управления затратами в общей платформе Яндекса.
⠀
Представим, что вы предприимчивый лидер инженерной команды, которая предоставляет зрелую платформу для разработчиков широкому кругу команд в вашей компании. Компания достаточно большая и быстро растет, затраты на платформу становятся видны на основных финансовых радарах. Продукты компании являются или претендуют на то, чтобы быть самостоятельными бизнесами, в любом случае их волнует собственный P&L. В этот самый момент вы можете столкнуться с некоторыми из нижеперечисленных проблем:
⠀
- потребители не знают, во сколько им обходится платформа. Рассматривают ее как условно бесплатное образование и медицину в СССР, с соответствующим отношением — не вдумчивым потреблением;
⠀
- руководство компании не знает, как гибко контролировать траты на платформу, на каких потребителей нужно создавать давление и какое;
⠀
- потребители создают давление на платформу вида «перееду во внешнее облако, там лучше и дешевле»;
⠀
- руководитель платформы сталкивается со сложностями в обосновании роста команды платформы, каждый раз приходится искать новые аргументы;
⠀
- если потребители — самостоятельные бизнесы, то у них возникают сложности с расходными статьями в P&L.
⠀
В рамках доклада мы рассмотрим подход, который позволит перевести вашу платформу на новый уровень зрелости продукта, из состояния «всем всё бесплатно» в состояние вдумчивого и экономного потребления с гибкой и прозрачной системой затрат. Рассмотрим техническую реализацию на примере Яндекса и обсудим варианты экономических моделей.
⠀
Ждём вас на HighLoad++ 2023 🖐
⠀
✅ Программа конференции и билеты на сайте в описании канала @HighLoadChannel