В декабре 2019 года AWS анонсировала новые инстансы EC2 на процессорах Graviton2 с архитектурой ARM.

Михаил Голубев, архитектор AWS, и Дмитрий Иванов, руководитель самого высоконагруженного проекта IPONWEB, расскажут нам про их отличия от других инстансов, почему мы можем захотеть использовать ARM для своих задач, представят лучшие практики и, поделятся опытом миграции из первых рук. Обсудим, как компания IPONWEB перенесла на новые инстансы одно из своих приложений, с какими проблемами столкнулись и как решили 👉🏻 https://clck.ru/X47F6

✅Встречаемся на Saint HighLoad++ 20 и 21 сентября в Петербурге. Полная программа, расписание и билеты https://clck.ru/X47Gw

🔥 Как сэкономить полтора года и 70 миллионов при покупке железа для облачного провайдера или хостинга?

Если развивать проекты в этой нише, выбрав неверную конфигурацию серверов, можно не только потерять деньги и время, но и подвергнуть большим рискам себя и клиентов.

😎 Сергей Наумов и Павел Леонтьев из Timeweb расскажут, как надо и, главное, как не надо выбирать железо. Поделятся своими ошибками, чтобы вы не совершали собственные и сразу пришли к лучшему экономическому результату, к которому стремится любой бизнес https://clck.ru/X48JU

✅Успейте запланировать своё участие в Saint HighLoad++. И, если вы ещё не купили билет, то самое время это сделать. Расписание уже на сайте 👉https://clck.ru/X4Atv

Давайте вместе с Алексеем Шараповым из ЦРПТ обсудим инфраструктуру как микросервисы.

Подход IaC позволяет решать множество задач, оптимизировать работы с инфраструктурой и создавать надежные системы. Количество и качество инфраструктурного кода растет, но разработчики часто забывают, что кроме унификации и best practice в инструментах, есть еще практики, наработанные разработчиками за многолетнюю историю, в том числе в разработке микросервисов.

В ходе доклада Алексей поделиться с нами тем, как применять подходы, принятые в разработке микросервисов к инфраструктурному коду, зачем это нужно и какие проблемы это решает, а также — как это помогает бизнесу уменьшить затраты на поставки в продакт-среду https://clck.ru/X8dnX

✅Успейте запланировать своё участие в Saint HighLoad++. И, если вы ещё не купили билет, то самое время это сделать. Расписание уже на сайте 👉 https://clck.ru/X8dnm

Разрабатывать конкурентные системы сложно. Самые плохие ошибки закрадываются в алгоритм еще на стадии проектирования, не находятся никакими тестами и ждут реальной нагрузки и своей уникальной последовательности событий, чтобы взорваться и всё испортить.

Находить такие ошибки можно, даже не написав ни строчки кода — если пользоваться методами формальной верификации алгоритмов. Таких методов много. Вместе с Алексеем Найденовым (ITooLabs) поговорим про TLA+/TLC, про PlusCal — транслируемый в TLA+ язык спецификации алгоритмов специально для инженеров, про инструментарий, а также про практики применения TLA+/TLC в реальных проектах https://clck.ru/X9JVa.

Осталось совсем мало времени, чтобы забронировать по выгодной цене свое участие в Saint HighLoad++. Торопитесь! Программа и билеты https://clck.ru/X9JWK

🔥 С 1 сентября цены на Saint HighLoad++ 2021 вырастут. Вы можете забронировать билет, зафиксировать цену ещё на несколько дней и оплатить позже.

До нашей встречи в Питере осталось ровно три недели! Расписание готово. Спикеры конференции оттачивают свои доклады, партнеры подготавливают задачки, квизы и мерч. А мы готовим все для идеального нетворкинга.

На конференции вас ждут 2 дня живого общения, знакомство с современными подходами в разработке, обзор лучших практик и перспективных технологий. Поговорим о железе, SRE, базах данных, рекомендательных системах и много ещё о чем.

📍 И все это офлайн! Место встречи — Санкт-Петербург, DESIGN DISTRICT DAA in SPB.
До встречи 20 — 21 сентября!

Переходите на сайт , изучайте программу и бронируйте билет до повышения 👉🏻 https://clck.ru/XA4Gx

«В чём сила, брат?», или зачем нужен Источник Правды

Алексей Учакин из ECOMMPAY IT рассказал как навести порядок в описании инфраструктуры и создать свой Источник Правды (Source of Truth). Для чего это нужно? Чтобы всегда иметь под рукой самые свежие и достоверные данные о вашей системе, которыми смогут пользоваться все ваши коллеги. Подход дает возможность избавиться от информационного шума, оставить только актуальные данные и автоматизировать то, что можно автоматизировать, например генерацию ip-адресов, ID и других данных. А в случае возникновения проблем, вы всегда быстро разберетесь, что именно сломалось и восстановите работоспособность системы.

Подробности в нашей статье https://habr.com/ru/company/oleg-bunin/blog/574762/

Yandex Database (YDB) является платформой, на которой построено много сервисов — от баз данных до виртуальных дисков в Я.Облаке, на ней построены сервисы персистентных очередей и мониторинга.

Подсистема хранения в YDB спроектирована и построена для работы с дисками напрямую, без использования файловой системы. Помимо очевидных неудобств, это предоставляет большую свободу работы с дисками. В докладе подробно расскажу о том, как это помогает делать систему быстрее, надежнее и при этом меньше изнашивать диски.

За годы эксплуатации сотен тысяч дисков нами накоплено много статистики видов и причин отказов дисков. Владислав расскажет каким образом они обезопасили себя от потери данных и какие коварные отказы дисков встречаются https://clck.ru/XAPXn

🔥Покупайте билеты на сайте до 31 августа, пока они не подорожали https://clck.ru/XAPZQ
Ждём вас на Saint HighLoad++!

В этом ноябре впервые пройдет TestDriven Conf — профессиональная конференция, посвященная автоматизации в тестировании и рядом. На ней пойдет речь о топовых технологиях, а также решениях, которые упрощают работу уже здесь и сейчас.

Мы поговорили с главой программного комитета TestDriven Conf Екатериной Семеновой о насыщенной программе конференции. А ещё о том, почему тестировщикам хочется увидеть хардкорные доклады, а не пиар компаний, о взаимосвязи тестирования и науки и о важности понимания юридических правил на удалёнке.

⚠️TestDriven Conf 2021 пройдёт 1-2 ноября в Москве. Первые доклады уже приняты в программу. Call for Papers открыт до 5 сентября. Подробности о том, как стать спикером здесь.

Data Driven подход в свежем выпуске подкаста The Art Of Programming с Максимом Лапшиным.

В программе: свое железо и проблема чипов , управление по данным, данные в натуральном выражении, первичка и хранение. А также Xsolla, налоговая и автоматизация.

📻 Слушаем свежий выпуск https://www.youtube.com/watch?v=1oQx5ZVN1bU

Иван Гаас, DevOps Community Lead в Почтатех, расскажет о корпоративной шине данных - системе, которая выполняет у функцию интеграции между всеми сервисами компании (а их более 300).
Иван поделится для чего необходима такая система и как выглядит ее архитектура. Как они выбирали, на чем построить систему и какие инфраструктурные требования предъявляли. Ну и в завершении, обсудим производительность системы, метрики и стабильность https://clck.ru/XEc7M

✅Встречаемся на Saint HighLoad++ 20 и 21 сентября в Петербурге. Полная программа, расписание и билеты https://clck.ru/XEc8p

На горизонте всё чаще и чаще маячит новый базворд FinOps. В свежем выпуске подкаста linkmeup будем разобраться, какое отношение этот гомункул из бухгалтера и сисадмина, имеет к IT.

Вдруг окажется, что имеет...
Так что слушаем новый linkmeup LTE и делаем выводы.

https://linkmeup.ru/podcasts/1866/
https://www.youtube.com/watch?v=zuD_TqmpET8

Доклад Алексея Ефимова (Netcracker) основан на кейсе по разработке Enterprise-grade-приложения, состоящего из десятков приложений, слабо связанных друг с другом, разрабатываемых разными командами, с разными моделями релиза и т.д. Суммарно размер такого решения может составлять несколько сотен различных юнитов, преимущественно микросервисов. Между этими юнитами нужно построить управляемое взаимодействие, учитывая множество специфических ограничений и условий.

На помощь приходит такая концепция, как Service Mesh и идея применить "микросервисную модель" и к структуре Service Mesh. В результате был разработан Non Uniform Service Mesh (NUM), который представляет собой продукт и набор паттернов его применения.

На примере крупного приложения разберем типовые паттерны применения NUM https://clck.ru/XFsEx

✅Встречаемся на Saint HighLoad++ 20 и 21 сентября в Петербурге. Полная программа, расписание и билеты https://clck.ru/XFsFd

Константин Еремин из «Selectel» делится опытом по изменению архитектуры облака на OpenStack. Помогает разобраться, как определить масштаб проблемы, разбирает различные инструменты и на примерах рассказывает как настроить Apache Airflow.

Вы получите наглядную схему реализации отказоустойчивости клиентской архитектуры поверх облака, с учетом высокого роста и темпов его развития. А также возможность вносить изменения в архитектуру облака в том время, как клиенты продолжают пользоваться сервисами.

https://habr.com/ru/company/oleg-bunin/blog/554670/

🔷20-21 сентября в Петербурге состоится Saint HighLoad++ 2021. Традиционно — с секцией DevOps. Присоединяйтесь!

Как устроена рекомендательная система Дзена?
Расскажет Дмитрий Кондрашкин на Saint HighLoad++ https://clck.ru/XFvQ3

🔹 как из десятка миллионов документов за несколько сотен миллисекунд отобрать самые релевантные пользователю айтемы;
🔹 как построили near-realtime-контур обработки пользовательских событий для подсчета embedding’ов, который суммарно за день обрабатывает больше 10 миллиардов событий;
🔹 как считают фичи для документов и доставляют их в продакшн;
🔹 как обновляют ML-модели в продакшне и перестраивают профили всех документов и всех пользователей.

✅Успейте запланировать своё участие в Saint HighLoad++. И, если вы ещё не купили билет, то самое время это сделать. Расписание уже на сайте 👉 https://clck.ru/XFvQm

Рассмотрим в деталях работу рекомендаций Яндекс.Музыки. Даниил Бурлаков расскажет нам:

🔸 как рекомендовать десяткам миллионам пользователей музыку из более чем 70 миллионов музыкальных композиций и при этом учитывать действия пользователя, произошедшие менее чем секунду назад;
🔸 про неочевидные сложности работы рекомендательного сервиса, когда каждый день появляется более полумиллиарда новых событий.

Все подробности 👉🏻 https://clck.ru/XFwEi

✅Встречаемся на Saint HighLoad++ 20 и 21 сентября в Петербурге. Полная программа, расписание и билеты https://clck.ru/XFwDm

Леонид Блохин и Дмитрий Евстюхин из Provectus утверждают, что мы на пороге очередной абстракции, нам предстоит пройти через отрицание, гнев, торг, депрессию и принятие.

Настала пора абстрагировать инжиниринг данных от ML-процесса. Следующий шаг или очередной слой бесполезных препятствий для ML-разработчика?

- Связываем данные и модели;
- данные для тренинга модели и данные для предсказаний согласуем между собой;
- поддерживаем согласованность между тестовыми и продакшн-данными;
- фичи с локальных рабочих станций, как же довести это до прода.

В своем докладе они затронут тему практического использования Feature Store в реальной жизни, разберут на примере Open Source-проекта Feast реализацию хранилища фич, а также расскажут про интеграцию с AWS DynamoDb https://clck.ru/XFwbs

✅Встречаемся на Saint HighLoad++ 20 и 21 сентября в Петербурге. Полная программа, расписание и билеты https://clck.ru/XFwcG

Современный подход к обработке и аналитике данных требует очень быстрой реакции. Для этого необходима минимальная задержка в данных. Во многих направлениях потоковая аналитика данных дает конкурентные преимущества и открывает новые просторы для реализации доп. функционала.

Потоковая обработка данных сильно отличается от пакетной обработки по параметрам доступной функциональности, консистентности, стабильности и сложности сопровождения. Поэтому особо остро стоит вопрос выбора платформы и инструментов для реализации подобных приложений.

В докладе Артема рассмотрим фреймворк Spark Streaming как инструмент для реализации стриминговых приложений, разберем доступную функциональность фреймворка, а также методы его оптимизации, плюсы и минусы, подходящие и неподходящие бизнес-задачи. Доклад основан на личном опыте использования Spark Streaming в приложениях, построенных на базе Hadoop или Kubernetes https://clck.ru/XFx9t.

✅ Спешите запланировать своё участие в Saint HighLoad++ https://clck.ru/XFxB6

💥Как быстро повторить настройку "боевой" базы MySQL, MariaDB, Percona Server, Postgresql, MongoDB в "домашних" условиях?

Надо решить несколько проблем:
- разные версии СУБД и дистрибутивов Linux, Docker-контейнеры, Kubernetes;
- нужно много серверов, чтобы работала репликация и кластеры;
- доступно только слабое железо, например, только ваш ноутбук или старый PC;
- все сервера и кластеры должны легко создаваться заново и удаляться.

https://github.com/ihanick/anydbver спешит на помощь.

В докладе Николая Ихалайнена (Percona) вы узнаете, как запустить в одну shell-команду кластеры MySQL/MariaDB, репликацию в Postgresql и 13-узлового монстра MongoDB с шардированием и бэкапами https://clck.ru/XQeJJ.

✅Встречаемся на Saint HighLoad++ 20 и 21 сентября в Петербурге. Полная программа, расписание и билеты https://clck.ru/XQeFP.

Стабильность нестабильна. Занимательный разговор с Павлом Павел Притчиным (CTO Dodo pizza) в 257 подкасте The Art Of Programming https://bit.ly/TAOP257share

✅ Спешите запланировать своё участие в Saint HighLoad++ 20 и 21 сентября. И, если вы ещё не купили билет, то самое время это сделать 👉 https://clck.ru/XQhed.

Реальный сектор экономики — исторически зона коммерческой тайны и закрытых дверей. Однако с каждым годом растет понимание, что кооперация лучше конкуренции. И вот уже постепенно промышленные задачи появляются на хакатонах, а внутренние разработки становятся, страшно подумать, Open Source!

Теперь и в Евраз готовы рассказать о том, как машинное обучение находит применение в черной металлургии, какие задачи они решают и с какими проблемами сталкиваются https://clck.ru/XQext.

✅Встречаемся на Saint HighLoad++ 20 и 21 сентября в Петербурге. Полная программа, расписание и билеты https://clck.ru/XQf29.

Единая биометрическая система — платформа для работы с биометрическими данными в масштабах страны. Система рассчитана на 150 миллионов человек, на высокие нагрузки в сотни транзакций в секунду, включая юридически значимую верификацию и проверку «liveness». Разрабатывает ее компания РТЛабс.

Сегодня в статье — рассказ о том, как на уровне архитектуры системы в РТЛабс реализовали независимость от вендоров биометрических решений, как реализована возможность работы с любыми модальностями биометрии (лицо, голос и другие). Как обеспечили высокую производительность и масштабируемость, а также избежали отсутствия потерь данных при отказах оборудования. Узнаете, причем здесь Openshift, Hadoop, HBase и Kafka https://habr.com/ru/company/oleg-bunin/blog/576906/