💥 Доклад Ивана Комарова - рассказ о пути, о месте машинного обучения в большой финтех-компании https://clck.ru/XVnRv.
Что можно сказать про 5 лет работы в дата-сайенс на одном месте? Там, где подразделение выросло с 1 до 65 и продолжает расти?
Они попробовали все, что может быть интересно, и многое не зашло: отток, рекомендашки, супер-точные А/Б-тесты, клавиатурный почерк… Но что-то оказалось критически важным: EDA для проекта «Займы» — т.е. быстрые ответы на вопросы с учетом всех источников данных, CV — чтение доков и распознавание лиц, NLP — речевая аналитика.
✅Встречаемся на Saint HighLoad++ 20 и 21 сентября в Петербурге. Полная программа, расписание и билеты https://clck.ru/XVnT8.
Что можно сказать про 5 лет работы в дата-сайенс на одном месте? Там, где подразделение выросло с 1 до 65 и продолжает расти?
Они попробовали все, что может быть интересно, и многое не зашло: отток, рекомендашки, супер-точные А/Б-тесты, клавиатурный почерк… Но что-то оказалось критически важным: EDA для проекта «Займы» — т.е. быстрые ответы на вопросы с учетом всех источников данных, CV — чтение доков и распознавание лиц, NLP — речевая аналитика.
✅Встречаемся на Saint HighLoad++ 20 и 21 сентября в Петербурге. Полная программа, расписание и билеты https://clck.ru/XVnT8.
🔥 Открытая трансляция главного зала Saint HighLoad++ благодаря поддержке ЦФТ!
2 дня и 14 докладов. Посмотреть расписание https://bit.ly/2XdFZNJ
✅Для доступа к трансляции необходима только регистрация https://bit.ly/3xKP0u6
2 дня и 14 докладов. Посмотреть расписание https://bit.ly/2XdFZNJ
✅Для доступа к трансляции необходима только регистрация https://bit.ly/3xKP0u6
В 2ГИС есть информация о 4.5 миллионах компаний в сотне городов, и для всех нужно отображать информацию о товарах и услугах, которые они представляют. Есть разные способы загрузить информацию о товарах и услугах: с помощью прайс-листа, поштучно через CRUD-интерфейс, настроить синхронизацию с 1С, получать данные от внешних партнеров (Booking, DeliveryClub, Yclients, СберЗдоровье). У каждого из этих источников своя периодичность обновления, объем данных и формат.
Игорь Яцевич расскажет как решали задачу спроектировать и реализовать систему, для обработки сотни миллионов товарных предложений на старте и готовую к кратному увеличению загружаемых данных, понятную в эксплуатации и развитии, а задержка между загрузкой данных и появлением их в конечных продуктах составляла бы минуты.
Поговорим про kafka, организацию потоков данных, выбор хранилищ данных и о микросервисах https://clck.ru/XVsv4.
✅Встречаемся на Saint HighLoad++ 20 и 21 сентября в Петербурге. Полная программа, расписание и билеты https://clck.ru/XVk
Игорь Яцевич расскажет как решали задачу спроектировать и реализовать систему, для обработки сотни миллионов товарных предложений на старте и готовую к кратному увеличению загружаемых данных, понятную в эксплуатации и развитии, а задержка между загрузкой данных и появлением их в конечных продуктах составляла бы минуты.
Поговорим про kafka, организацию потоков данных, выбор хранилищ данных и о микросервисах https://clck.ru/XVsv4.
✅Встречаемся на Saint HighLoad++ 20 и 21 сентября в Петербурге. Полная программа, расписание и билеты https://clck.ru/XVk
Тарантул долгое время поддерживал асинхронную мастер-мастер-репликацию.
Со временем поняли, что необходимо поддержать синхронную репликацию и выборы лидера в ядре Тарантула. Синхронная репликация поддерживается, начиная с версии 2.5, а выборы лидера появились в версии 2.6, выпущенной в сентябре 2020.
Изначально считали, что достаточно следовать простому рецепту — взять спецификацию алгоритма Raft и получить готовые выборы лидера. Однако в процессе работы над задачей мы встретились с несколькими архитектурными особенностями Тарантула, которые не давали следовать протоколу в точности. От протокола пришлось отклониться в нескольких местах. Отклонения казались безобидными, но привели к неожиданному багу, который было достаточно сложно починить.
Об этих отклонениях от протокола и багах, которые они породили, вы услышите в докладе Сергея Петренко https://clck.ru/XVxDx.
✅ Спешите запланировать своё участие в Saint HighLoad++. Расписание и билеты 👉 https://clck.ru/XSQzr.
Со временем поняли, что необходимо поддержать синхронную репликацию и выборы лидера в ядре Тарантула. Синхронная репликация поддерживается, начиная с версии 2.5, а выборы лидера появились в версии 2.6, выпущенной в сентябре 2020.
Изначально считали, что достаточно следовать простому рецепту — взять спецификацию алгоритма Raft и получить готовые выборы лидера. Однако в процессе работы над задачей мы встретились с несколькими архитектурными особенностями Тарантула, которые не давали следовать протоколу в точности. От протокола пришлось отклониться в нескольких местах. Отклонения казались безобидными, но привели к неожиданному багу, который было достаточно сложно починить.
Об этих отклонениях от протокола и багах, которые они породили, вы услышите в докладе Сергея Петренко https://clck.ru/XVxDx.
✅ Спешите запланировать своё участие в Saint HighLoad++. Расписание и билеты 👉 https://clck.ru/XSQzr.
🔥 Сети все время ускоряются, уже появился формат 5G, но этого все равно недостаточно и технологии доставки данных пользователям тоже не стоят на месте.
В докладе Александра Тоболя узнаем, как и зачем ускорили доставку контента ВКонтакте в 1,5 раза, и почему у решения, которое они выложили в OpenSource, нет альтернатив https://clck.ru/XYNMP.
Спойлер: ВКонтакте отказались от TCP, JSON"а, JPEG'а, gZIP'а, получили кратное ускорение передачи данных до пользователей, не остановились на достигнутом и нашли применение FPGA.
✅Встречаемся на Saint HighLoad++ 20 и 21 сентября в Петербурге. Полная программа, расписание и билеты https://clck.ru/XSWDw.
В докладе Александра Тоболя узнаем, как и зачем ускорили доставку контента ВКонтакте в 1,5 раза, и почему у решения, которое они выложили в OpenSource, нет альтернатив https://clck.ru/XYNMP.
Спойлер: ВКонтакте отказались от TCP, JSON"а, JPEG'а, gZIP'а, получили кратное ускорение передачи данных до пользователей, не остановились на достигнутом и нашли применение FPGA.
✅Встречаемся на Saint HighLoad++ 20 и 21 сентября в Петербурге. Полная программа, расписание и билеты https://clck.ru/XSWDw.
⚡️Олег Смирнов и Алексей Никитин расскажут про существующие решения для использования UDP на мобильных клиентах и насколько они применимы в высоконагруженных проектах. На примере ВКонтакте разберем нюансы и трудности, которые возникают при внедрении новых сетевых протоколов в существующий проект с большой нагрузкой, сложной инфраструктурой и миллионами пользователей.
Обсудим платформенные отличия и доступные возможности для работы с сетью на iOS и Android. Кроме этого докладчики поделятся результатами от перехода на новый протокол: как изменилось поведение нашей аудитории и потребление ресурсов приложениями. А также ответим на вопрос: всегда ли UDP — хорош https://clck.ru/XYNs7.
✅Встречаемся на Saint HighLoad++ 20 и 21 сентября в Петербурге. Полная программа, расписание и билеты https://clck.ru/XSWDw.
Обсудим платформенные отличия и доступные возможности для работы с сетью на iOS и Android. Кроме этого докладчики поделятся результатами от перехода на новый протокол: как изменилось поведение нашей аудитории и потребление ресурсов приложениями. А также ответим на вопрос: всегда ли UDP — хорош https://clck.ru/XYNs7.
✅Встречаемся на Saint HighLoad++ 20 и 21 сентября в Петербурге. Полная программа, расписание и билеты https://clck.ru/XSWDw.
Всем привет!
Меньше недели осталось до Saint HighLoad 2021! А сейчас, важная информация.
На конференции мы делаем зону, свободную от COVID-19. Что это значит?
Вход на мероприятие возможен при предъявлении одного из документов:
1) Отрицательный результат ПЦР-теста. (QR-код действует 72 часа);
2) Сертификат о перенесенном заболевании COVID-19. (QR-код действителен течение 6 месяцев с даты выздоровления);
3) Сертификат о вакцинации. Срок действия QR-кода после вакцинации - 1 год.
❗️QR-код должен обязательно вести на страницу Госуслуг.
Подробная информация https://conf.ontico.ru/stop-covid.html
P.S. Сдача экспресс ПЦР-тестов в Санкт-Петербурге:
- В Аэропорту Пулково
- На Московском вокзале пункт сдачи ПЦР-теста находится между 7 и 8 платформой. Время работы с 9:00 - до 21:30. Точную информацию о стоимости и времени изготовления, вы можете узнать на месте.
Меньше недели осталось до Saint HighLoad 2021! А сейчас, важная информация.
На конференции мы делаем зону, свободную от COVID-19. Что это значит?
Вход на мероприятие возможен при предъявлении одного из документов:
1) Отрицательный результат ПЦР-теста. (QR-код действует 72 часа);
2) Сертификат о перенесенном заболевании COVID-19. (QR-код действителен течение 6 месяцев с даты выздоровления);
3) Сертификат о вакцинации. Срок действия QR-кода после вакцинации - 1 год.
❗️QR-код должен обязательно вести на страницу Госуслуг.
Подробная информация https://conf.ontico.ru/stop-covid.html
P.S. Сдача экспресс ПЦР-тестов в Санкт-Петербурге:
- В Аэропорту Пулково
- На Московском вокзале пункт сдачи ПЦР-теста находится между 7 и 8 платформой. Время работы с 9:00 - до 21:30. Точную информацию о стоимости и времени изготовления, вы можете узнать на месте.
ГК ЦФТ — ведущий российский финтех-провайдер, входит в ТОП-5 разработчиков ПО в России. Обеспечивает доступ участников финансового рынка к передовым технологиям для успешного ведения бизнеса. Среди клиентов компании 50% финансовых организаций из ТОП-50 российских банков.
Сотрудники компании – профессионалы, которые умеют работать со сложными проектами, не понаслышке знают, что такое высоконагруженные сервисы, и всегда готовы поделиться опытом.
https://team.cft.ru/
Сотрудники компании – профессионалы, которые умеют работать со сложными проектами, не понаслышке знают, что такое высоконагруженные сервисы, и всегда готовы поделиться опытом.
https://team.cft.ru/
ВКонтакте отдает пользователям сотни тысяч картинок в секунду по UDP. В докладе Илья Щербак (ВКонтакте) расскажет, как в его команде готовили бэкенд высоконагруженного проекта с миллионной аудиторией, чтобы он не упал от UDP.
Узнаем, почему Linux больше любит UDP, разберем, как писать высоконагруженную сеть, и заглянем во внутренности GSO. Уделим внимание реализации TCP friendly-протоколов на userspace и поговорим про congestion control и pacer. Если хотите узнать, как ВКонтакте патчили сетевой модуль nginx, оптимизировали перфоманс и запускались — ждем на докладе https://clck.ru/XaKX4.
✅Встречаемся на Saint HighLoad++ 20 и 21 сентября в Петербурге. Полная программа, расписание и билеты https://clck.ru/XSWDw.
Узнаем, почему Linux больше любит UDP, разберем, как писать высоконагруженную сеть, и заглянем во внутренности GSO. Уделим внимание реализации TCP friendly-протоколов на userspace и поговорим про congestion control и pacer. Если хотите узнать, как ВКонтакте патчили сетевой модуль nginx, оптимизировали перфоманс и запускались — ждем на докладе https://clck.ru/XaKX4.
✅Встречаемся на Saint HighLoad++ 20 и 21 сентября в Петербурге. Полная программа, расписание и билеты https://clck.ru/XSWDw.
Вместе с экспертами в сетевых технологиях, разработчиками высоконагруженных сервисов по доставке контента и технологическими лидерами мнений обсудим, почему одни сервисы работают «со скоростью света», а другие еле справляются с доставкой контента.
Также поговорим о современном состоянии сетевого стека и будущем протоколов передачи данных. Оценим перспективы внедрения новых спецификаций, опираясь на опыт наших экспертов из разных сфер, в том числе поговорим о том, как сетевые операторы работают с перегрузками.
И наконец, попробуем понять, что нам нужно сделать уже сейчас, чтобы завтра наши сервисы работали на космических скоростях https://clck.ru/XYRqW
.
✅Встречаемся на Saint HighLoad++ 20 и 21 сентября в Петербурге. Полная программа, расписание и билеты https://clck.ru/XSWDw.
Также поговорим о современном состоянии сетевого стека и будущем протоколов передачи данных. Оценим перспективы внедрения новых спецификаций, опираясь на опыт наших экспертов из разных сфер, в том числе поговорим о том, как сетевые операторы работают с перегрузками.
И наконец, попробуем понять, что нам нужно сделать уже сейчас, чтобы завтра наши сервисы работали на космических скоростях https://clck.ru/XYRqW
.
✅Встречаемся на Saint HighLoad++ 20 и 21 сентября в Петербурге. Полная программа, расписание и билеты https://clck.ru/XSWDw.
DevOps-трансформация в крупных компаниях уже завершилась, и отгремели победные марши в её честь, однако, получив быструю доставку приложений и ускорившийся T2M, мы почему-то не стали платить меньше сервисным провайдерам.
Александр Токарев (Сбербанк) и Павел Журов (ВТБ) расскажут, как привить разработчикам и топ-менеджменту культуру обращения с деньгами, потраченными на облачные сервисы, и покажем, как на доступных opensource-инструментах организовать минимальный FinOps внутри компании. Мы определим, так ли нужен FinOps в компании, с чего начинать его внедрение, стоит ли его включать в CI/CD-процессы и что выбрать для его реализации: самодельный комбайн или встроенные инструменты облачных провайдеров. В общем, обсудим, почему же приложение должно быть не только cloud native, но и cost efficient, что чрезвычайно важно в современных условиях https://clck.ru/XYMN5.
✅ Спешите запланировать своё участие в Saint HighLoad++. Расписание и билеты 👉 https://clck.ru/XSQzr.
Александр Токарев (Сбербанк) и Павел Журов (ВТБ) расскажут, как привить разработчикам и топ-менеджменту культуру обращения с деньгами, потраченными на облачные сервисы, и покажем, как на доступных opensource-инструментах организовать минимальный FinOps внутри компании. Мы определим, так ли нужен FinOps в компании, с чего начинать его внедрение, стоит ли его включать в CI/CD-процессы и что выбрать для его реализации: самодельный комбайн или встроенные инструменты облачных провайдеров. В общем, обсудим, почему же приложение должно быть не только cloud native, но и cost efficient, что чрезвычайно важно в современных условиях https://clck.ru/XYMN5.
✅ Спешите запланировать своё участие в Saint HighLoad++. Расписание и билеты 👉 https://clck.ru/XSQzr.
Доклад Анатолия Анфиногенова посвящен опыту переноса распределенного серверного приложения, работающего 24/7 на полигоне 16 железных дорог от Калининграда до Хабаровска плюс несколько БД центрального уровня, с Oracle 11g Standard Edition на ванильный PostgreSQL 11.9, а также об опыте миграции БД и эксплуатации новой системы в течение двух лет.
Особое внимание уделяется "подводным камням", с которыми мы столкнулись в ходе планирования и миграции приложения Oracle PL/SQL на Postgres pl/pgSQL, связанных не только с различиями и неполным соответствием возможностей Oracle и Postgres, но и с различиями в практических подходах к обеспечению высокой производительности приложения, а также отличиям и особенностям Postgres с позиции бывшего пользователя Oracle https://clck.ru/XaYjj.
✅ Спешите запланировать своё участие в Saint HighLoad++. Расписание и билеты 👉 https://clck.ru/XSQzr.
Особое внимание уделяется "подводным камням", с которыми мы столкнулись в ходе планирования и миграции приложения Oracle PL/SQL на Postgres pl/pgSQL, связанных не только с различиями и неполным соответствием возможностей Oracle и Postgres, но и с различиями в практических подходах к обеспечению высокой производительности приложения, а также отличиям и особенностям Postgres с позиции бывшего пользователя Oracle https://clck.ru/XaYjj.
✅ Спешите запланировать своё участие в Saint HighLoad++. Расписание и билеты 👉 https://clck.ru/XSQzr.
🤔 Сделать свою собственную SQL-базу данных или запускать SQL-запросы в NoSQL-базе данных — кажется, это очень непростая задача. А если мы говорим о распределенной БД, то сложность возрастает многократно. Но, к счастью, Apache Calcite — фреймворк с открытым кодом — поможет сделать это довольно легко.
В сегодняшней статье — рассказ Романа Кондакова, Software Engineer в Querify Labs, о том, как интегрировать Apache Calcite в распределенную in-memory-платформу Apache Ignite https://habr.com/ru/company/oleg-bunin/blog/569254/
✅А мы напоминаем, что у вас есть уникальная возможность зарегистрироваться на открытую трансляцию главного зала Saint HighLoad++ 2021 👉 https://clck.ru/XSQzr.
В сегодняшней статье — рассказ Романа Кондакова, Software Engineer в Querify Labs, о том, как интегрировать Apache Calcite в распределенную in-memory-платформу Apache Ignite https://habr.com/ru/company/oleg-bunin/blog/569254/
✅А мы напоминаем, что у вас есть уникальная возможность зарегистрироваться на открытую трансляцию главного зала Saint HighLoad++ 2021 👉 https://clck.ru/XSQzr.
🔥 Специальный гость конференции Saint HighLoad++ 2021 - Wylsacom (Валентин Петухов) - человек, который получает новый iPhone раньше, чем Тим Кук))))
У вас еще есть шанс приобрести билет или зарегистрироваться на открытую трансляцию главного зала Saint HighLoad++ https://bit.ly/3xKP0u6
У вас еще есть шанс приобрести билет или зарегистрироваться на открытую трансляцию главного зала Saint HighLoad++ https://bit.ly/3xKP0u6
Json сейчас является де-факто стандартом для разработчиков стартапов. Почему это происходит и что надо делать — учить разработчиков приложений, как правильно проектировать базу данных согласно канонам реляционной теории (которой Postgres очень хорошо соответствует) или сделать СУБД более дружественной для Json?
Обсудим с Олегом Бартуновым и Никитой Глуховым https://clck.ru/XaZRA.
✅ Спешите запланировать своё участие в Saint HighLoad++. Расписание и билеты 👉 https://clck.ru/XSQzr.
Обсудим с Олегом Бартуновым и Никитой Глуховым https://clck.ru/XaZRA.
✅ Спешите запланировать своё участие в Saint HighLoad++. Расписание и билеты 👉 https://clck.ru/XSQzr.
💥Уже завтра наступит долгожданный день: первый день Saint HighLoad++ 2021. А сегодня мы начнём делиться с вами полезной информацией.
Конференция пройдёт в Санкт-Петербурге в DESIGN DISTRICT DAA in SPB (бывший центр дизайна ARTPLAY SPb. по адресу Санкт-Петербург, Красногвардейская площадь, 3).
🚘 Заехать на парковку можно со стороны Новочеркасского проспекта. Первые полчаса — бесплатно. Следующие три часа — 50 рублей. Каждый последующий час — 50 руб.
✅Как всё будет?
Регистрация откроется в 9:00, а открытие конференции ждёт вас через час.
Первый доклад 20 сентября начинается в 10:20, последний заканчивается в 18:40. А 21 сентября первый доклад начинается в 10:00 утра, последний заканчивается в 18:10.
Длительность докладов — по 40-50 минут, включая ответы на вопросы.
Конференция пройдёт в Санкт-Петербурге в DESIGN DISTRICT DAA in SPB (бывший центр дизайна ARTPLAY SPb. по адресу Санкт-Петербург, Красногвардейская площадь, 3).
🚘 Заехать на парковку можно со стороны Новочеркасского проспекта. Первые полчаса — бесплатно. Следующие три часа — 50 рублей. Каждый последующий час — 50 руб.
✅Как всё будет?
Регистрация откроется в 9:00, а открытие конференции ждёт вас через час.
Первый доклад 20 сентября начинается в 10:20, последний заканчивается в 18:40. А 21 сентября первый доклад начинается в 10:00 утра, последний заканчивается в 18:10.
Длительность докладов — по 40-50 минут, включая ответы на вопросы.
Спешим напомнить, что делает Онтико, чтобы сделать безопасным участие в конференциях.
Администрация региона требует предъявление на мероприятиях QR-кодов, и мы будем вынуждены их у вас попросить. На документы с QR-кодом накладываются ограничения (сроки действия QR-кодов):
— Для людей, получивших отрицательный результат ПЦР-теста, QR-код действует 72 часа.
— Для тех, кто переболел COVID-19, - в течение 6 месяцев с даты выздоровления.
— Граждане, вакцинированные или повторно вакцинированные от COVID-19, получают QR-код после введения второго компонента вакцины (если препарат двухкомпонентный) или после завершения вакцинации однокомпонентной вакциной «Спутник Лайт». Срок действия QR-кода после вакцинации — 1 год.
QR-код должен обязательно вести на страницу Госуслуг.
В свою очередь, мы обеспечим безопасное пространство и реализуем все рекомендуемые меры для создания зоны, свободной от COVID-19.
Администрация региона требует предъявление на мероприятиях QR-кодов, и мы будем вынуждены их у вас попросить. На документы с QR-кодом накладываются ограничения (сроки действия QR-кодов):
— Для людей, получивших отрицательный результат ПЦР-теста, QR-код действует 72 часа.
— Для тех, кто переболел COVID-19, - в течение 6 месяцев с даты выздоровления.
— Граждане, вакцинированные или повторно вакцинированные от COVID-19, получают QR-код после введения второго компонента вакцины (если препарат двухкомпонентный) или после завершения вакцинации однокомпонентной вакциной «Спутник Лайт». Срок действия QR-кода после вакцинации — 1 год.
QR-код должен обязательно вести на страницу Госуслуг.
В свою очередь, мы обеспечим безопасное пространство и реализуем все рекомендуемые меры для создания зоны, свободной от COVID-19.
Конференция пройдет в гибридном формате. Онлайн-участников ждут классные активности!
Возле каждого плеера трансляции будет размещена кнопка выхода в прямой эфир, чтобы задать вопрос спикеру. Да-да, вас покажут на большом экране, не забудьте подготовить камеру и микрофон! А ещё вы сможете пообщаться в цифровых кулуарах и побродить по онлайн-выставке.
Не упустите шанс использовать все возможности онлайн-формата!
🔥До встречи завтра! Открытие конференции стартует в 10:00 Мск.
Возле каждого плеера трансляции будет размещена кнопка выхода в прямой эфир, чтобы задать вопрос спикеру. Да-да, вас покажут на большом экране, не забудьте подготовить камеру и микрофон! А ещё вы сможете пообщаться в цифровых кулуарах и побродить по онлайн-выставке.
Не упустите шанс использовать все возможности онлайн-формата!
🔥До встречи завтра! Открытие конференции стартует в 10:00 Мск.
Настал тот самый день! Мы рады приветствовать вас на Saint HighLoad++ 2021.
Как это будет?
Продолжительность конференции — два полных дня.
Сегодня первый доклад начнётся в 10:20, последний закончится в 18:40.
Длительность докладов — по 40-50 минут, включая ответы на вопросы.
Расписание можно увидеть здесь. Погнали!
Как это будет?
Продолжительность конференции — два полных дня.
Сегодня первый доклад начнётся в 10:20, последний закончится в 18:40.
Длительность докладов — по 40-50 минут, включая ответы на вопросы.
Расписание можно увидеть здесь. Погнали!
Регистрация уже началась. Для того, чтобы пройти её подготовьте, пожалуйста, любой документ, удостоверяющий личность, или заранее распечатанный билет.
А прямо сейчас вы можете выпить чашечку бодрящего кофе или чая, окончательно проснуться и зарядиться энергией конференции. Приходите, у нас есть печеньки!
А прямо сейчас вы можете выпить чашечку бодрящего кофе или чая, окончательно проснуться и зарядиться энергией конференции. Приходите, у нас есть печеньки!