Всем привет!

Обеспечение качества чат-бота: разбираем на примере слоёного пирога.

В Ozon поступают сотни тысяч заказов в день. И еще больше вопросов в поддержку от пользователей: как оплатить баллами «Спасибо», как вернуть не понравившуюся кофту или есть ли доставка в Норильск. При этом большинство вопросов в поддержку однотипны, а ответа пользователи ожидают мгновенно и в любое время суток.

Чтобы помочь операторам отвечать на все эти вопросы, в Ozon есть чат-бот, и его постоянно совершенствуют.

Михаил Волков руководит разработкой платформы чат-ботов, его статья о том, как измерить качество работы чат-бота и улучшить его взаимодействие с пользователями.

Читать📍https://habr.com/ru/company/oleg-bunin/blog/646667/

Привет, друзья!

Вас когда-нибудь спрашивали: “А сколько там ваши автотесты покрывают?”, “Зачем вам ЕЩЕ тестировщики?”, “Блин, опять баги нашли в авторизации. Как объяснить ПМу, что её давно пора рефакторить?”.
Чтобы ответить на такие вопросы с доказательной базой, цифрами и графиками, Артём Кузнецов - руководитель группы тестирования Web-сервисов в 2ГИС, написал несколько инструментов, а затем выложил их в OpenSource.
📋 https://clck.ru/aoFeM

Именно о них и пойдет речь в докладе «Три простых инструмента, которые экономят время тест-лиду в покрытии, анализе и планировании на проекте».

DataInu: говорит, где у нас больше всего багов, что даёт повод для рефакторинга и фокус для написания автотестов. Вопрос: “Как объяснить ПМу, что авторизацию давно пора рефакторить?” больше не стоит, он и сам это понимает.

Workflow Simulation Service (WSS). Позволяет мне безопасно для проекта, команды и бюджета определять вероятность успешности изменений, на основе чего уже я могу принимать решение о их внедрении или отмене на живом проекте. Этот инструмент вместо меня отвечает на вопрос: “Зачем вам ЕЩЕ тестировщики?”

Подход, который даёт понимание, какие части приложения мы еще не покрыли, какие покрывать не надо, а какие - вообще мёртвые. Это понимание позволило разработчикам правильно расставлять акценты при планировании скоупа автотестов на спринт. Способ применим только для Java приложений, но мы также сравним его с современными аналогами, такими, как Drill4J.

✅ Встречаемся на конференции TestDriven Conf 28 и 29 апреля в Москве!
⚡️Тезисы докладов, билеты и вся информация о конференции здесь — https://clck.ru/aoFf5

Привет, друзья!

💥 Цены на TestDriven Conf 2022 скоро вырастут!
Чем ближе к конференции, тем дороже. Уже через 4 дня будет повышение цен. Поэтому успевайте забронировать билет по старой цене!

После брони у вас будет ещё несколько дней на оплату.

👉 Забронировать билет на TestDriven Conf 2022 https://clck.ru/aptJi

Всем привет!

О нагрузочном тестирование с помощью Python и Locust поговорим вместе со старшим специалистом по нагрузочному тестированию X5 Group - Николаем Максимовым.
📋 https://clck.ru/bkwLo

Доклад посвящен подходу, который активно применяется на "Платформе прогнозирования спроса X5", и позволяет реализовывать нагрузочное тестирование на Python.

Помимо демонстрации процесса работы и общего описания, особое внимание будет уделено примерам реализации скриптов и технических задач.

Общее описание подхода:
- Для чего и где используется;
- Производительность;
- Особенности;

Демонстрация скрипта для нагрузочного тестирования:
- Подход к написанию скриптов НТ;
- Основные классы и методы необходимые для работы;
- Взаимодействие с Python- библиотеками;
- Отправка запросов на сервер;
- Кастомизация статистики по тесту;
- Конфигурирование интенсивности нагрузки;
- Pacing;

Запуск тестов, интерфейс:
- Процесс и режимы запуска тестов;
- GUI;
- Отчеты;
- Графики;

✅ Встречаемся на конференции TestDriven Conf 28 и 29 апреля в Москве!
⚡️Билеты и вся подробная информация о конференции здесь — https://clck.ru/bkwMo

В своем докладе на конференции TestDriven Conf 2022 Станислав Васенков научит, как за минуту создать из ручного теста проект с автотестами в боевой инфраструктуре.

О том, как разрабатывался генератор, об актуальных проблемах тестировщиков и о том, должен ли IT-сотрудников нанимать HR, можно узнать в нашем новом интервью.

Друзья, приветствуем!

Война, которая происходит сейчас, в 21 веке, выходит за все рамки приемлемости. Абсолютная недопустимая жесть, этого просто не должно быть.

Мы против войны. Происходящее переворачивает картину мира, перечеркивает все, над чем мы работаем, отбрасывает нас на десятки лет назад.

Мы считаем, что в текущей ситуации дикого напряжения проведение ближайших конференций Онтико в марте не представляется возможным.

Любая конференция - это не просто обмен опытом, это встреча индустрии, единомышленников, дружеское и профессиональное общение, налаживание связей и даже отдых. Как мы будем всё это делать, когда мысли каждого сейчас о другом? Это просто невозможно.

Конференции переносятся на новые даты:
• HighLoad++ Foundation пройдёт 13 и 14 мая;
• TeamLead Foundation пройдет 17 и 18 мая;
• TestDriven Conf пройдёт 27 и 28 июня.

Конференции в Санкт-Петербурге пройдут:
• Saint HighLoad++ состоится 22 и 23 сентября;
• Saint TeamLead - 26 и 27 сентября.

Все расходы, связанные с переносами, мы берём на себя.

По всем вопросам пишите на [email protected]

Сил нам всем! И мира!


С уважением,
Команда Онтико

Команда «Онтико» готова помочь тем, кто потерял работу из-за санкций и их последствий.
Заполните анкету — и её увидят более 100 потенциальных работодателей.

Если у вас есть друзья, которым актуальна помощь, перешлите им это сообщение.

Чем Linux HugePages важны для серверов баз данных?

Часто сбой базы данных бывает по вине Out Of Memory Killer. Он завершает процессы PostgreSQL и остается причиной большинства отказов этой БД. Память на хост-компьютере может закончиться по меньшей мере, четырем причинам.

Какие это именно причины, как от них защититься и их предотвратить — читайте в переводе статьи от Jobin Augustine, который работает в Percona старшим инженером службы поддержки. Более 20-лет он был консультантом, архитектором, администратором и инструктором по PostgreSQL, Oracle и другим технологиям баз данных. Разговор пойдет о HugePages и о том, насколько они важны и почему нужны.

Читать📍https://habr.com/ru/company/oleg-bunin/blog/655887/

Как генерировать Flame Graph из выходных данных perf и pt-pmp

Человеческий мозг обычно лучше воспринимает информацию из изображений, чем из текстов. И в инструментах, подобных Flame Graph, это блестяще реализовано. В Percona Flame Graph используют в рамках работы группы поддержки — чаще всего, когда нужно получить всестороннее представление о том, что и как долго проделывает MySQL.

Еще с его помощью можно понять, какие операции стоят за конкретной рабочей нагрузкой и каким образом лучше исправлять возникающие проблемы. И всё это можно использовать и для оптимизации, и для устранения неполадок.

Читайте в статье «Как генерировать Flame Graph из выходных данных perf и pt-pmp», откуда брать и как подготавливать образцы для визуализации данных. А после этого — как из них генерировать Flame Graph и как с этим работать.

Читать 📍 https://habr.com/ru/company/oleg-bunin/blog/659789/

Объявляем Черную пятницу!

Только 3 дня - с 18 по 20 мая скидка 30% на участие в конференции TestDriven Conf 2022.

📍27 и 28 июня, офлайн + онлайн

Программа и расписание 👉🏻https://tdconf.ru/2022/schedule

Подробности и покупка билетов https://tdconf.ru/2022

Поговорим про SAF-фаззинг и посмотрим на практическую реализацию подхода. Одна из тех технологий, которому можно попробовать на своем проекте прямо сейчас.

При SAF тестировании генерируются формально валидные (синтаксически верные или структурно корректные), но фактически случайные данные, что позволяет подвергнуть тестированию уровни системы лежащие за синтаксическим анализатором.

В своём докладе Николай Шаплов из Postgres Professional расскажет о проблематике Structure Aware Fuzzing'а, даст краткий обзор имеющихся инструментов и продемонстрирует, как задачи SAF-фаззинга могут быть решены с использованием библиотеки LibBolbStamper.
👉 https://clck.ru/Z6jVs

⚠️TestDriven Conf 2022 пройдёт 27 и 28 июня в Москве. Тезисы докладов, билеты и вся информация о конференции здесь — https://clck.ru/Z6jLp

💥 Приходите на выступление Андрея Синицына (MasterDelivery), который выступит в секции «Cookbook - готовые рецепты».

Андрей является DevOps-infected, профессионалом эксплуатации, поклонником больших систем и высоких нагрузок. Фанатом автоматизации и правильных SRE-практик. В индустрии с 2003 года.

🔹Его доклад состоит из двух частей: теоретическая и практическая:

1. Теория
- Понимание continious-процессов. Для чего нам нужны тесты и как мы хотим проводить тестирование и доставлять продукты.
- Модели ветвления: что в итоге окажется на целевых окружениях.
- Как и когда нам может помочь kubernetes, а когда можно обойтись и без него.

2. Практика
- Если у нас есть kubernetes в продакшне, как бы нам прикрутить его еще и для быстрого тестирования.
- То же самое, но если у нас нет kubernetes в продакшне? Используем "легкие" версии k8s, сокращаем накладные расходы.
- Инструменты для CI/CD: GitLab, GitHub Actions, Jenkins.

✅ TestDriven Conf 2022 пройдёт 27 и 28 июня в Москве. Программа и билеты https://tdconf.ru/

Практически в любом приложении есть функционал, который зависит от времени, всего от нескольких секунд - что-то появилось и автоматически исчезло, что-то запустилось в фоновом режиме тд. И когда мы начинаем писать на это авто-тесты - возникают проблемы. Система чуть притормозила и не успела завершить фоновую работу до того, как ожидали, браузер отработал чуть быстрее, и уже скрыл то, что мы хотели увидеть...
Всё это ведёт к тому, что автотесты на такой функционал иногда падают без веской причины - система работает, а тест красный. Это ведёт к утрате доверия к билдам. Классические решения - мониторить и перезапускать такие тесты, поставить ожидания побольше - решают не проблему, а симптомы.

О том, как победить эту проблему расскажет Никита Чурсин в своем докладе «Главное - не моргай! Как мы избавлялись от flaky-тестов».

✅ TestDriven Conf 2022 пройдёт 27 и 28 июня в Москве. Тезисы докладов, билеты и вся информация о конференции здесь — https://clck.ru/Za67Y

Всем привет!

О нагрузочном тестирование с помощью Python и Locust поговорим вместе со старшим специалистом по нагрузочному тестированию X5 Tech - Николаем Максимовым.
📋 https://clck.ru/bkutx

Доклад посвящен подходу, который активно применяется на "Платформе прогнозирования спроса X5", и позволяет реализовывать нагрузочное тестирование на Python.

Помимо демонстрации процесса работы и общего описания, особое внимание будет уделено примерам реализации скриптов и технических задач.

✅ Встречаемся на конференции TestDriven Conf 27 и 28 июня в Москве!
⚡️ Билеты и вся подробная информация о конференции здесь — https://clck.ru/bkuwK

Всем привет!

На конференции TestDriven Conf выступит Семен Киреков - Java-разработчик и Team Lead в MTC Digital Центре Big Data. Он расскажет про Spring Data JPA, антипаттерны тестирования и рецепты тестов с БД.
📋 https://clck.ru/jZ5TF

За свою карьеру он столкнулся с рядом (а некоторые даже попробовал) антипаттернов тестирования при использовании Spring Data JPA. Они не только не помогают, но усложняют поддержку кода и вызывают раздражение.

В рамках доклада Семен расскажет вам о таких антипаттернах, как “мокирование” репозиториев, избыточный coupling на декларацию сущностей, лишние зависимости и транзакционные тесты. А также покажет паттерны, на которые следует их заменить, чтобы упростить жизнь при написании тестов.

✅ Встречаемся 27 и 28 июня в Москве. Тезисы докладов, билеты и вся информация о конференции здесь — https://clck.ru/jZ6x5

Приходите послушать доклад Станислава Васенкова (qa.guru) «Автоматизируя автоматизацию тестирования».
📋 https://clck.ru/mCtjZ

О чем будем говорить:
* Стандартизация техподходов в автоматизации тестирования.
* Познакомимся с генератором проектов с автотестами. Создадим проект с нуля из ручного теста — код, ci (jenkins), отчетность, контейнеризация браузеров, нотификация.
* Изучим готовый фреймворк на java / selenide / rest-assured / allure со скриншотами и видео.
* Обогащение api-запросами ui-автотестов для атомизации, параллелизации и ускорения прохождения.
* Разберем красивые уведомления о результатах автотестов в telegram / slack / email / icq.
* Crowdtesting внутри своей компании — как выстроить.

✅ TestDriven Conf 2022 пройдёт 27 и 28 июня в Москве. Тезисы докладов, билеты и вся информация о конференции здесь — https://clck.ru/mCuxZ

Всем привет!

Как усмирить энтропию в автотестах – расскажет Виктор Раев из Test IT.
📋 https://clck.ru/oqdME

Есть набор проблем, с которыми сталкивается каждый автоматизатор:
* долго автоматизировали тест, а такие проверки уже есть, и тест стал не нужен;
* тесты постоянно ломаются, т.к. в продукт внесли изменения;
* постоянно тратим время на поддержку тестов, анализ и прочее, а не на создание новых тестов.

Многие причины связаны с менеджментом и неудачными решениями при организации кодовой базы, подходов и архитектуры.

Надо лечить болезни, а не симптомы. В докладе Виктор рассмотрит чек-лист, позволяющий избежать зарождения и усугубления этих проблем, например:
- как избежать проблем коммуникаций;
- как разбить и хранить тесты по слоям;
- как ускорить анализ;
- как повысить стабильность автотестов.

✅ Встречаемся 27 и 28 июня в Москве. Тезисы докладов, билеты и вся информация о конференции здесь — https://clck.ru/oqezt

📣 Приглашаем послушать выступление Ильи Шигабеева из ID R&D.
📋 https://clck.ru/pRf59

Основные тезисы доклада.
Представьте, что вы сделали модель, которая решает вашу задачу с ошибкой меньше 1 процента. Радостный, вы относите её вашему заказчику, а он после своих тестов заявляет, что на его данных ошибка составила 25 процентов.

Вы начинаете выяснять, в чём дело. И оказывается, что у заказчика данные на другом языке, в сами тестовые сценарии вы не вчитывались и вообще система эксплуатировала длину тишины в аудиозаписях для обучения.

Как этого избежать? Как грамотно построить процессы тестирования и сравнения нейронных сетей, чтобы не тратить на тесты больше, чем на обучение? Ответы на эти вопросы, а также о том, как построить инфраструктуру для хранения таких моделей, — в докладе Ильи.

✅ Встречаемся 27 и 28 июня в Москве. Тезисы докладов, билеты и вся информация о конференции здесь - https://clck.ru/pRg6d

Всем привет!

Как Юла запустила BDD фреймворк для автоматизации API без кода – узнаем у Виктора Мясникова (Юла).
📋 https://clck.ru/pTsRc

Уже 2022 год, и существует достаточно много решений для тестирования API, каждое из них решает одну задачу: или проверяем вручную, или пишем автотест. Но настоящий путь — это решить обе проблемы разом.
В докладе Виктор расскажет про опыт построения фреймворка для тестирования API.

Это рассказ про то, как они пришли к этому, на какие "грабли" наступили в процессе проектирования и реализации. Конечно, он расскажет, почему взяли BDD, как кодили на Java, а также про проблемы и подводные камни написания и дальнейшего сопровождения такого продукта.

✅ Встречаемся 27 и 28 июня в Москве. Тезисы докладов, билеты и вся информация о конференции здесь — https://clck.ru/pTt6j