Все, кто когда-либо сталкивался с тестированием производительности, прекрасно знают, как сложно сделать отчеты понятными, хорошо визуализированными и прозрачными для заказчика. Очень важно выбрать "правильные" метрики и разработать нужные профили нагрузки, но если в результате заказчик увидит скучные и непонятные кривые на белом фоне, он вполне может отказаться от тестирования производительности как такового, поскольку результат будет не вполне прозрачен. Давайте посмотрим, как можно улучшить впечатление от результатов тестирования производительности, на примере интеграции JMeter с мощным инструментом визуализации - Grafana.

1. Красивое тестирование
производительности
Вадим Зубович

2. О себе
Вадим Зубович
Активист COMAQA
Resource manager /
Automation Team Lead EPAM
www.comaqa.by

3. Agenda
• Что не так со встроенными отчетами Jmeter?
• Настраиваем «живое» отображение результатов
• Что таит в себе JMeter API?
• Запускаем JMeter-тесты с помощью Maven
• Общие рекомендации

4. Стандартные отчеты

5. Это просто потрясающе!

7. +
+

8. • Сборки для всех популярных платформ
• Time-Series Database
• Поддержка протокола Graphite
• Готовый Docker image
• Бесплатная локальная + предоставляется платно как сервис

9. • Сборки для всех популярных платформ
• Платформа для визуализации данных
• Совместима с Influx DB
• Готовый Docker image
• Бесплатная локальная + предоставляется платно как сервис

11. Редактируем файл influxdb.conf

12. Influxd –config {CONFIG_FILE_PATH}

15. Response times metrics: <rootMetricsPrefix><samplerName>
Thread metrics: <rootMetricsPrefix>test.
• minAT, maxAT, meanAT, startedT, endedT – Active Threads
• h.count – количество обращений к серверу в секунду
• ok.count, ok.min, ok.max, ok.avg, ok.pct<pctValue> – успешные ответы
• ko.count, ko.min, ko.max, ko.avg, ko.pct<pctValue> – ошибки при ответах
• a.count, a.min, a.max, a.avg, a.pct<pctValue> – общее количество ответов
http://jmeter.apache.org/usermanual/realtime-results.html

18. http://localhost:3000

19. Добавляем источник данных

20. Редактируем файл influxdb.conf

21. Создаем Dashboard

22. Добавляем графики

23. Выбираем метрику

24. Параметризуем

25. Задаем название

26. Вуаля!

28. What about me?

29. Создаем maven-проект И добавляем в него файлы JMeter

30. Добавляем jmeter-maven-plugin

31. Настраиваем jmeter-maven-plugin

32. Настраиваем jmeter-maven-plugin

33. mvn clean verify

38. • Create a job
• Trigger mvn clean verify
• Add HTML-publisher post-build step
• Add HTML-publisher plugin
• Enjoy

39. Best practices
• Используйте HTTP Request Defaults чтобы увеличить гибкость
• Используйте переменные и генерацию/чтение данных из файлов
• Пользуйтесь ViewResultsTree только для отладки
• Используйте Exclusion Patterns (статические файлы)
• Не запускайте настоящие тесты через GUI
• Пишите результаты в CSV, а не XML
• Улыбайтесь

40. Спасибо за внимание
Вадим Зубович
www.comaqa.by
Skype: dpi.zubovich
https://github.com/Fulcrum81