Здесь переводится видео в статью Дмитрия Гуменюка "ReportPortal.io пример CI CD c метриками на основе продукта с Открытым Кодом"
Ссылка на видеодоклад https://www.youtube.com/watch?v=gkWMuuMVRgQ
Текст сделан из субтитров. Буду очень благодарен в форматировании текста, его вычитки. Для этого достаточно знать русский язык. Присылайте свои pull request или присылайте текст на почту patsev.anton[собака]gmail.com
ну что мы наверное ибо custard все уже устали длинный день и ну ничего скоро party все поедут всех отсюда забирают так что осталось немножко мы сейчас пробежимся я вам расскажу интересные вещи ну давайте наверно человек стать и субботника видел но оно в принципе очень помогает давайте немножко просто оживимся ручки пожалуйста вы думаете так но вот спустили хорошо а теперь волной я показываю поехали в ту сторону давай из крышку отлично ну ладно хорошо давайте познакомимся кто из вас из не помощи есть такие круто конец таких но маленькая компания такая 23 человека чуть-чуть работаем меня зовут дмитрий гуменюк я работаю в компании epam systems уже десять лет чем чуть позже об этом скажу кто уже слышал вообще и под портале когда-то молодец молодцы легко замечательно вообще на самом деле год назад я уже присутствовал на иск виды до примерно год назад когда он происходил я стоял со сцены говорил ребята у меня отличная новость скоро мы будем в общем source и об этом чуть позже итак меня зовут дмитрий 10 лет компании epam systems с опытом разработчика и текущий момент возглавляю разработку инициатив внутри тест компания sis центра вот этот самый центр компетенций чтобы понимали откуда у нас вообще все это появляется и что это такое понятный план систем с большая компания 23 тысяч человек 25 лет почти на рынке мы написали очень много проектов опыт и сумму из них складываем собираем и чтобы вот этот опыт не терять мы их собираем внутри определенных таких вот групп или скажем так образование которое называется центром компетенции такая же схема используется там допустим у гугла для сбора монах и вот внутри центра компетенции мы перевариваем эту информацию для того чтобы сделать из этого что-то полезное основном либо закрыть какие-то косяки которые мы сталкиваемся и сразу в разных проектах ли где-то видим проблемы и так далее и вот одно из таких решений которые мы сегодня поговорим это собственно report портал почему я здесь почему серьезными тщательная новость для вас это что я говорил год назад наконец таки случилось report портал ребята вышел в open source что не на клаве об этом чуть подробнее далее на самом деле большая штука мы пишем ее уже практически четыре года и это инструмент который позволяет вам ускорять сокращать время работа с автоматизации в виде агрегации данных анализа данных зло результатов в одном месте отчетность и наша очень любимая штука это авто анализ когда на основе собранных данных система сама анализировать ваше падение но это мы немножко посмотрим далее и давайте вот прямо сейчас я переключусь на видеозапись по которым мы пробежимся и он расскажу что то будет очень быстро не все расскажу что хотелось бы сегодня тоже сердечки ну собственно вот самая главная страничка куда нужно попасть это рекорд портал . его это наш сайт здесь красиво лендинг пейдж с описанием наших вич также здесь доступно документации полный user manual что-то можно делать что куда крутить и очень важная ссылочка это собственно нагиб хоп там на гитхабе лежит report портал в виде отдельной организации где собираются все с нужной зависимости интеграции части приложений так далее и тому подобное но то что интересно нам здесь кто-то там рукой машет напротив проектора инсталляцию инсталляция с помощью докера происходит очень быстро и очень удобно вот я уже показываю установленный уэстонс для примера где есть при созданные пользуется я зашел внутрь вот так вот собственно выглядит report portal быстренько просто что мы умеем делать запуски статистика и пройдем вот эту историю представим что мы создаем новый проект с нуля назовем его внyтри реально тема логично наверно и сдержанном сразу доступны настройки сколько хранить логе скриншоты имел модификации можно подключить bug tracking систему tfs транжира для того что прямо с экрана рекорд портала просто не могу добавить костяные дефект типы чтобы максимально близко сделать его похожим на тот фло который у вас есть на проекте и вот здесь вот удобная фишка чтобы было с чем поиграться и а генерировать зима данные и перехожу на этот проект вот появились дашборде некоторые нам отражать статусы прогонный проанализированы и для наглядности но давайте перейдем к примеру посмотрим вот что обычно дает другие туры автоматизации как таковые сандры испытаны на график что вы из них можете получить это вот состояние вашего прогона тест кейсов вы видите что у вас есть зеленый красный тесты но красный тест обычно не говорят ни о чем они упали может вас 20 процентов приложения падать и у вас есть только сухая статистики в виде прошедших упавших пропущенных тасс кейсов в случае с report порталом мы можем зайти и она хранится все у нас мы заходим внутрь это с кейсы и наблюдаем там все привязанные к нему логе скриншоты логе раскрашены в цвет для удобства скриншоты можно посмотреть в галерее перейти также в один клик нам доступно история прогона предыдущих то есть состояние тасс кейса в предыдущих прогонах просто в один клик зашли посмотрели разобрались влогах и поняли где у нас почему начался момент когда все пошло не по плану и вот тут важный момент что инженер может выбрать какую причину в этот самый эффект тип почему падает вот этот данный конкретный the space оставить комментарий что там что-то вот-вот совсем не так как хотелось бы и при сохранении эта статистика становится в рандами доступна всем вот по по всей структуре тасс кейсов что есть работает с которой работают инженеры также очень удобная штучка мы можем прямо отсюда запустить бак bug tracking систему данный момент этот жираф на экране я нажимаю саммит и все логе которые сюда относятся скриншоты наши комментарии и все прилетают дыру здесь мы его не видим показывается нам состояние актуальность этого тасс кейса тут очень богат криптоанализа или уже закрыт сама джерри мы видим логе мы видим скриншоты залитое сюда обратная ссылочка чтобы глиттеры stability скажем так чтобы было удобно работать и вот в чем момент состоит дальше с учетом того что инженеры просмотрели проанализировали ваше падение то есть взяли эти самые красные то скейте в принципе разобрали к чему относятся эти падения вот как видите у нас появилась эта цифра 1 напротив продуктового бага и это нам дает следующий момент и вот к примеру я показываю же разобранный гораздо побольше набор данных прогонов и вот тот самый анализ и которыми я говорил сейчас я сделал анализ для других падений чтобы показать вам как это работает у нас есть прогон мы видим что там 25 неразобранных результатов именно падение где нужно посмотреть и я запускаю остановись видим цифру 24 через некоторое время сервак пробегают по предыдущим прогоном ищет сходимости их уже стала 15x иногда становится и 0 просто это абсолютно дима данный сгенерированное но даже на них она сработала в этом случае порт портал распознает и просматривает ваши отчеты ваши результаты и ищет собственно причины падений за вас что это дает вот такой вот график стандартный можно посмотреть других видах именно вот здесь вот мы можем видеть как распределяется причины падения то есть вот это вот внизу мы смотрим как вашей команды разбирать результат вообще смотрят ваши результаты как вырастают из кейсы и вот эта вот красная часть внизу именно так которой относится к продуктам богам ребята это и есть именно та цель автоматизации которые вообще существуют автоматизация находит продуктовой баню именно по этой части мы можем судить насколько она у нас эффективно либо есть вариант и что мы увидим что у нас реально куча системных проблем там системы сша с которой падает падает ему каждый раз тратим деньги на перезапуск из кейсов на анализ результатов наперед на тратим короче деньги команды на просто на то что например у нас нет недоступен или виртуалке падают это бесценно собственный core портал может вам показать это все очень быстро наглядно в собственно дать вам везде билете состояние вашей автоматизации и вам не нужно на этом много тратить время доступны различные виджеты например вот такой который показывает самый подыщет с кейси определенном наборе прогонов танцев и вам следует уделить внимание в первую очередь потому что они вас очень часто подают также у нас имеется набор принц сохраненных template of по которым вы можете попытаться отразить основные метрики и получить наглядность в внутри состоянии автоматизации если очень быстро и кратко то вот это вот скорее даже все что я уже успел вам рассказать то есть у нас выделяется известно на целевой группы как инженеры которым удобно работать быстро в одном месте все наглядно и красиво с отчётом виртуализации так и менеджер тим лиды и прочие ребята которые имеют ведь билете в состоянии автоматизации и для того чтобы вам рассказать о том как у вас там дела вам не надо с много времени так это мы стоп ним мы сражаемся с презентациями отлично придется бежать чик-чик-чик-чик-чик-чик метрики и меня большое количество проектов которые уже используют при пор портал внутри epamа мы стали получать такую маленькую big data from слетается много информации много тест кейсов там как-то считали что-то около 14 в секунду нам прилетают там за неделю это уже очень много становится и из этих данных мы решили сделать что-то толковое а точнее попытаться вывести метрики с помощью которых следить за автоматизации и на самом деле ребята метрики это не не та штука с помощью которой вот и просто и иногда воспринимает что это то за что вас будут наказывать то есть когда у вас что-то плохо все горит в огне и к вам приходят ребята давайте посмотрим на вашей метрике или там накипи али так вот собственно метрики это не для того что вам от атак метрики нужны для того чтобы вы понимали что вы делаете правильный продукт и вы находитесь в правильной скажем так зеленой зоне создание этого продукта тем метрики которые которых мы пытаемся показывать рассказывать я их называю метриками пожарными пожарными извещателями потому что это те метрики которые позвали начнут скажем так орать и кричать тот момент когда у вас что-то начинает идти не так одна из них например пройдемся быстренько банально количество запусков вашей организации как часто вы запускается автоматизацию на самом деле идеального числа и скажем супер верному числа что вы должны запускать четыре раза в день нет или 12-36 у нас есть примеры когда нормально это два раза в неделю у кого-то 36 раз в день очень сильно зависит от проекта но явно можно сказать одно что если у вас вдруг начинает падать количество этих запусков там стремится ниже какой-то отметки всем и уменьшается вот если тренд идет на спад значит супов это первый момент где что там проект между 5 и начать уделять внимание что что-то идёт функция не так количество проанализированных результатов сколько падений вот реально там красных из кейсов была разобрана командой потому что есть такой тонкий момент что окей мы потратили деньги за не примете равале мы потратили деньги время запустили но получили отчеты но мы с этими отчетами дальше ничего не сделали какой смысл этой автоматизации если результаты и никто не просматривать соответственно эта метрика может показать нам о том как просматривать результаты командой и если там опять таки транш начинает идти на сторону уменьшения нужно брать не знаю там пару конфеток либо пряника идти разговаривать с ребятами автоматизации такие метрики как стабильность и количество продуктов багов либо автомашин багов я думаю ни для кого не секрет что одна из самых больших проблем автоматизацию всех это именно нестабильность кода автоматизации это когда кот автомашин падает просто потому что он плохо написан либо неправильно написан либо там все очень быстро меняется что автомашина не успевает адаптироваться и зачастую встречаются такие кейсы там проводить аудит и где-то на проектах и проще что ребята практически все время свое тратят только на то чтобы стабилизировать код стабилизироваться тесты и если там вспоминаю тот график у них он просто весь желтый они занимаются только тем что стабилизирует если они не менее учеников ценности не приносят для проекта они сидят и фиксу это же не для того чтобы потом и таффи кстати опять и фикса нет смысла в этой консультации ребята ее нужно делать по-другому это очень важный момент для 7 видов менеджеров чтобы понимать что вот здесь начинается закапывания денег если у вас по этой метрики начинает катиться в ту сторону это явно тот момент когда нужно должен сработать тот самый пожарные извещатели также проблемы объем системных проблемах например недоступности дворами то они поднялись там virtual очки просто сидеть отваливается так далее в ту же стиль и время execution of то есть продолжительность этих запусков если он вас начинает перерастать очень сильно это опять-таки очень плохой кейсы которую нужно следить понятно что вы можете добавлять новые тест кейсы и где то в каком то там определенные дельте он может прирастать но если он начинает без изменения количества тасс кейсов расти и безостановочно скорее все это очень плохо и какой-то момент это будет опять потерянной автоматизации собственно вот эти метрики с помощью которых точнее который позволяет ли порт портал получите посмотреть вам просто вот никаких больших действий для этого не нужна интегрируется report портал довольно быстро и просто и позволяет вам построить правильный красивый наглядный pipeline с отображением с реальным безделица в состоянии автоматизации что хотелось бы добавить я думаю уже дал мне состава совсем чуть-чуть до 1 минута замечательно мы вышли vacant source большой шаг большое на самом деле события и иногда становится немножко страшно потому что чем-то узнает как там слова тому притворстве нужны эти продукты вообще что происходит но мы хотим и мы настроем на то чтобы делиться рассказывает показывать и работать с нашими пользователями то есть начинать строить комьюнити и скажем так дать доступ вам всем к тому чтобы иметь возможность влиять на развитие продукта то есть это как-то обсуждение фич запрос каких-то фич будем проводить воркшопы тренинги и так далее просто для того чтобы получать от вас фидбэк и что дает нам такой момент мы сможем развивать этот продукт в правильном направлении потому что одно дело когда мы развивались там-то исполняю года внутри закрытой компании не выходя никуда наружу другое дело специфики открытого рынка и где то может быть мы не будем там не не сходились во мнениях с большинством поэтому нам хочется получить от вас фидбэк для того чтобы сделать этот продукт реально ценными сделать его доступным для всех для всех еще раз повторюсь это open source это gpl лицензия который не требует вас из вас ничего она абсолютно бесплатно для использования запуска распространения и даже использование в коммерческой основе это чистый самый что ни на есть сок open source а который можно использовать поэтому для тех кто будет миски либо не знаю кто то увидит это видео в первую встречу которую мы проведем в минске 14 декабря где потратил три часа рассказе о в целом report портале наших целях планах и и технических материалов возможно проведем первый тренинг добро пожаловать если у кого то получится и вот это вот все те самые ссылки которые важны вам посмотреть и найти и задать вопросы спасибо на этом все перечислить я могу цифру сказать их порядка там уже наверно 14 12 который за при меньшем под python есть агент но как бы не веришь в тонком подъему то есть агент есть написаны до для питона нужно использовать использовать карту до передать да сейчас у нас нет дальше вам нужно заиметь instance то есть поставить себе куда-то сам applications и то что присылает туда данные мы называют агентами это куст это фактически леснер и который нужно добавить внутрь вашего движка он будет слушать события и в параллельном режиме скидывать на данный через http то есть всего лишь вот эти три маленькие части которые есть еще пигмент который имеет отсылать данный просто почте теперь вторая часть агента это который слушает структуру тест запустился закончился тесту полу и третья часть это подключение к логову чтобы логе скриншоты слушались отправлялись да это часть интегрируются внутрь тестов внутри движка теста но важный момент вам не нужно переписывать тэсс кейсы вообще никак он просто нужно добавить листья это стандартный механизм по там которые используют тест выдержки зашел появился на я понял это вопрос 1 квартал 2017 года мы сейчас делаем обновление которые позволят нам сделать кластеризацию applications то есть именно развести на гиа кластер и в планах вот за первый квартал 17 года мы переедем на amazon серваке и расположим кластер и в штатах в индии и в венгрии для того чтобы сократить сетевые задержки и в планах как раз таки вот этот общедоступный кластер перевести на модель счас то есть смысл в чем мы не будем брать из он приложение а наутро собственно бесплатно бери используйте хочешь но там момент в том что завести нормальные виртуалке например вам стоит в месяц 200 долларов хороший там плюс вам нужно тратить время на праве shining на для губ софтом и так далее мы предложим это за 100 долларов в месяц но приблизительно или у вас сто нас 50 и вам это просто дешевле и быстрее а мы за счет агрегации большого количества проектов будем это делать нет почему я так мило что у нас конец [музыка] но представьте если у вас команда допустим тестировщиков 40 человек а команда автоматизации 20 человек а команда разработчиков 60 человек не то на самом деле прекрасно работает и мы заметили собираясь скажем так аналитику а надо работать даже лучше на маленьких проектах чем на больших потому что на больших проектах уже более серьезные процессы там ближе к настоящему соседей на маленьких проектах там ну вот сравниваем мы даем к но металл порядка 20 процентов затрат команды на больших это 10 55 10 процентов за счет того что первое все у вас в одном месте все или man place то есть все логика сборки все собираются в одно там же вам доступны историю вам не надо тратить команда не тратит время на то чтобы копаться где-то данных все это одним кликом собирается там поститься банк просто даже написать сесть и написать баг это занимает время если это делается в один клик это гораздо быстрее вот на этих маленьких мелочах то есть здесь момент в чем на самом деле она была написана автомате зато раме и это был это продукцию знай организаторами для автомате zatarra и вот именно та самая боль слезы вот этого то что изо дня в день как бы ты чувствуешь ты тратишь время на что-то что можно автоматизировать оно было автоматизировано и вот эти моменты закрыта они позволяют цвета делаем стаи не тратить то в год бесполезно время на которое может быть автоматизирован [музыка] я могу ответить быстро радиус показывает красиво чит для нава прогона не более нем есть история в нем нет истории ты можешь выстоять причину почему еще нет