V tomto článku se budeme zabývat tím, co je to testování výkonu, mnoha typy a dostupnými nástroji, problémy a výhodami spojenými s testováním výkonu a mnoha dalšími informacemi. Tento komplexní průvodce zahrnuje také analýzu automatizovaného testování výkonu, které se s dalším rozvojem technologií stává stále běžnějším.
Co je testování výkonu?
Testování výkonu, někdy zkráceně “perf testing”, je proces prováděný za účelem zjištění, zda určitý produkt bude dobře vykonávat očekávané procesy při různém pracovním zatížení. To může mít podobu testování výkonnosti webových stránek nebo testování výkonnosti při testování softwaru, v závislosti na daném produktu.
Testování výkonnosti je určeno především k odhalení chybných parametrů výrobku, které lze změnit již v počáteční fázi životního cyklu výrobku, aby se předešlo větším problémům v budoucnu. To se často označuje jako hledání úzkých míst, což je jedna složka, která brzdí celkový výkon softwaru.
Testování výkonu lze provádět v laboratoři nebo v produkčním prostředí a obvykle se při něm posuzuje rychlost, rychlost, škálovatelnost, stabilita, odezva a spolehlivost produktu.
Liší se testování výkonu od funkčního testování?
Testování funkčnosti se liší od funkčního testování, které testuje, zda určité funkce aplikace fungují, například tlačítko “přidat do košíku” v internetovém obchodě.
Testování výkonu se zabývá tím, jak dobře funkce funguje při velkém tlaku, například zda by tlačítko fungovalo i v případě, že by do košíku přidávalo mnoho lidí najednou.
Oba tyto typy testů spadají pod testování výkonnosti API, což znamená, že jejich účelem je zjistit celkový výkon rozhraní systému za určitých okolností z backendu softwaru. Existuje mnoho typů nástrojů pro testování výkonu rozhraní API, kterým se tento článek věnuje, například testování výkonu modelu pracovní zátěže.
Proč potřebujeme testování výkonu?
Testy výkonu webu jsou nezbytné, aby vývojáři mohli zúčastněným stranám poskytnout spolehlivé informace o výkonu aplikace a předpovědět, jak bude aplikace reagovat na různé úrovně provozu.
Testování výkonu také odhalí, co je třeba zlepšit ještě před uvedením produktu na trh nebo po jeho uvedení do provozu, aby se předešlo pomalému výkonu, nekonzistenci a špatné použitelnosti. Testuje se na základě očekávaných uživatelských čísel, takže se lze spolehnout na to, že bude fungovat podle očekávání.
Výhody testování výkonnosti
O výhodách testování výkonu jsme se již stručně zmínili, když jsme uvedli, o co se jedná, ale níže si uvedeme seznam konkrétních výhod testování výkonu.
1. Realistické informace
Jak již bylo stručně zmíněno výše, testování výkonu se používá k tomu, aby zúčastněné strany získaly spolehlivé a realistické informace o tom, jak bude aplikace fungovat. Bez toho hrozí poškození dobrého jména zúčastněné společnosti.
Přesné testování výkonu znamená, že lze poskytnout spolehlivé údaje, které lze díky procesu testování zlepšit, což znamená, že výrobek může mít výhodu oproti jiným výrobkům na trhu a podpořit je spolehlivým výkonem, což vede ke zvýšení prodeje.
2. Umožňuje přípravu
Testování výkonu lze použít k identifikaci míst, kde může dojít k selhání softwaru při vysokém počtu uživatelů, což znamená, že aplikace může být optimalizována tak, aby tyto problémy byly vyřešeny a odolala vyššímu využití. To je ideální například pro weby elektronických obchodů, které se musí připravit na předvídatelné velké události, jako je Černý pátek.
Prováděním testování výkonu se vyhnete pádům webu v kritických okamžicích. Internetový obchod, který se na Černý pátek nedokáže vypořádat s množstvím uživatelů, dlouho se načítá nebo má výpadky, pravděpodobně přijde o velké zisky.
3. Zlepšená uživatelská zkušenost
Testování výkonu by mělo být prováděno pravidelně, aby co nejvýkonnější webové stránky nebo software nadále plnily svou očekávanou funkci. Průběžné testování výkonu znamená, že veškeré problémy, které se mohou objevit v reálném čase, jsou řešeny co nejdříve. Důležitost této skutečnosti je zakořeněna v uživatelské zkušenosti, a to i mimo hlavní události, které jsme nastínili výše.
Pokud jsou webové stránky trvale uživatelsky přívětivé a jsou vylepšovány tak, aby nikdy nezaostávaly, budou je zákazníci často navštěvovat.
4. Srovnání
Testování výkonu lze také použít k porovnání jednoho výrobku s jiným. To může být užitečné pro vývojáře, který se vydává do velmi konkurenčního odvětví a chce se ujistit, že se vyrovná svému hlavnímu konkurentovi na trhu nebo ho předčí.
To lze využít jako prodejní argument pro získání výhody nebo jednoduše jako měřítko při testování, aby se zajistilo, že aplikace funguje dostatečně dobře.
Výzvy a omezení testování výkonnosti
Ačkoli je zřejmé, že testování výkonnosti přináší řadu významných výhod, vzhledem k jeho komplexní povaze existují některé problémy a omezení, které uvedeme níže.
1. Čas
Aby bylo možné využít všech těchto výhod, musí být organizace ochotny věnovat čas testování výkonu. To může zahrnovat nastavení hardwaru a infrastruktury, které neočekávali, nebo vyčlenění zaměstnanců na testování výkonu.
Aby bylo testování výkonu důkladné, nemělo by být uspěchané a pro některé společnosti může být obtížné odložit tento čas místo toho, aby se pustily do další fáze projektu, protože to může vést k dlouhému zpoždění.
2. Peníze
Do testování výkonnosti je třeba investovat značné prostředky. Cena nástroje pro testování výkonu závisí na rozsahu webových stránek nebo softwaru a na tom, zda se organizace rozhodne pro manuální nebo automatizované nástroje pro testování výkonu.
Existují bezplatné nástroje pro testování výkonu, ale mají omezené funkce a nefungují tak dobře jako placené nástroje.
Kromě toho může testování výkonu odhalit neočekávané problémy, které vyžadují nákladné upgrady nebo dodatečnou kapacitu systému, s nimiž se původně v rozpočtu nepočítalo.
Pro menší podniky mohou být nástroje pro testování výkonu nákladem, který nejsou ochotny zaplatit, přestože by to mohlo mít z dlouhodobého hlediska obrovský vliv na jejich výkon.
3. Omezení nástrojů
V závislosti na nástroji pro testování výkonu, který si vývojář zvolí, mohou existovat omezení.
Jak jsme již zmínili, volba bezplatného nástroje pro testování výkonu šetří rozpočet, ale může vynechat klíčové aspekty. Některé nástroje, a to i placené, mohou mít omezenou kompatibilitu, například některé mohou podporovat pouze testování výkonu webových stránek nebo testování výkonu prohlížeče, ale nejsou schopny testovat výkon softwaru.
Některé nástroje pro testování výkonu mohou být obtížné pro testování složitých nebo velmi rozsáhlých aplikací a vyžadují pečlivé sledování ze strany zaměstnanců.
Typy testování výkonnosti
Existuje více typů testování výkonnosti, které se vztahují k metodám používaným k testování systému. Použitá metoda se volí podle rozsahu a typu testovaného systému a také podle zamýšlených cílů, které vývojáři sledují.
Zde uvedeme hlavní typy používaných testů výkonnosti a jejich fungování.
1. Testování zátěže
Nástroje pro testování výkonnosti při zatížení umožňují vývojářům pochopit, jak se bude systém chovat při předem stanovené konkrétní hodnotě zatížení.
Tento proces zahrnuje simulaci očekávaného počtu souběžně pracujících uživatelů po určitou dobu. Ověřuje se tak očekávaná doba odezvy aplikace a identifikují se případná úzká místa ještě před spuštěním webových stránek nebo softwaru. Lze tak otestovat, zda systém zvládne očekávané použití obecně, nebo otestovat, jak si poradí s konkrétní funkcí, jako je například výše uvedený příklad “přidání do košíku”. Někdy se tomu říká “testování jednotek”.
2. Zátěžové testování
Zátěžové testování je další formou testování výkonu modelu zátěže a lze jej často provádět pomocí stejných nástrojů, ale místo omezené, stanovené hodnoty zátěže se při něm testovací kapacita webu zvyšuje, dokud nedojde k jeho poruše.
Využívá vyšší než očekávaný provoz, aby vývojáři mohli zjistit, v jakém bodě selhání se nachází, a zjistit, jak zvládá vysokou úroveň zpracování dat. To pomáhá vývojářům pochopit škálovatelnost softwaru a ukazuje, jak dlouho trvá návrat klíčových ukazatelů výkonnosti (KPI) na normální provozní úroveň po velké datové události.
Zátěžové testování může probíhat před spuštěním systému nebo po něm.
3. Testování hrotů
Jedná se o podmnožinu zátěžového testování, která však konkrétněji analyzuje výkonnost systému při náhlém a výrazném nárůstu počtu koncových uživatelů. Tyto výkonnostní testy pomáhají zjistit, zda by systém zvládl náhlou změnu uživatelů v krátkém časovém období, a to opakovaně.
4. Testování namáčením
Tento typ testování výkonu je také známý jako testování odolnosti a je určen k testování dlouhodobého výkonu systému a toho, jak dobře si dokáže poradit s časem. Analyzují propustnost a dobu odezvy po dlouhodobém používání, aby zkontrolovali, zda jsou výkonnostní metriky po celou dobu konzistentní a zda nedochází k výpadkům.
Co bychom měli testovat pomocí testování výkonu?
Účelem testování výkonu je odhalit problémy, ale hlavním cílem je vědět, co je jejich příčinou.
Níže naleznete seznam věcí, které se testují především prostřednictvím testování výkonu.
1. Úzká místa
Při testování výkonu je třeba vždy hledat úzká místa, která ovlivňují celkový výkon systému. To může souviset s některou z metrik testování výkonu, které uvedeme v následující části.
2. Doba načítání
To znamená příděl potřebný k zahájení žádosti. Zpoždění by mělo být co nejkratší, abyste nabídli co nejlepší uživatelský zážitek – cokoli delšího než několik sekund načítání může uživatele odradit.
3. Doba odezvy
O špatné době odezvy hovoříme tehdy, když je doba, která uplyne mezi zadáním informací uživatelem a reakcí na akci, příliš dlouhá. Stejně jako příliš dlouhá doba načítání bude uživatele frustrovat a přiměje ho k opuštění webu nebo aplikace.
4. Škálovatelnost
Měla by být testována škálovatelnost systému, tedy jeho přizpůsobivost různým požadavkům na využívání dat. Omezená škálovatelnost by byla identifikována, pokud systém může dobře fungovat s několika málo souběžnými uživateli, ale během zátěžového nebo stresového testování se zhorší, když se počet uživatelů zvýší.
Metriky testování výkonu
Jedna věc je, že je možné tyto věci testovat a zjistit, kdy jsou špatně, ale jak přesně se měří?
Existuje nespočetné množství metrik, které vývojáři používají pro testování výkonu, proto jsme vybrali ty hlavní a níže je stručně popisujeme.
1. Propustnost
Udává, kolik jednotek informací je systém schopen zpracovat za určitý čas.
2. Využití paměti
Paměť v souvislosti s vývojem webových stránek nebo softwaru znamená pracovní úložný prostor, který je k dispozici procesoru nebo pracovnímu zatížení.
3. Šířka pásma
To znamená objem dat za sekundu, který se může přesouvat mezi pracovními úlohami, často po síti. Špatná šířka pásma má za následek špatnou dobu načítání.
4. Přerušení procesoru za sekundu
Měří dopad hardwaru na proces, přičemž měří počet hardwarových přerušení, která obdrží za sekundu.
Charakteristiky účinného testu výkonnosti
Dobrý test výkonnosti umožní vývojářům jednat na základě chyb, ale specifické vlastnosti účinného testu výkonnosti jsou specifičtější a obtížněji dosažitelné.
1. Realistické testování
Nejlepší výkonnostní testy jsou ty, které předvídají skutečné scénáře, s nimiž se systém může setkat.
To znamená, že může být optimalizován pro práci v podmínkách, pro které byl navržen, takže může splnit své výkonnostní cíle a v kritických okamžicích nenarazí na problémy.
2. Rychlá analýza
Testy optimálního výkonu umožňují co nejdříve provést změny podle výsledků.
Přestože musí být důkladná, měla by být snadno analyzovatelná a měla by být provedena co nejdříve, aby bylo možné přijmout opatření. To je důležité zejména v případě, že testování proběhlo až po spuštění aplikace nebo webu.
3. Spolehlivé výsledky
Ačkoli je pro optimalizaci procesu testování výkonnosti důležitá rychlost, získaná data musí být spolehlivá a přesná, aby bylo možné přijímat správná rozhodnutí.
Pro spolehlivou a rychlou analýzu se mnozí obracejí k automatizovanému testování výkonu, kterému se budeme podrobněji věnovat později.
Proces testování výkonu
Proces testování výkonnosti se bude u každé organizace lišit v závislosti na faktorech, které jsme již identifikovali.
Existuje však šest hlavních kroků, které popisují většinu procesů testování výkonnosti, které umožní dosáhnout efektivního výsledku.
1. Strategie testování výkonnosti
Prvním krokem k zahájení procesu testování výkonu je znalost testovacího prostředí. Zjistěte, jaké nástroje pro testování máte k dispozici, včetně rozhodnutí, zda bude prováděno ručně nebo automatizovaně, a určete možné strategie testování výkonu.
Ujistěte se, že znáte podrobnosti o veškerém použitém hardwaru a softwaru, jakož i o konfiguraci sítě, která bude použita.
2. Výkonnostní kritéria
Dále je nezbytné určit cíle testu a kritéria úspěšnosti, která se u každého testu liší. Určete například omezení propustnosti a očekávané doby odezvy a přidělte zdroje.
V této fázi může být výhodné určit podobný systém, se kterým se bude porovnávat, aby bylo možné stanovit výkonnostní cíle.
3. Plán výkonnostních testů
Po určení kritérií můžete začít plánovat a navrhovat test výkonu.
Určete, jaké bude pravděpodobné využití aplikace, a klíčové scénáře, které můžete simulovat, abyste se ujistili, že systém reaguje správně. Naplánujte si, jaká data z testování výkonu chcete získat, jak je získáte a jaké metriky použijete.
4. Návrh testu výkonnosti
Jakmile je veškeré plánování komplexně dokončeno, můžete začít fyzicky navrhovat a konfigurovat testovací prostředí a zajistit potřebné nástroje a zdroje.
Poté vytvořte výkonnostní testy podle návrhu a připravte je ke spuštění.
5. Test
V tomto bodě se provede test výkonu. Je důležité sledovat průběh procesu a vytvářet protokoly dokumentující klíčové ukazatele výkonnosti v průběhu celého procesu.
6. Analýza a opakovaný test
Konsolidujte výsledky a zahajte proces analýzy.
Jak to bylo ve srovnání s vašimi očekáváními, jaké ukazatele byly měřeny a jak systém reagoval? Poté test výkonu upravte a znovu otestujte, abyste zjistili zlepšení nebo snížení výkonu. Zlepšení by se mělo s každým opakovaným testem snižovat.
Zaznamenávejte všechny průběžné výsledky.
Příklady výkonnostních testů
Existuje mnoho možných scénářů testování výkonnosti v závislosti na testovaném systému, jeho účelu, použitých nástrojích a typu testování výkonnosti.
Vraťme se k našemu příkladu webu elektronického obchodu.
stránky elektronického obchodu
Vývojáři mohou chtít použít testování výkonnosti pomocí modelu pracovní zátěže, aby ověřili, že doba odezvy není delší než tři sekundy, když na webovou stránku přistupuje současně 2000 uživatelů pomocí zátěžového testu.
Dalším krokem by mohlo být ověření, zda je doba odezvy při pomalém připojení k síti stále v přijatelném rozmezí pěti sekund.
Při přípravě na Černý pátek mohou vývojáři použít zátěžový test, aby zjistili, jaký maximální počet uživatelů může web pojmout, než dojde k selhání, jako je pád nebo velmi pomalá odezva. Během toho zkontrolují využití paměti a procesoru webových stránek a reakci databázového serveru při špičkovém zatížení.
Poté všechny tyto parametry znovu otestují za různých podmínek, třeba pomocí testování na špičkách nebo testování v zátěži, aby zjistili, jak bude reagovat v různých časových intervalech.
Vývojáři budou také používat jednotkové testování funkce “přidat do košíku”, například testování, jak bude systém reagovat na 100 uživatelů, kteří dokončí transakci najednou.
Měli byste automatizovat testování výkonu?
Automatizované testování výkonu je proces, při kterém se automatizace provádí pomocí předem připravených nástrojů, softwaru a kódu, a nikoli ručně.
Automatizace testování výkonnosti se v moderní době stává nepostradatelnou, některé organizace využívají robotickou automatizaci procesů a některé dokonce přecházejí k hyperautomatice.
Software pro automatizaci testování výkonnosti má řadu výhod i nevýhod, které uvedeme níže.
Výhody automatizovaných testů výkonu
Testování výkonnosti odstraňuje mnoho času a peněz, které mohou být vynaloženy na vytváření testovacího kódu a jeho ruční opakování, čímž se zvyšuje efektivita testovacího cyklu.
Často to také znamená, že vývojáři mohou spustit výkonnostní test a přejít k jiné činnosti, místo aby jej neustále sledovali, což umožňuje práci na dálku a znamená, že testy lze provádět i přes noc.
Navíc, jak jsme již zmínili, díky povaze automatizace se proces testování výkonnosti nejen zrychluje, ale stává se přesnějším a spolehlivějším a je schopen dokončit komplexní procesy bez rizika lidské chyby.
Všechny tyto faktory samozřejmě šetří podnikům drahocenný čas a peníze a často se mohou pochlubit vyšší návratností investic.
Omezení automatizovaných testů výkonnosti
Automatizované výkonnostní testy mohou mít omezení, kterých mohou reálně dosáhnout. U velmi sofistikovaných testů a při opravě chyb, které se mohou vyskytnout při automatizovaném procesu, je často nutný vstup člověka.
Pozorování člověka může být zásadní pro odhalení chyb a zlepšení zákaznické zkušenosti, což nelze zaručit pomocí automatického testování.
Manuální testování je často vhodnější pro průzkumné testování, testování použitelnosti a ad hoc testování.
Závěr: manuální vs. automatizované testování výkonu
Chcete-li se rozhodnout mezi manuálním a automatizovaným testováním výkonu, musíte pečlivě vyhodnotit kritéria výkonu a rozpočet. Automatizované testování výkonu je často rozpočtově výhodnější a rychlejší, zejména v případě rozsáhlých testů, ale manuální testování může odhalit problémy, které automatizovaný systém odhalit nemůže.
Nástroje pro testování výkonu
Existuje mnoho typů nástrojů pro testování výkonu, ale lze je rozdělit do dvou kategorií: Nástroje pro testování výkonu API a nástroje pro testování výkonu uživatelského rozhraní.
Nástroje pro testování výkonu API analyzují, zda jsou v backendu aplikace dodržovány správné procesy. Nástroje pro testování výkonu rozhraní REST API jsou specifickým typem nástrojů, které provádějí test výkonu webu odesíláním různých požadavků HTTP/S.
Na druhé straně nástroje pro testování výkonu uživatelského rozhraní testují klientskou stranu, což znamená, že se hodnotí uživatelská zkušenost.
Nejlepší nástroje pro testování výkonu jsou ty, které splňují obě tyto podmínky, protože nabízejí zcela komplexní pohled na to, zda systém funguje. Kromě toho jsou k dispozici jak bezplatné nástroje, tak placený software pro automatizaci testování výkonu na podnikové úrovni, takže jak se rozhodnout?
Bezplatné nástroje pro testování výkonu: výhody a omezení
Na trhu existuje řada bezplatných služeb pro testování výkonu.
Jejich zřejmou výhodou je, že umožňují testování výkonu menším firmám nebo začínajícím podnikům, které nemusí mít rozpočet na zaplacení podnikového testovacího nástroje. To znamená, že mají přístup k základním možnostem testování výkonu a mohou svůj systém odpovídajícím způsobem upravovat.
Omezení bezplatného softwaru pro automatizaci testování výkonnosti však spočívají v tom, že často nefunguje tak dobře jako placený software. Jejich funkce budou pravděpodobně omezené a bude obtížnější vyvíjet a udržovat skripty.
Bezplatné nástroje pro testování výkonu nemusí být kompatibilní se všemi platformami nebo typy testování nebo nemusí mít funkci reportování. Některé funkce mohou být uzamčeny za placenou zdí, například přístup k testování API.
Nástroje pro testování výkonnosti podniku: výhody a omezení
Nástroje pro testování výkonnosti podniku představují software určený pro provoz v rámci celého podniku. Jejich cena se často vyplatí, protože jsou pravděpodobně kompatibilní s mnoha typy testování, jazyky a platformami, což zvyšuje jejich flexibilitu a škálovatelnost.
Podnikové nástroje pro testování výkonu jsou výkonné, takže mohou provádět větší testy v kratším časovém rámci a jsou dodávány s budoucími aktualizacemi pro zlepšení výkonu, které bezplatné verze nemusí mít.
Podniky však nemusí mít na tyto služby testování výkonu vyhrazený rozpočet, zejména pokud jde o software, který má mnoho funkcí, které nebudou používat, nebo pokud je jejich firma relativně malá.
Podnikové nástroje pro testování výkonu mohou být také hůře dostupné a pomaleji implementovatelné než jednoduché bezplatné verze.
Přední nástroje pro testování softwaru, jako je ZAPTEST, však toto omezení zmírňují tím, že nabízejí model nástroj + služba. Odborník ZAP tak úzce a na dálku spolupracuje s klientskou organizací (jako součást jejího týmu) a podporuje ji při implementaci plánu testování výkonu, nástroje ZAPTEST a při optimalizaci procesu testování.
Kdy byste měli používat podnikové a kdy bezplatné nástroje pro testování výkonu?
Zhodnoťte své možnosti na základě situace ve vaší organizaci. Někdy může být cenově výhodnější zvolit bezplatnou verzi s hlavními funkcemi, které potřebujete, například pro jednorázový test webových stránek.
Pokud jste součástí velké organizace, která by mohla využít komplexní systém testování s velkým množstvím dat, který budete používat mnohokrát pro různé systémy, pravděpodobně vám nejvíce pomůže nástroj pro testování výkonnosti v podniku.
Kontrolní seznam testování výkonu
1. Rozpočet
Pro určení nejlepšího nástroje pro testování výkonu je nutné mít k dispozici podrobný rozpočet, aby bylo možné určit, zda si můžete dovolit podnikovou nebo jinou placenou verzi.
Proveďte průzkum různých dostupných nástrojů a rozhodněte se na základě svých výkonnostních kritérií a testovacího prostředí.
2. Plán
Jakmile máte rozpočet, můžete naplánovat proces testování výkonnosti, například výběr nejlepší strategie, rozhodnutí, jaká kritéria budete testovat, a rozhodnutí, které metriky použít.
Proces plánování by měl být důkladný, ať už se rozhodnete pro manuální nebo automatizované testování výkonu.
3. Analýza
Proveďte test výkonu s pečlivou analýzou v průběhu testu i po něm.
Aby byl test výkonnosti účinný, je třeba, abyste na jeho základě mohli co nejlépe jednat, proto se na data pečlivě podívejte a pokračujte v testování a analýze po celou dobu životnosti systému.
Závěr
Prošli jsme si některé typy a nástroje testování výkonnosti a také hlavní výhody a omezení testování výkonnosti.
Testování výkonu je i nadále obzvláště důležité, protože využívání online systémů a aplikací se nezpomaluje a ve skutečnosti nabírá na rychlosti a mít systém, který zvládne velký nápor, je tváří v tvář obrovské konkurenci důležitější než kdykoli předtím.
Velké podniky by měly zvážit výhody softwaru pro automatizaci testování výkonnosti na podnikové úrovni, aby zůstaly v čele inovací, a jak by jim investice do něj mohla být dlouhodobě prospěšná.
