Nowy standard. Twoje centrum tworzenia inteligentnego, szybkiego i zrównoważonego oprogramowania AI

Zobacz teraz
Słownik/Jakość, bezpieczeństwo i zgodność

Testowanie oprogramowania

Testowanie oprogramowania to praktyka oceny oprogramowania poprzez jego uruchamianie lub analizę, której celem jest wykrywanie defektów i potwierdzenie, że działa zgodnie z założeniami.

Czym jest testowanie oprogramowania?

Każde wydanie to zakład, że nic ważnego się nie zepsuło, a testowanie pozwala zespołowi sprawdzić, czy ten zakład jest bezpieczny, zanim zrobią to użytkownicy. Zastępuje „u mnie działało” dowodami, które cały zespół może zweryfikować.

ISTQB, międzynarodowa organizacja certyfikująca testerów oprogramowania, definiuje testowanie jako proces w cyklu tworzenia oprogramowania, który ocenia jakość komponentu lub systemu oraz powiązanych z nimi produktów pracy. Ta definicja celowo obejmuje także testowanie statyczne, takie jak przeglądy kodu i analiza statyczna, które pozwalają badać oprogramowanie bez jego uruchamiania, obok testowania dynamicznego, polegającego na wykonywaniu kodu.

Testowanie można też podzielić według tego, co sprawdza. Testy funkcjonalne odpowiadają na pytanie, czy oprogramowanie robi to, co powinno, na przykład czy zwrot środków aktualizuje fakturę. Testy niefunkcjonalne dotyczą tego, jak dobrze to robi, obejmując takie cechy jak czas odpowiedzi pod obciążeniem czy odporność na ataki.

Dlaczego testowanie oprogramowania ma znaczenie?

Testowanie oprogramowania ma znaczenie, bo każdy niewykryty defekt zostanie znaleziony później przez kogoś innego, zwykle klienta albo audytora.

  • Użytkownicy znajdują to, czego nie wychwyciły testy. Defekt, który trafi na produkcję, kończy się zgłoszeniem do supportu albo nieudaną płatnością. Zespół płaci wtedy za poprawkę, a dodatkowo traci zaufanie użytkowników.

  • Wymagania da się przełożyć na konkretne kryteria. Napisanie testu zmusza do zamiany nieprecyzyjnego wymagania, takiego jak „raport powinien ładować się szybko”, na konkretny zapis, na przykład „ładuje się w mniej niż dwie sekundy dla 10 000 wierszy”. Niejednoznaczności wychodzą na jaw, gdy ich wyjaśnienie wciąż jest tanie.

  • Produkty regulowane wymagają dowodów. W obszarach takich jak oprogramowanie dla wyrobów medycznych normy takie jak IEC 62304 wymagają udokumentowanych działań weryfikacyjnych. Zestaw testów z wynikami, które da się prześledzić, jest jednym z elementów potrzebnych do certyfikacji produktu.

Jak działa testowanie oprogramowania?

Testowanie oprogramowania polega na sprawdzaniu systemu na kilku poziomach zakresu, przy czym testy automatyczne uruchamiają się przy każdej zmianie, a ludzie badają to, czego automatyzacja nie jest w stanie przewidzieć.

  • Poziomy testów. Testowanie zwykle organizuje się na czterech poziomach: jednostkowym, integracyjnym, systemowym i akceptacyjnym. Testy jednostkowe sprawdzają jeden mały fragment kodu w izolacji, a testy akceptacyjne weryfikują, czy gotowy produkt odpowiada na potrzebę biznesową.

  • Piramida testów. Spopularyzowana przez Mike’a Cohna w Succeeding with Agile (2009) piramida zaleca dużą liczbę szybkich testów jednostkowych, mniejszą liczbę testów na poziomie usług i niewielką liczbę wolnych testów end-to-end prowadzonych przez interfejs użytkownika. Taki układ pozwala utrzymać szybkość zestawu testów, a jednocześnie obejmować pełne ścieżki użytkownika.

  • Techniki projektowania testów. Techniki takie jak analiza wartości brzegowych wybierają dane wejściowe tam, gdzie defekty zwykle się kumulują, na przykład testując granicę wieku 18 lat dla wartości 17 i 18 zamiast losowych liczb. Dzięki temu niewielka liczba testów może objąć szeroki zakres zachowań.

  • Automatyzacja w pipeline. Testy automatyczne uruchamiają się w pipeline CI/CD przy każdym commicie albo pull requeście. Jeśli test się nie powiedzie, merge zostaje zablokowany, więc defekt trafia do osoby, która właśnie napisała ten kod.

  • Testowanie eksploracyjne. Testerzy korzystają z produktu bez ustalonego scenariusza, kierując się przeczuciami co do tego, gdzie może się zepsuć. To pozwala wykryć defekty, dla których nikt nie pomyślał, by napisać test.

  • Testy niefunkcjonalne. Testy obciążeniowe symulują skoki ruchu, a testy bezpieczeństwa, takie jak testy penetracyjne, szukają podatności. Zwykle uruchamia się je według harmonogramu albo przed dużymi wydaniami, zamiast przy każdym commicie.

Jakich narzędzi zespoły używają do testowania oprogramowania?

Większość zespołów łączy framework do szybkich testów na poziomie kodu z osobnymi narzędziami do ścieżek przeglądarkowych i testów obciążeniowych, ponieważ każdy rodzaj testów wymaga innego środowiska uruchomieniowego.

Jakie narzędzia uruchamiają testy jednostkowe i integracyjne?

Jest (JavaScript i TypeScript), pytest (Python) oraz JUnit (Java) to powszechnie używane frameworki w swoich ekosystemach. Uruchamiają testy i raportują błędy w formacie, na podstawie którego pipeline'y CI mogą podejmować działania.

Jakie narzędzia automatyzują przeglądarkowe testy end-to-end?

Playwright, Cypress i Selenium sterują przeglądarką podczas ścieżek użytkownika, takich jak rejestracja czy finalizacja zakupu. Wszystkie trzy narzędzia potrafią uruchamiać testy w więcej niż jednej przeglądarce, co pomaga wychwycić defekty specyficzne dla konkretnej z nich.

Jakie narzędzia testują wydajność pod obciążeniem?

k6, Apache JMeter i Gatling symulują wielu jednoczesnych użytkowników, żeby mierzyć czasy odpowiedzi i znajdować punkty graniczne systemu. k6 i Gatling definiują testy jako kod, więc można je wersjonować i przeglądać tak samo jak resztę bazy kodu.

Jakie są najważniejsze cechy testowania oprogramowania?

Testowanie oprogramowania określa to, co jest w stanie udowodnić, czego udowodnić nie może i jak należy odczytywać jego wyniki.

  • Sprawdza próbkę zachowań. Testowanie wyczerpujące jest niemożliwe we wszystkich programach poza tymi najbardziej trywialnymi, ponieważ liczba możliwych danych wejściowych i stanów jest zbyt duża. Jak ujął to Edsger Dijkstra, testowanie może wykazać obecność błędów, ale nigdy ich brak.

  • Test jest tylko tak dobry, jak oczekiwany wynik. Każdy test porównuje rezultat z tym, co powinno się wydarzyć. Jeśli oczekiwany wynik jest błędny, test przejdzie, mimo że oprogramowanie działa nieprawidłowo.

  • Pokrycie mierzy wykonanie. Pokrycie kodu pokazuje, które linie zostały uruchomione podczas testów. Linia może zostać wykonana w teście, który niczego o niej nie sprawdza, więc wysokie pokrycie i skuteczne testy to nie to samo.

  • Obejmuje cały cykl życia. Testowanie zaczyna się od przeglądu wymagań, co często określa się jako shift left, i trwa po wydaniu dzięki monitorowaniu produkcji. Traktowanie go jako etapu na końcu projektu sprawia, że defekty wychodzą na jaw wtedy, gdy czasu na ich naprawę jest najmniej.

Jakie korzyści daje testowanie oprogramowania?

Najważniejszą korzyścią z testowania oprogramowania jest to, że zespoły mogą szybko zmieniać kod, nie zgadując, co przy tym zepsuły.

  • Bezpieczna refaktoryzacja. Dobry zestaw testów pozwala inżynierom przebudowywać kod i w ciągu kilku minut wiedzieć, czy zachowanie systemu się zmieniło. Bez niego zespoły unikają ruszania starego kodu, a dług techniczny narasta.

  • Krótsze pętle informacji zwrotnej. Defekt wykryty przez nieudany test w pull requeście naprawia osoba, która go wprowadziła, gdy kontekst jest jeszcze świeży. Ten sam defekt znaleziony kilka tygodni później wymaga najpierw odtworzenia tego kontekstu.

  • Żywa dokumentacja. Testy pokazują, jak każda część kodu ma być używana, na konkretnych danych wejściowych i wyjściowych. W przeciwieństwie do strony w wiki, nieaktualny test głośno sygnalizuje problem.

  • Przewidywalne wydania. Gdy cały zestaw testów przechodzi, zespół ma wspólny sygnał, że sprawdzono każde znane ryzyko. Decyzje o wydaniu przestają zależeć od intuicji jednej osoby, choć żaden zestaw testów nie może dowieść, że wydanie jest całkowicie wolne od defektów.

  • Mniejsze obciążenie dyżurami. Mniej defektów, które przedostały się dalej, oznacza mniej incydentów na produkcji, więc inżynierowie spędzają mniej czasu na gaszeniu pożarów, a więcej na zaplanowanej pracy.

Jakie wyzwania wiążą się z testowaniem oprogramowania?

Główne wyzwanie związane z testowaniem oprogramowania polega na tym, że napisanie testów i utrzymanie ich działania kosztuje czas, a ten koszt musi być niższy od wartości, jaką testy zwracają.

  • Niestabilne testy. Testy, które losowo raz przechodzą, a raz nie, podważają zaufanie do całego zestawu. Odseparowanie ich pomaga utrzymać zielony pipeline, ale każdy taki test pozostaje luką w pokryciu, dopóki ktoś go nie naprawi.

  • Kruche testy end-to-end. Testy interfejsu użytkownika psują się, gdy zmienia się znacznik, nawet jeśli z perspektywy użytkownika wszystko działa poprawnie. Zastąpienie ich testami z niższych poziomów zwiększa stabilność zestawu, ale zmniejsza pokrycie pełnych ścieżek użytkownika.

  • Środowiska różniące się od produkcji. Test, który przechodzi na stagingu, może mimo to nie zadziałać na produkcji, jeśli różnią się dane albo konfiguracja. Środowiska bardziej zbliżone do produkcyjnych zmniejszają tę lukę, ale podnoszą koszty infrastruktury.

  • Powolne zestawy testów. Wraz z rozrostem zestawu informacja zwrotna przychodzi coraz wolniej i inżynierowie zaczynają go pomijać. Równoległe uruchamianie testów albo uruchamianie tylko tych, na które wpływa zmiana, przywraca szybkość, ale zwiększa koszty obliczeń w CI albo grozi pominięciem istotnego testu.

Czym różni się testowanie manualne od automatycznego?

Testowanie manualne polega na tym, że każdą kontrolę wykonuje i ocenia człowiek, a testowanie automatyczne wykorzystuje skrypty, które uruchamiają te same kontrole bez udziału człowieka.

Testowanie manualne

Testowanie automatyczne

Kto je wykonuje

Człowiek, zwykle tester

Skrypt albo pipeline CI

Najlepiej sprawdza się przy

Eksplorowaniu nowych funkcji i ocenie użyteczności

Powtarzaniu znanych kontroli przy każdej zmianie

Koszt początkowy

Niski, nie wymaga pisania kodu testów

Wyższy, bo testy trzeba najpierw napisać

Koszt bieżący

Czas testera przy każdym uruchomieniu

Utrzymanie przy zmianach w kodzie

Nieoczekiwane problemy

Może zauważyć problemy, których nikt nie uwzględnił w scenariuszu

Wykrywa tylko to, co sprawdzają jego asercje

Powtarzalność

Kroki mogą się różnić między uruchomieniami i testerami

Te same kroki przy każdym uruchomieniu

FAQ o testowaniu oprogramowania

Testowanie oprogramowania: potrzebujesz wsparcia ekspertów?

Monterail tworzy oprogramowanie na zamówienie z wykorzystaniem najnowszych technologii. Porozmawiajmy o tym, jak możemy pomóc w Twoim projekcie.

EXPLORE WEB DEVELOPMENT SERVICES