Nowy standard. Twoje centrum tworzenia inteligentnego, szybkiego i zrównoważonego oprogramowania AI

Zobacz teraz
Słownik/Jakość, bezpieczeństwo i zgodność

Automatyzacja testów

Automatyzacja testów polega na używaniu skryptów i narzędzi do wykonywania testów oprogramowania oraz sprawdzania ich wyników bez udziału człowieka na każdym etapie.

Czym jest automatyzacja testów?

Każda zmiana w bazie kodu rodzi to samo pytanie: czy coś zepsuła, co wcześniej działało? Automatyzacja testów odpowiada na nie przy każdym commicie, w kilka minut zamiast po kilku dniach.

Tester manualny wykonuje scenariusz, na przykład loguje się i sprawdza, czy dashboard się ładuje. Test automatyczny zapisuje te same kroki w kodzie, dzięki czemu maszyna może powtórzyć je identycznie tysiące razy. Decyzja o tym, co testować, nadal należy do ludzi. Powtarzalną pracę przejmuje maszyna.

Automatyzacja obejmuje kilka warstw systemu. Testy jednostkowe sprawdzają pojedynczą funkcję w izolacji. Testy integracyjne weryfikują, czy komponenty współpracują ze sobą poprawnie, na przykład API i jego baza danych. Testy end-to-end obsługują aplikację tak, jak zrobiłby to użytkownik, przez działającą przeglądarkę albo fizyczne urządzenie.

Większość zespołów opiera się na jakiejś wersji piramidy testów, modelu spopularyzowanego przez Mike’a Cohna w Succeeding with Agile (2009): u podstawy wiele szybkich testów jednostkowych, na górze mniej wolnych testów end-to-end. Automatyzacja testów nie zastępuje całkowicie testów manualnych. Testy eksploracyjne i ocena użyteczności nadal wymagają człowieka, bo skrypt może potwierdzić tylko to, co ktoś wcześniej uznał za warte zapisania.

Dlaczego automatyzacja testów ma znaczenie?

Automatyzacja testów ma znaczenie, bo gdy kontrole regresji działają bez udziału ludzi, szybkość wydań i ich bezpieczeństwo przestają się wzajemnie wykluczać.

  • Powstrzymuje wzrost kosztu regresji wraz ze wzrostem zatrudnienia. Manualne przejście regresji w dojrzałym produkcie może zająć zespołowi QA kilka dni i trzeba je powtarzać przed każdym wydaniem. Zautomatyzowany zestaw testów też rośnie razem z produktem, ale dodatkowy koszt to czas obliczeniowy i utrzymanie, a nie kolejne dni pracy testerów.

  • Umożliwia bezpieczne, częste wydania. Continuous delivery opiera się na tym, że w ciągu kilku minut wiesz, czy dana wersja nadaje się do wydania. Bez zautomatyzowanego zestawu testów każde wydanie czeka na ręczne sprawdzenie, więc zespoły wdrażają zmiany rzadziej, a to sprawia, że każde wydanie jest większe i bardziej ryzykowne.

  • Przybliża informację zwrotną do samej zmiany. Błąd wykryty godzinę po jego wprowadzeniu naprawia osoba, która nadal pamięta ten fragment kodu. Ten sam błąd znaleziony dwa tygodnie później podczas testów na środowisku stagingowym wymaga najpierw odtworzenia kontekstu.

Jak działa automatyzacja testów?

Automatyzacja testów polega na zamienianiu przypadków testowych w kod, który pipeline uruchamia przy każdej zmianie i o którego wynikach raportuje bez udziału człowieka.

  • Przypadki testowe zapisuje się jako kod. Inżynier przygotowuje skrypt dla każdego zachowania, które warto sprawdzić. Większość z nich opiera się na wzorcu Arrange-Act-Assert: ustaw system w znanym stanie, wykonaj jedną akcję, a potem sprawdź wynik.

  • Test runner uruchamia zestaw testów. Frameworki takie jak Jest, pytest i JUnit wykrywają testy w bazie kodu i raportują, które zakończyły się sukcesem, a które nie.

  • Pipeline CI uruchamia testy automatycznie. Każdy push albo pull request uruchamia zestaw testów na serwerze buildowym, takim jak GitHub Actions, GitLab CI albo Jenkins. Gdy zespół ustawi pipeline jako warunek mergowania zmian, nieudany test blokuje merge, więc zepsuty kod nie trafia do głównej gałęzi.

  • Dane testowe i środowiska są przygotowywane dla każdego uruchomienia. Testy potrzebują przewidywalnego punktu startowego, na przykład bazy danych z danymi startowymi i atrap usług zewnętrznych. Kontenery pozwalają zespołom uruchamiać świeże środowisko dla każdego przebiegu i usuwać je zaraz po nim.

  • Wyniki wracają do zespołu. Raporty pokazują każdą awarię wraz z logami i zrzutami ekranu, więc inżynier może zobaczyć, co się zepsuło, bez ręcznego ponownego uruchamiania testu.

Jakich narzędzi zespoły używają do automatyzacji testów?

Zespoły zwykle łączą framework do testów jednostkowych z narzędziem end-to-end, a gdy znaczenie ma pokrycie przeglądarek i urządzeń, dodają do tego chmurową siatkę testową.

  • Frameworki do testów jednostkowych i integracyjnych. Jest i Vitest dla JavaScriptu, pytest dla Pythona, JUnit dla Javy. Działają wewnątrz bazy kodu i kończą każdy test w milisekundach.

  • Narzędzia end-to-end do przeglądarek i urządzeń mobilnych. Playwright, Cypress i Selenium sterują przeglądarkami internetowymi. Appium robi to samo w przypadku natywnych aplikacji na iOS i Androida.

  • Chmurowe siatki urządzeń i przeglądarek. BrowserStack i Sauce Labs udostępniają fizyczne urządzenia oraz działające instancje przeglądarek, dzięki czemu zestaw testów może działać na dziesiątkach kombinacji przeglądarek i systemów operacyjnych bez konieczności utrzymywania tego sprzętu przez zespół.

Jakie są najważniejsze cechy automatyzacji testów?

Testy automatyczne zachowują się jak każdy inny kod: są przewidywalne, gdy ich wejścia są pod kontrolą, i dosłownie sprawdzają to, co mają sprawdzić.

  • Powtarzalne kroki. Test automatyczny za każdym razem wykonuje te same kroki w tej samej kolejności, co eliminuje rozbieżności, które wkradają się do ręcznej checklisty przy czterdziestym powtórzeniu. Wynik nadal może się różnić, jeśli test zależy od czegoś, czego nie kontroluje, co wyjaśniają kolejne punkty.

  • Szybka informacja zwrotna na niższych warstwach. Test jednostkowy zwykle trwa milisekundy, więc rozbudowany zestaw takich testów zwraca wyniki, zanim inżynier przejdzie do kolejnego zadania. Testy end-to-end są o rzędy wielkości wolniejsze, dlatego w zestawach jest ich znacznie mniej.

  • Jest tak dobry, jak jego asercje. Test sprawdza dokładnie to, co kazano mu sprawdzić. Zestaw testów może przejść na stronie z uszkodzonym układem, jeśli nikt nie dodał asercji dotyczącej układu.

  • Albo sukces, albo porażka, nic pomiędzy. Każdy test zwraca binarny wynik. Dzięki temu łatwo użyć go jako warunku mergowania zmian, ale trudno uchwycić oceny w rodzaju „to wygląda trochę nie tak”.

  • Z założenia deterministyczny, w praktyce niestabilny. Dobry test daje ten sam wynik dla tego samego kodu. Testy zależne od timingu albo współdzielonego stanu czasem kończą się niepowodzeniem z powodów niezwiązanych ze sprawdzaną zmianą.

Jakie korzyści daje automatyzacja testów?

Najważniejsza korzyść z automatyzacji testów jest taka, że pewność co do wydania nie zależy już od tego, ile godzin pracy testerów masz w danym tygodniu do dyspozycji.

  • Terminy wydań przestają zależeć od QA. Gdy przejście regresji trwa dwadzieścia minut zamiast trzech dni, zespół może wdrożyć funkcję, gdy jest gotowa, a nie dopiero wtedy, gdy otworzy się kolejne okno testowe.

  • Bezpieczniejsza refaktoryzacja. Inżynierowie mogą przebudowywać stary kod i w ciągu kilku minut wiedzieć, czy zachowanie systemu się zmieniło. Bez takiej siatki bezpieczeństwa zespoły unikają ruszania kruchych modułów, a tam gromadzi się dług techniczny.

  • Niższy koszt każdego uruchomienia testu. Napisanie testu kosztuje więcej niż jednorazowe wykonanie go ręcznie. Każde kolejne uruchomienie kosztuje już czas obliczeniowy zamiast godzin pracy testera, więc ekonomicznie opłacają się testy uruchamiane często.

  • Żywa dokumentacja zachowania systemu. Dobrze nazwany test mówi, co system powinien robić, a w przeciwieństwie do strony w wiki kończy się błędem, gdy system przestaje tak działać.

  • Testerzy mogą skupić się na pracy eksploracyjnej. Gdy skrypty przejmują powtarzalne kontrole, specjaliści QA poświęcają czas na przypadki brzegowe i użyteczność, czyli obszary, w których ludzka ocena wyłapuje to, co umyka skryptom.

Jakie wyzwania wiążą się z automatyzacją testów?

Największe wyzwanie w automatyzacji testów polega na tym, że sam zestaw testów też jest oprogramowaniem i trzeba poświęcać czas, by pozostał wiarygodny.

  • Utrzymanie rośnie razem z zestawem testów. Każda zmiana w interfejsie może zepsuć wcześniej działające testy end-to-end. Stabilne selektory i wzorce page object ograniczają takie awarie, ale dodają warstwę infrastruktury testowej, którą ktoś musi zaprojektować i aktualizować.

  • Niestabilne testy podważają zaufanie. Gdy inżynierowie przyzwyczają się, że czerwony build często oznacza tylko szum, uruchamiają go ponownie aż przejdzie, a razem z nim przepadają też istotne błędy. Odkładanie niestabilnych testów na bok przywraca czytelny sygnał, ale każdy taki test oznacza zakres pokrycia, z którego zespół rezygnuje, dopóki ktoś go nie naprawi.

  • Koszt początkowy zanim pojawi się zwrot. Test zaczyna się opłacać dopiero po odpowiedniej liczbie uruchomień. W przypadku funkcji, która zmieni się w następnym sprincie, albo prototypu, który może trafić do kosza, zbyt wczesna automatyzacja może kosztować więcej niż ręczne sprawdzanie.

  • Wskaźniki pokrycia mogą wprowadzać w błąd. Pokrycie kodu pokazuje, które linie wykonały się podczas testów. Nie mówi nic o tym, czy testy sprawdziły właściwy wynik, a pogoń za wyższym procentem zwiększa koszty utrzymania, nie dając większej pewności.

  • Powolne zestawy testów end-to-end. Testy przeglądarkowe wykrywają problemy integracyjne, których nie wyłapują testy jednostkowe, ale zestaw liczący kilkaset takich testów może działać przez godzinę. Równoległe uruchamianie na wielu maszynach albo w chmurowej siatce skraca ten czas i podnosi rachunek za infrastrukturę.

Czym różni się automatyzacja testów od testów manualnych?

Automatyzacja testów kosztuje więcej na starcie i mniej przy powtarzaniu, a testy manualne są tanie na początku i wychwytują to, czego nikt nie przewidział w skrypcie.

Aspekt

Automatyzacja testów

Testy manualne

Kto wykonuje kroki

Test runner albo pipeline CI

Człowiek

Koszt pierwszego uruchomienia

Wyższy: najpierw trzeba napisać test

Niższy: tester może zacząć od razu

Koszt każdego kolejnego uruchomienia

Czas obliczeniowy

Godziny pracy testera

Do czego najlepiej się nadaje

Kontrole regresji powtarzane przy każdym wydaniu

Testy eksploracyjne i testy użyteczności funkcji, które wciąż się zmieniają

Co może wykryć

Tylko wyniki, dla których ktoś zapisał asercję

Nieoczekiwane problemy, które człowiek zauważa podczas testów

Szybkość informacji zwrotnej

Minuty na jedno uruchomienie, z możliwością wyzwalania przy każdym commicie

Od kilku godzin do kilku dni na jedno przejście regresji

FAQ o automatyzacji testów

Automatyzacja testów : potrzebujesz wsparcia ekspertów?

Monterail tworzy oprogramowanie na zamówienie z wykorzystaniem najnowszych technologii. Porozmawiajmy o tym, jak możemy pomóc w Twoim projekcie.

EXPLORE WEB DEVELOPMENT SERVICES