Nowy standard. Twoje centrum tworzenia inteligentnego, szybkiego i zrównoważonego oprogramowania AI

Zobacz teraz
Słownik/Usługi programistyczne

Tworzenie oprogramowania AI

Tworzenie oprogramowania AI to proces budowy produktów lub funkcji, których kluczowe działanie opiera się na modelu uczenia maszynowego.

Czym jest tworzenie oprogramowania AI?

Tworzenie oprogramowania AI polega na przekształceniu funkcji, której działanie model uczy się z danych, w rozwiązanie dostępne dla użytkowników, wraz z dowodami, że działa na tyle dobrze, by można było na nim polegać. Odbywa się to w ramach cyklu projektowego, w którym dane i mierzalna jakość są traktowane na równi z kodem jako pełnoprawne elementy dostarczane w projekcie.

Model może pochodzić z API dostawcy albo zespół może sam go trenować i hostować. W obu przypadkach zespół tworzący oprogramowanie odpowiada za to, co trafia do modelu, i za sposób weryfikacji jego wyników. Narzędzie wsparcia, które przygotowuje szkice odpowiedzi, aplikacja fintech wykrywająca podejrzane transakcje, platforma logistyczna prognozująca popyt czy aplikacja kliniczna wstępnie analizująca skany, to wszystko przykłady tworzenia oprogramowania AI.

Jakie problemy tworzenie oprogramowania AI rozwiązuje w firmach produktowych?

  • Zamienia dane firmy w sposób działania produktu, na który konkurencja musi sobie zapracować.Dwie firmy mogą korzystać z tego samego modelu bazowego, ale tylko jedna ma dziesięć lat własnych zgłoszeń do supportu albo historię roszczeń. Wykorzystanie tych danych w ewaluacji lub treningu sprawia, że funkcja AI staje się specyficzna dla biznesu i dużo trudniejsza do skopiowania niż sama lista funkcji.

  • Sprawdza się przy zadaniach, w których ręcznie zapisane reguły przestają wystarczać.Klasyfikowanie skarg w wolnym tekście albo odczytywanie faktur, które przychodzą w setkach układów, oznacza pracę z danymi wejściowymi zbyt zróżnicowanymi, by opisać je logiką if-then. Zestawy reguł dla takich zadań rozrastają się do momentu, w którym nikt nie jest w stanie ich utrzymać, podczas gdy model uczy się wzorców na przykładach i można go ponownie wytrenować, gdy dane wejściowe się zmienią.

Jak projekt tworzenia oprogramowania AI przechodzi od pomysłu do produkcji?

Projekt AI obejmuje sześć etapów, a gdy funkcja już działa produkcyjnie, późniejsze etapy wracają do wcześniejszych.

  • Discovery i kryteria sukcesu.Zespół określa zadanie, które ma obsługiwać AI, oraz poziom błędów akceptowalny dla biznesu, w tym to, kto reaguje na wynik, gdy model się myli. Model do wykrywania fraudów, który pomija 5% oszustw, i taki, który błędnie blokuje 5% uczciwych klientów, to dwa różne produkty, więc na tym etapie ustala się, który błąd kosztuje więcej. Discovery pozwala też sprawdzić, czy AI to właściwe narzędzie, bo niektóre problemy taniej rozwiążesz zwykłymi regułami.

  • Audyt i przygotowanie danych.Inżynierowie sprawdzają, jakie dane są dostępne, jak są uporządkowane, czy można ich legalnie użyć i czy odzwierciedlają przypadki, z którymi funkcja spotka się w produkcji. To tutaj odbywają się etykietowanie i prace nad pipeline'ami, a ten etap często trwa dłużej, niż zespoły zakładają.

  • Wybór modelu.Główna decyzja brzmi: kupić czy zbudować, czyli wywoływać hostowany model przez API albo dostosować czy wytrenować model, nad którym zespół ma kontrolę. Hostowane modele pozwalają uruchomić prototyp w kilka dni. Własne modele dają większą kontrolę nad kosztem pojedynczego żądania i lokalizacją danych, ale wymagają więcej pracy inżynierskiej i infrastrukturalnej.

  • Integracja z produktem.Model zostaje podłączony do aplikacji za pośrednictwem API, z mechanizmami awaryjnymi na wypadek błędów lub timeoutów. Interfejs pozwala użytkownikom zaakceptować wynik modelu albo go poprawić.

  • Ewaluacja.Przed uruchomieniem model jest oceniany na wydzielonym zbiorze testowym albo starannie dobranym zestawie przykładowych przypadków, z użyciem metryk dopasowanych do zadania: precision i recall dla klasyfikacji oraz jakości ocenianej przez ludzi dla generowanego tekstu. O tym, czy funkcja trafi do produkcji, decyduje próg ustalony na etapie discovery.

  • Wdrożenie i monitoring.W produkcji zespół śledzi jakość wyników, opóźnienia, koszt pojedynczego żądania i poprawki wprowadzane przez użytkowników. Obserwuje też drift, czyli stopniowe rozmijanie się dzisiejszych danych wejściowych z danymi, na których model był oceniany. Gdy pojawia się drift, proces wraca do danych i ewaluacji.

Jakich narzędzi zespoły używają do tworzenia i utrzymania oprogramowania AI?

  • Platformy do tworzenia i hostowania modeli. Amazon SageMaker AI, Google's Gemini Enterprise Agent Platform (dawniej Vertex AI) oraz Databricks zapewniają zarządzaną infrastrukturę do trenowania i wdrażania modeli, a także dostęp do hostowanych modeli bazowych. Zespoły zwykle wybierają rozwiązanie zgodne z chmurą i platformą danych, z których już korzystają.

  • Śledzenie eksperymentów i ewaluacja. MLflow zapisuje, jakie dane i ustawienia doprowadziły do powstania każdej wersji modelu, i obejmuje zautomatyzowaną ewaluację aplikacji opartych na LLM. Langfuse śledzi każde wywołanie wykonywane przez funkcję opartą na LLM i prowadzi ewaluację na podstawie tych śladów, dzięki czemu łatwiej zrozumieć, dlaczego konkretna odpowiedź okazała się błędna.

  • Monitoring produkcyjny. Evidently AI i Arize obserwują działające produkcyjnie wejścia i wyjścia modeli, alarmując zespół, gdy dane zaczynają się rozjeżdżać albo spadają metryki jakości. Evidently ma open-source'owy rdzeń, a Arize jest komercyjną platformą observability z projektem open source do tracingu.

Jakie są kluczowe cechy projektu tworzenia oprogramowania AI?

  • Wczesne testy pokazują, czy dane wystarczą, by wesprzeć funkcję.Zespół budujący stronę checkoutu wie, że da się ją zbudować. W przypadku funkcji AI jakość może zatrzymać się na poziomie wyznaczonym przez dostępne dane, dlatego projekty zwykle zaczynają się od ograniczonego czasowo proof of concept, które tanio weryfikuje to na realnych danych.

  • Model to tylko niewielka część systemu.W Hidden Technical Debt in Machine Learning Systems badacze Google pokazali, że kod modelu stanowi niewielki ułamek produkcyjnego systemu ML, a większość przypada na zbieranie danych, ekstrakcję cech, infrastrukturę servingową i monitoring. Budżety oraz plany zatrudnienia najlepiej działają wtedy, gdy odzwierciedlają tę proporcję.

  • Zespół łączy więcej specjalizacji niż typowy squad produktowy.Na efekt końcowy wpływają data engineerowie, AI engineerowie, projektanci produktów i eksperci domenowi. To właśnie ci ostatni często mają największy wpływ, bo określają, jak wygląda poprawny wynik.

  • Do wyboru modelu wraca się przez cały cykl życia produktu.Dostawcy wypuszczają nowe wersje modeli i wycofują stare według własnego harmonogramu. Model wybrany na starcie to decyzja, do której zespół będzie wracał, za każdym razem przechodząc nową rundę ewaluacji.

  • Regulacje mogą wynikać z samego zastosowania.Ustawa EU AI Act nakłada obowiązki zależnie od poziomu ryzyka, z surowszymi wymaganiami dla zastosowań takich jak rekrutacja czy scoring kredytowy. NIST AI Risk Management Framework oferuje dobrowolną strukturę identyfikowania i zarządzania tymi ryzykami.

Jakie korzyści daje tworzenie oprogramowania AI?

  • Każdy użytkownik dostaje produkt dopasowany do siebie.Modele rekomendacyjne i personalizacyjne dostosowują treści oraz ich kolejność do osoby, która właśnie korzysta z produktu. Jeden ręcznie zaprojektowany przepływ obsługuje użytkowników średnio, a model może obsłużyć każdego indywidualnie.

  • Funkcje stają się lepsze wraz ze wzrostem skali użycia.Poprawki użytkowników i wyniki wracają do zbiorów ewaluacyjnych oraz danych treningowych. Dobrze opomiarowana funkcja AI zamienia użycie w wyższą jakość, więc produkt zyskuje przewagę, im dłużej działa.

  • Produkty przyjmują dane wejściowe w języku naturalnym.Interfejsy oparte na języku naturalnym pozwalają użytkownikom opisać własnymi słowami, czego potrzebują. Dzięki temu złożone narzędzia, takie jak raportowanie czy wyszukiwanie w dużych zbiorach dokumentów, stają się dostępne także dla osób, które nigdy nie nauczą się budować zapytań.

  • Czas zespołu przesuwa się na trudniejsze przypadki.Prace takie jak wstępny przegląd dokumentów czy triage zgłoszeń mogą działać bez przerwy, a model oznacza przypadki, co do których nie ma pewności. Dzięki temu ludzie zajmują się wyjątkami zamiast rutynową masą zgłoszeń.

Jakie wyzwania wiążą się z tworzeniem oprogramowania AI?

  • Gotowość danych nie nadąża za ambicjami.W badaniu Gartnera z III kwartału 2024 roku przeprowadzonym wśród 248 liderów zarządzania danymi 63% respondentów stwierdziło, że ich organizacje nie mają, albo nie są pewne, czy mają, właściwe praktyki zarządzania danymi dla AI, a Gartner prognozuje, że do 2026 roku organizacje porzucą 60% projektów AI, które nie będą wspierane przez dane gotowe na AI. Rozwiązaniem jest najpierw uporządkowanie danych, ale oznacza to tygodnie albo miesiące pracy nad pipeline'ami i etykietowaniem bez niczego, co można pokazać na demo.

  • Ewaluacja stale pochłania czas ekspertów.Wiarygodny zbiór ewaluacyjny wymaga ekspertów domenowych do tworzenia lub oceniania przykładowych przypadków i musi rosnąć wraz z odkrywaniem przez użytkowników nowych trybów porażki. Automatyczne ocenianie z użyciem LLM działającego jako sędzia zmniejsza to obciążenie, ale samego sędziego też trzeba sprawdzać względem ocen ludzi, więc udział ekspertów maleje, ale nie znika.

  • Przekonujące demo to jeszcze bardzo daleka droga do niezawodnego produktu.Prototyp, który robi wrażenie na dwudziestu starannie dobranych przykładach, w produkcji zetknie się z chaotycznymi danymi wejściowymi i przypadkami spoza zakresu. Zabezpieczenia i mechanizmy awaryjne zamieniają demo w produkt, na którym można polegać, ale ich zbudowanie może zająć więcej czasu niż sam prototyp.

  • Koszty operacyjne rosną wraz z sukcesem.Każda predykcja albo wygenerowana odpowiedź zużywa zasoby obliczeniowe albo generuje opłaty za API, więc popularna funkcja staje się coraz droższa wraz ze wzrostem użycia. Cache'owanie i kierowanie prostych żądań do tańszych modeli obniżają rachunek. Każda taka zmiana wymaga nowej rundy ewaluacji, bo część oszczędności wiąże się z mierzalnym spadkiem jakości wyników.

Czym różni się tworzenie oprogramowania AI od tradycyjnego tworzenia oprogramowania?

Aspekt

Tworzenie oprogramowania AI

Tradycyjne tworzenie oprogramowania

Zachowanie wyjścia

Probabilistyczne: wyniki mają mierzalny poziom błędu, a modele generatywne mogą dawać różne rezultaty między uruchomieniami

Deterministyczne z założenia: te same dane wejściowe i ten sam stan dają ten sam wynik

Od czego zależy jakość

Od kodu oraz danych, na których model był trenowany lub które otrzymuje w czasie działania

Od kodu i specyfikacji, którą ten kod realizuje

Jak sprawdza się poprawność

Przez ewaluację na zbiorze testowym albo ocenionych przykładach, względem ustalonego progu

Za pomocą testów pass/fail, które sprawdzają dokładnie oczekiwane wyniki

Co dzieje się po uruchomieniu

Monitoring driftu oraz ponowne trenowanie lub aktualizacje modelu wraz ze zmianą danych wejściowych

Zachowanie pozostaje niezmienne, dopóki nie zmieni się kod; utrzymanie wynika z błędów i nowych wymagań

Struktura kosztów

Powtarzalne koszty inferencji lub API dla każdego żądania oraz ciągła praca nad danymi i ewaluacją

Wydatki koncentrują się na budowie; koszty hostingu pojedynczych żądań są zwykle niewielkie

Definicja ukończenia

Próg jakości uzgodniony z biznesem i weryfikowany ponownie wraz z rozwojem produktu

Spełnione kryteria akceptacji i przechodzące testy

FAQ o tworzeniu oprogramowania AI

Tworzenie oprogramowania AI: potrzebujesz wsparcia ekspertów?

Monterail tworzy oprogramowanie na zamówienie z wykorzystaniem najnowszych technologii. Porozmawiajmy o tym, jak możemy pomóc w Twoim projekcie.

EXPLORE WEB DEVELOPMENT SERVICES