Nowy standard. Twoje centrum tworzenia inteligentnego, szybkiego i zrównoważonego oprogramowania AI

Zobacz teraz
Słownik/AI i uczenie maszynowe

Przetwarzanie języka naturalnego (NLP)

Dziedzina zajmująca się tworzeniem oprogramowania, które potrafi posługiwać się ludzkim językiem w takiej formie, w jakiej ludzie nim piszą i mówią.

Czym jest przetwarzanie języka naturalnego?

Przetwarzanie języka naturalnego to dziedzina zajmująca się umożliwianiem oprogramowaniu pracy z ludzkim językiem: jego interpretacją w formie tekstu i mowy, a następnie generowaniem. Obejmuje zadania takie jak tłumaczenie, streszczanie, analiza sentymentu, ekstrakcja encji i odpowiadanie na pytania. Stanowi podstawę działania wyszukiwarek i asystentów głosowych oraz warstwę, dzięki której działają nowoczesne interfejsy czatowe.

Ludzki język jest trudny dla oprogramowania, bo znaczenie zależy od kontekstu w sposób, którego nie da się łatwo ująć w formalne reguły. Zdanie „The bank was closed” może odnosić się zarówno do instytucji finansowej, jak i do brzegu rzeki, a właściwe znaczenie da się ustalić dopiero na podstawie otaczającego tekstu. Sarkazm odwraca wydźwięk wypowiedzi bez zmiany słownictwa. Zaimki odnoszą się do encji wspomnianych kilka akapitów wcześniej. Każda z tych rzeczy jest dla człowieka banalna, a dla oprogramowania przez dekady była niezwykle trudna.

Ta dziedzina przeszła przez trzy główne etapy. Wczesne systemy opierały się na ręcznie zapisanych regułach gramatycznych, które były precyzyjne, ale mało elastyczne. Później pojawiły się metody statystyczne, uczące się wzorców na podstawie anotowanych tekstów. Od 2017 roku dominują sieci neuronowe oparte na transformerach, a duże modele językowe (LLM) realizują dziś większość zadań NLP bez treningu pod konkretne zadanie. Starsze techniki nadal są używane tam, gdzie szybkość, koszt albo przewidywalność są ważniejsze niż elastyczność.

Jakie problemy biznesowe rozwiązuje NLP?

Większość informacji w organizacjach występuje w postaci nieustrukturyzowanego tekstu: e-maili, umów, zgłoszeń do wsparcia, notatek klinicznych, transkrypcji spotkań czy opinii. Narzędzia analityczne stworzone z myślą o danych ustrukturyzowanych nie potrafią z nich korzystać.

  • Przewaga strategiczna: NLP zamienia taki tekst w coś, co da się mierzyć. Rozmowy z działem wsparcia stają się policzalnym źródłem wiedzy o problemach z produktem. Umowy stają się źródłem danych, z których można wyodrębnić zobowiązania i terminy odnowienia. Opinie zamieniają się w śledzony sentyment według funkcji produktu. To informacje, które organizacje już mają, ale historycznie nie potrafiły ich odczytywać na dużą skalę.

  • Problem, który rozwiązuje: Procesy wymagające wcześniej przeczytania każdego dokumentu przez człowieka, takie jak triage zgłoszeń, przegląd umów, kodowanie odpowiedzi z ankiet czy wstępna selekcja CV, można zautomatyzować albo ograniczyć do weryfikacji automatycznie przygotowanego szkicu. To radykalnie zmienia skalę, na jaką organizacja może je obsługiwać.

Jak działa przetwarzanie języka naturalnego?

Nowoczesne NLP zamienia tekst na reprezentacje numeryczne, przetwarza te liczby, a następnie przekształca je z powrotem w tekst albo wyjście ustrukturyzowane.

  • Tokenizacja. Tekst jest dzielony na tokeny: słowa, subtokeny albo znaki. Tokenizacja na poziomie subtokenów pozwala modelowi radzić sobie ze słowami, których wcześniej nie widział, przez rozkładanie ich na znajome fragmenty. Dzięki temu nietypowe nazwy i terminy techniczne nie wyprowadzają nowoczesnych systemów z równowagi.

  • Embedding. Każdy token jest odwzorowywany na wektor liczb umieszczony tak, by tokeny podobne semantycznie znajdowały się blisko siebie. To właśnie pozwala systemowi rozpoznać, że „physician” i „doctor” są ze sobą powiązane, mimo że nikt mu tego nie powiedział.

  • Kodowanie kontekstowe. Sieć transformer przetwarza sekwencję z użyciem mechanizmu attention, który określa, jak bardzo każdy token powinien wpływać na interpretację wszystkich pozostałych. To właśnie attention rozstrzyga niejednoznaczność w zdaniu „the bank was closed”: otaczające słowa wskazują, które znaczenie jest właściwe.

  • Wyjście dostosowane do zadania. W zależności od zadania zakodowana reprezentacja służy do klasyfikacji tekstu, oznaczania pojedynczych tokenów, obliczania wyniku podobieństwa albo generowania kontynuacji, token po tokenie.

  • Dostrajanie albo prompting. Ogólny, wstępnie wytrenowany model dostosowuje się do konkretnego zadania albo przez dostrajanie na oznaczonych przykładach, które zmienia wagi modelu, albo przez prompting. Prompting polega na dostarczeniu instrukcji i przykładów na etapie inferencji, bez ingerencji w wagi.

  • Ewaluacja. Zadania klasyfikacyjne mierzy się precyzją i czułością, zwykle raportowanymi łącznie jako F1. Zadania generatywne trudniej ocenić automatycznie, dlatego zazwyczaj łączy się metryki automatyczne z oceną człowieka, coraz częściej wykorzystując do punktacji drugi model.

Podstawowe zadania NLP

  • Klasyfikacja tekstu. Przypisywanie kategorii: kierowanie zgłoszenia do wsparcia, wykrywanie spamu, identyfikacja typu dokumentu.

  • Rozpoznawanie nazwanych encji. Wydobywanie osób, organizacji, lokalizacji, dat, kwot oraz encji specyficznych dla danej dziedziny, takich jak nazwy leków czy strony umowy.

  • Analiza sentymentu i intencji. Określanie nastawienia w opinii albo tego, co użytkownik próbuje osiągnąć w wiadomości.

  • Tłumaczenie maszynowe. Przekładanie tekstu między językami z zachowaniem znaczenia i rejestru wypowiedzi.

  • Streszczanie. Skracanie dokumentu przez wybór kluczowych zdań albo wygenerowanie nowego tekstu.

  • Wyszukiwanie semantyczne. Pobieranie dokumentów na podstawie znaczenia, a nie pokrycia słów kluczowych, z użyciem podobieństwa embeddingów.

  • Rozpoznawanie i synteza mowy. Zamiana dźwięku mowy na tekst oraz tekstu na mowę, zwykle traktowana jako obszar sąsiadujący z właściwym NLP.

Jakich narzędzi i bibliotek używa się w NLP? 

  • Biblioteki: spaCy do szybkich pipeline'ów produkcyjnych, Hugging Face Transformers do modeli wstępnie wytrenowanych, NLTK do nauczania i eksperymentów, Sentence Transformers do embeddingów.

  • Modele: BERT i jego pochodne do klasyfikacji i ekstrakcji; duże modele językowe od Anthropic, OpenAI, Google, Meta i Mistral do zadań ogólnych; Whisper do rozpoznawania mowy.

  • Wektorowe bazy danych: Pinecone, Weaviate, Qdrant, Milvus oraz pgvector dla PostgreSQL, używane do wyszukiwania semantycznego i retrievalu.

  • Wyszukiwarki: Elasticsearch i OpenSearch, coraz częściej łączące wyszukiwanie słów kluczowych i wektorowe w konfiguracjach hybrydowych.

  • Usługi chmurowe: AWS Comprehend i Transcribe, Google Cloud Natural Language, Azure AI Language, a także zarządzany dostęp do modeli przez Bedrock, Vertex AI i Azure AI Foundry.

Jakie są kluczowe cechy przetwarzania języka naturalnego?

  • Znaczenie wynika z kontekstu. Nowoczesne systemy interpretują każde słowo w zależności od jego otoczenia, i to właśnie odróżnia je od wcześniejszych podejść opartych na słowach kluczowych.

  • Język jest reprezentowany numerycznie. Tekst staje się wektorami, co umożliwia wykonywanie na języku operacji matematycznych, takich jak obliczanie podobieństwa, grupowanie czy klasyfikacja.

  • Pretraining jest oddzielony od dostosowania do zadania. Modele uczą się ogólnej struktury języka na bardzo dużych korpusach, a potem dostosowują się do konkretnych zadań przy użyciu relatywnie niewielkiej ilości danych. Dzięki temu użyteczne NLP nie wymaga już trenowania od zera.

  • Skuteczność jest nierówna w różnych językach. Angielski i inne języki bogate w zasoby danych są obsługiwane znacznie lepiej niż języki z mniejszą ilością tekstów cyfrowych, a ta różnica utrzymuje się nawet w dużych modelach wielojęzycznych.

  • Wyniki są probabilistyczne i trzeba odpowiednio z nimi postępować. Ekstrakcja i klasyfikacja wiążą się z pewnym poziomem błędu, a wygenerowane odpowiedzi mogą być płynne językowo, ale niezgodne z faktami. Aplikacje potrzebują walidacji adekwatnej do skutków ewentualnego błędu.

  • Język dziedzinowy często wymaga dostosowania. Notatki kliniczne, umowy prawne i dokumentacja inżynierska używają słownictwa oraz struktury na tyle odmiennych od tekstu ogólnego, że modele ogólnego przeznaczenia bez dostosowania radzą sobie gorzej.

Jakie są korzyści z przetwarzania języka naturalnego?

  • Nieustrukturyzowany tekst staje się analizowalny. Większość informacji w organizacji przestaje być martwa i zaczyna zasilać raportowanie oraz decyzje.

  • Duże ograniczenie ręcznej lektury. Przegląd dokumentów, triage zgłoszeń i kodowanie odpowiedzi przechodzą z pełnej obsługi manualnej na automatyczną, z nadzorem człowieka w niepewnych przypadkach.

  • Wyszukiwanie dopasowane do intencji. Wyszukiwanie semantyczne zwraca trafne dokumenty nawet wtedy, gdy sformułowanie użyte przez użytkownika całkowicie różni się od tego w dokumencie. To właśnie obszar, w którym wyszukiwanie po słowach kluczowych najczęściej zawodzi.

  • Zasięg wielojęzyczny bez proporcjonalnego wzrostu kosztów. Tłumaczenie i modele wielojęzyczne umożliwiają obsługę wsparcia i treści w wielu językach bez tworzenia osobnych zespołów dla każdego z nich.

  • Spójny pomiar jakościowych sygnałów. Analiza sentymentu i tematów stosowana jednolicie do całego feedbacku daje porównywalny pomiar w czasie, którego próbkowanie i ręczne kodowanie nie zapewniają w wiarygodny sposób.

Jakie są wyzwania i kompromisy w przetwarzaniu języka naturalnego?

  • Wygenerowany tekst może być płynny i błędny. Modele językowe tworzą pewnie brzmiące, poprawnie zbudowane odpowiedzi niezależnie od ich zgodności z faktami. Tam, gdzie liczy się poprawność, aplikacje muszą opierać się na zweryfikowanych źródłach i walidować wyniki.

  • Niejednoznaczności czasem nie da się usunąć. Niektóre teksty naprawdę dopuszczają więcej niż jedną sensowną interpretację. System zmuszony do wyboru czasem wybierze źle i żadne ulepszenie modelu nie usunie tego całkowicie.

  • Uprzedzenia z danych treningowych trafiają do wyników. Modele odzwierciedlają skojarzenia obecne w tekstach, na których się uczyły, także te stereotypowe. Ma to znaczenie w każdej aplikacji wpływającej na życiowe szanse ludzi.

  • Dostosowanie do domeny bywa konieczne. Gotowe modele zwykle osiągają na specjalistycznych tekstach wyniki wyraźnie gorsze, niż sugerują opublikowane benchmarki ogólne, a zamknięcie tej luki wymaga oznaczonych danych domenowych.

  • Koszt i opóźnienia rosną wraz z wielkością modelu. Duże modele są drogie w przeliczeniu na jedno zapytanie i wolniejsze od mniejszych alternatyw. W wielu zadaniach produkcyjnych lepiej sprawdza się mały, dostrojony model, za ułamek kosztu.

  • Obowiązki związane z prywatnością dotyczą także tekstu. Dokumenty często zawierają dane osobowe. Przesyłanie ich do zewnętrznego API oznacza transfer danych, który wymaga takiej samej oceny jak każda inna relacja z podmiotem przetwarzającym.

Czy do NLP wybrać reguły czy machine learning?

Czynnik

NLP oparte na regułach

NLP oparte na machine learningu

Jak powstają reguły

Pisane przez lingwistów i inżynierów

Uczone na danych tekstowych

Obsługa nieznanych sformułowań

Zawodzi bez pasującej reguły

Rozsądnie uogólnia

Przewidywalność

W pełni deterministyczne i audytowalne

Probabilistyczne

Koszt wdrożenia

Wysoki nakład pracy przy ręcznym tworzeniu

Wymaga danych, a nie ręcznego tworzenia reguł

Utrzymanie

Ręczna edycja reguł

Ponowny trening albo korekta promptów

Najlepiej sprawdza się w

Wąskiej, stabilnej ekstrakcji wymagającej wysokiej precyzji

Zróżnicowanym, otwartym języku

FAQ o przetwarzaniu języka naturalnego

Przetwarzanie języka naturalnego (NLP): potrzebujesz wsparcia ekspertów?

Monterail tworzy oprogramowanie na zamówienie z wykorzystaniem najnowszych technologii. Porozmawiajmy o tym, jak możemy pomóc w Twoim projekcie.

POZNAJ USŁUGI AI