Nowy standard. Twoje centrum tworzenia inteligentnego, szybkiego i zrównoważonego oprogramowania AI

Zobacz teraz
Słownik/AI i uczenie maszynowe

Wyszukiwanie semantyczne

Wyszukiwanie semantyczne to metoda wyszukiwania, która porządkuje wyniki według tego, jak bardzo ich znaczenie odpowiada zapytaniu.

Czym jest wyszukiwanie semantyczne?

Wyszukiwanie semantyczne znajduje właściwy dokument nawet wtedy, gdy osoba szukająca i autor używają innych słów. Zapytanie „laptop się nie włącza” powinno wskazać artykuł pomocy zatytułowany „Rozwiązywanie problemów z zasilaniem”, mimo że oba teksty nie mają wspólnych terminów.

Większość współczesnych systemów robi to za pomocą embeddingów. Model odczytuje każdy fragment i zwraca wektor, czyli listę liczb o stałej długości, rozmieszczoną tak, by fragmenty o podobnej tematyce trafiały blisko siebie. W chwili wyszukiwania silnik przekształca zapytanie w ten sam sposób i zwraca fragmenty, których wektory są najbliżej niego.

Starsze podejścia próbowały osiągnąć ten sam cel za pomocą ręcznie budowanych tezaurusów i modeli encji. Niektóre współczesne systemy wykorzystują zamiast tego wyuczone modele rzadkie, które rozszerzają zapytanie o powiązane terminy, a potem uruchamiają je na klasycznym indeksie słów kluczowych. Łączy je ten sam cel: intencja stojąca za zapytaniem.

Wyszukiwanie semantyczne jest techniką wyszukiwania, więc zwykle działa jako element większego systemu. Retrieval-augmented generation wykorzystuje je do wyboru fragmentów, które model językowy czyta przed udzieleniem odpowiedzi, a graf wiedzy może dostarczać jawnych relacji, które podobieństwo wektorowe jedynie przybliża.

Dlaczego wyszukiwanie odchodzi od słów kluczowych na rzecz znaczenia?

Wyszukiwanie po słowach kluczowych dopasowuje zapisy słów, a użytkownicy rzadko opisują swoje potrzeby tak, jak robi to katalog albo baza wiedzy.

  • Użytkownicy przestają zgadywać, jakiego słownictwa używa katalog. Silniki leksykalne porządkują dokumenty według wspólnych terminów, zwykle za pomocą formuły punktacji BM25. To oznacza, że zapytanie zadane codziennym językiem może nie trafić do treści napisanych językiem produktowym albo klinicznym. Gdy ludzie zaczęli wpisywać całe pytania, problem się nasilił: kiedy Google dodał model językowy BERT do rankingu w 2019 roku, podał, że ta zmiana pomoże wyszukiwarce lepiej rozumieć jedno na 10 wyszukiwań po angielsku w USA. Wyszukiwanie semantyczne ocenia intencję całego zapytania, więc dokładne sformułowanie ma mniejsze znaczenie.

  • Jedna warstwa wyszukiwania obsługuje pole wyszukiwania i funkcje AI. Funkcja oparta na LLM korzysta z tego samego indeksu embeddingów, który zasila stronę wyszukiwania, aby znaleźć materiały źródłowe. Zbudowanie tego raz jako współdzielonej usługi wyszukiwania pozwala oprzeć wyszukiwarkę dla klientów i wewnętrznego asystenta wsparcia na tym samym indeksie, zamiast tworzyć osobny indeks dla każdego projektu AI.

Jak wyszukiwanie semantyczne zamienia zapytanie w uporządkowane wyniki?

Wyszukiwanie semantyczne przekształca dokumenty i zapytania w wektory za pomocą tego samego modelu. Następnie porządkuje dokumenty według tego, jak blisko ich wektory znajdują się od wektora zapytania.

  • Dzielenie treści na fragmenty. Dokumenty są dzielone na fragmenty, często po kilka akapitów każdy. Wynika to z tego, że jeden wektor dla 40-stronicowego podręcznika uśrednia wszystkie jego tematy i zamienia je w rozmyty obraz. Wielkość fragmentu to kwestia strojenia: mniejsze fragmenty dopasowują się precyzyjniej, większe zachowują więcej kontekstu wokół każdego dopasowania.

  • Tworzenie embeddingu dla każdego fragmentu. Model embeddingowy zamienia każdy fragment w wektor. Na przykład text-embedding-3-small od OpenAI domyślnie zwraca 1536 liczb na każde wejście. Model nauczył się podczas trenowania umieszczać powiązane treści blisko siebie, więc „refund” i „money back” trafiają obok siebie bez listy synonimów.

  • Indeksowanie pod szybkie wyszukiwanie. Porównanie zapytania z każdym zapisanym wektorem daje dokładne wyniki. Spowalnia też każde zapytanie wraz ze wzrostem kolekcji. Dlatego większość systemów korzysta z przybliżonych indeksów najbliższych sąsiadów (ANN), takich jak graf Hierarchical Navigable Small World (HNSW). To wielowarstwowy graf, którego koszt wyszukiwania rośnie logarytmicznie wraz z rozmiarem kolekcji. Indeks godzi się na niewielki spadek recall, czyli czasem pomija bliskie dopasowanie, w zamian za znacznie szybsze zapytania.

  • Ocena zapytania. W czasie wyszukiwania zapytanie przechodzi przez ten sam model embeddingowy. Indeks zwraca zapisane wektory najbliższe zapytaniu, mierzone podobieństwem cosinusowym, czyli kątem między dwoma wektorami. Filtry metadanych, takie jak język czy linia produktowa, zawężają kandydatów przed tym krokiem albo po nim.

  • Łączenie i reranking. Systemy produkcyjne często równolegle uruchamiają zapytanie po słowach kluczowych i łączą obie uporządkowane listy za pomocą reciprocal rank fusion. Ta metoda premiuje dokumenty, które zajmują wysokie pozycje na którejkolwiek z list. Cross-encoder reranker, czyli wolniejszy model, który czyta razem zapytanie i każdego kandydata, może potem zmienić kolejność najlepszych wyników, aby zwiększyć precyzję.

Jakich narzędzi zespoły używają do budowy wyszukiwania semantycznego?

Stos do wyszukiwania semantycznego wymaga modelu embeddingowego i magazynu wektorów, a wiele zespołów dodaje do tego jeszcze silnik hybrydowy albo reranker.

  • Modele embeddingowe: OpenAI text-embedding-3, Cohere Embed oraz biblioteka open source Sentence Transformers, która uruchamia tysiące wstępnie wytrenowanych modeli na własnym sprzęcie. Wybór modelu wpływa na jakość wyników bardziej niż jakakolwiek inna decyzja, a ranking MTEB porównuje modele zadanie po zadaniu.

  • Bazy wektorowe i rozszerzenia: Pinecone jako usługa zarządzana, Qdrant jako silnik open source, który możesz hostować samodzielnie albo uruchomić w jego chmurze, oraz pgvector, rozszerzenie PostgreSQL, które przechowuje wektory obok istniejących danych relacyjnych.

  • Wyszukiwanie hybrydowe i reranking: Elasticsearch i Weaviate łączą ocenę słów kluczowych z wyszukiwaniem wektorowym w jednym zapytaniu, a Cohere Rerank porządkuje listę kandydatów według trafności semantycznej.

Co decyduje o tym, jak działa system wyszukiwania semantycznego?

Wyszukiwanie semantyczne porządkuje wyniki według bliskości, co daje mu przewagi, których nie ma silnik słów kluczowych.

  • Każde zapytanie dostaje odpowiedź. Zawsze jakiś wektor znajduje się najbliżej zapytania, więc silnik zwraca uporządkowaną listę nawet dla bełkotu albo pytań spoza zakresu. Aplikacje, które muszą umieć powiedzieć „nie znaleziono nic istotnego”, ustawiają minimalny próg podobieństwa, a właściwa wartość odcięcia różni się między modelami.

  • To model decyduje, co uznać za podobne. Dwa fragmenty są blisko siebie tylko wtedy, gdy model embeddingowy nauczył się tak je umieszczać. Model ogólnego przeznaczenia może potraktować „discharge” w dokumentacji szpitalnej i w specyfikacji baterii jako sąsiadujące pojęcia, podczas gdy model trenowany na tekście klinicznym trzyma je od siebie z daleka.

  • Wyniki są z założenia przybliżone. Indeksy ANN wymieniają część recall na szybkość, więc pełne przeszukanie tej samej kolekcji może znaleźć dopasowanie, które indeks pominął. Ustawienia indeksu pozwalają zespołom przesuwać tę równowagę w obie strony.

  • Wyszukiwać można każdą treść, którą encoder potrafi odwzorować w wektorach. Zdjęcie może posłużyć jako zapytanie do katalogu zdjęć produktów. Na przykład Sentence Transformers obsługuje embeddingi obrazów obok tekstu.

Co produkty zyskują dzięki wyszukiwaniu semantycznemu?

Wyszukiwanie semantyczne sprawia, że większą część zbioru da się znaleźć bez ręcznego strojenia indeksu na szeroką skalę.

  • Treści bez tagów stają się możliwe do znalezienia. Zgłoszenia do wsparcia i transkrypcje rozmów rzadko mają dobrze opisane tytuły albo tagi. Embeddingi indeksują je według tego, czego dotyczą. Dzięki temu zespoły mogą przeszukiwać lata nieustrukturyzowanych danych bez uruchamiania projektu tagowania.

  • Zapytania przekraczają granice języków. Wielojęzyczne modele embeddingowe umieszczają zdanie i jego tłumaczenie blisko siebie, więc hiszpańskie zapytanie może znaleźć angielski dokument. Na przykład wielojęzyczne modele Cohere obsługują ponad 100 języków.

  • Listy synonimów się kurczą. Model embeddingowy domyślnie obejmuje codzienne synonimy, więc zespół utrzymuje tylko wyjątki specyficzne dla danej dziedziny. Silniki słów kluczowych radzą sobie natomiast z różnicami w słownictwie za pomocą ręcznie utrzymywanych list synonimów i reguł przepisywania zapytań.

  • Funkcja „więcej takich treści” wynika bezpośrednio z indeksu. Każdy dokument ma już swój wektor. Znajdowanie elementów podobnych do danego artykułu albo zgłoszenia to to samo wyszukiwanie najbliższych sąsiadów, z użyciem wektora tego dokumentu jako punktu wyjścia. Dzięki temu można budować sekcje z powiązanymi treściami i wykrywać duplikaty bez osobnego systemu.

Z jakimi kompromisami wiąże się wyszukiwanie semantyczne?

Wyszukiwanie semantyczne poszerza zakres luźno sformułowanych zapytań. Ma też słabe strony, a każda próba ich naprawy zwiększa koszt albo złożoność gdzie indziej.

  • Dokładne identyfikatory łatwo umykają. Embeddingi dobrze oddają temat, a słabiej dokładne ciągi znaków, więc wyszukiwanie numeru części „AX-4410” może na pierwszym miejscu pokazać „AX-4401”. Wyszukiwanie hybrydowe rozwiązuje ten problem, uruchamiając BM25 równolegle z zapytaniem wektorowym, ale ceną jest drugi indeks, który trzeba utrzymywać w synchronizacji, oraz wagi łączenia, które ktoś musi na nowo stroić wraz ze zmianami treści.

  • Dokładność spada poza domeną treningową. Benchmark BEIR przetestował modele wyszukiwania w trybie zero-shot na 18 zbiorach danych i wykazał, że BM25 jest mocnym punktem odniesienia, którego metody dense retrieval często nie przebijały. Rerankery osiągały średnio najlepsze wyniki, ale przy wysokim koszcie obliczeniowym. Dostrojenie na własnych danych odzyskuje dużą część utraconej dokładności, ale wymaga oznaczonych par zapytanie-dokument, a reranker zwiększa opóźnienie i koszt obliczeń każdego zapytania.

  • Indeks jest powiązany z jednym modelem. Wektory z różnych modeli embeddingowych działają w niezgodnych przestrzeniach, więc aktualizacja modelu oznacza ponowne wygenerowanie embeddingów dla całego korpusu. Zespoły zwykle budują nowy indeks równolegle i przełączają ruch dopiero wtedy, gdy testy wypadają dobrze, co podczas migracji oznacza opłacenie dwóch indeksów i pełnego przebiegu generowania embeddingów.

  • Wektory zajmują miejsce. Przy 3072 wymiarach zapisanych jako 32-bitowe liczby zmiennoprzecinkowe jeden wektor text-embedding-3-large zajmuje 12 288 bajtów, więc 10 milionów fragmentów wymaga około 123 GB jeszcze przed narzutem samego indeksu. Modele OpenAI przyjmują parametr dimensions, który skraca wektory, a kwantyzacja, czyli zapisywanie każdej liczby na mniejszej liczbie bitów, ogranicza rozmiar jeszcze bardziej. Oba podejścia wymieniają część dokładności wyszukiwania na oszczędność miejsca.

Czym wyszukiwanie semantyczne różni się od wyszukiwania po słowach kluczowych?

Wyszukiwanie semantyczne oparte na embeddingach dopasowuje znaczenie zapytania, a wyszukiwanie po słowach kluczowych dopasowuje jego dokładne terminy.

Czynnik

Wyszukiwanie semantyczne (oparte na embeddingach)

Wyszukiwanie po słowach kluczowych (leksykalne)

Co jest dopasowywane

Bliskość wektorów zapytania i dokumentu

Terminy wspólne dla zapytania i dokumentu po normalizacji, takiej jak stemming

Synonimy i parafrazy

Zależą od tego, czego model nauczył się podczas trenowania

Obsługiwane przez listy synonimów albo reguły przepisywania zapytań, które ktoś musi utrzymywać

Dokładne kody i nazwy

Może ustawić niemal identyczne ciągi wyżej niż ten dokładny

Wysoko pozycjonuje dokumenty zawierające dokładny termin

Zapytanie bez żadnych wspólnych terminów z jakimkolwiek dokumentem

Nadal zwraca najbliższe dokumenty

Nie zwraca nic, chyba że skonfigurowano dopasowanie rozmyte albo rozszerzanie zapytania

Wyjaśnienie dopasowania

Wynik podobieństwa bez widocznego uzasadnienia

Dopasowane terminy można wyróżnić w wyniku

Na czym opiera się indeks

Na modelu embeddingowym uruchomionym na każdym fragmencie i zapisanym w indeksie wektorowym

Na tokenizerze zasilającym indeks odwrócony, czyli mapę przypisującą każdy termin dokumentom, które go zawierają

FAQ o wyszukiwaniu semantycznym

Wyszukiwanie semantyczne: potrzebujesz wsparcia ekspertów?

Monterail tworzy oprogramowanie na zamówienie z wykorzystaniem najnowszych technologii. Porozmawiajmy o tym, jak możemy pomóc w Twoim projekcie.

POZNAJ USŁUGI AI