Model, który odpowiada, gdy nie wie, nie jest funkcją. To odpowiedzialność o miłym tonie. W systemach, które prowadzę, pytanie może wrócić puste. Pożyteczne zachowanie to cytat, gdy fragment jest w bibliotece, i odmowa, gdy go nie ma.
Najpierw wyszukanie, potem słowa
Wzór jest nudny celowo. Weź pytanie. Znajdź fragmenty, które mogą trzymać odpowiedź. Oceń je. Jeśli żaden naprawdę nie podpiera twierdzenia, zatrzymaj się. Jeśli jeden podpiera, pokaż fragment obok zdania, które go użyło. Zdanie nie jest źródłem. Fragment jest źródłem. Czytelnik, który nie może otworzyć fragmentu, nie może ufać zdaniu, i nie powinien być o to proszony.
Tak zbudowałem system szkolenia, który prowadzę: materiały wchodzą, plan celuje w datę, odpowiedzi są oceniane wobec źródła, powtórka przychodzi, zanim materiał zostanie zapomniany. Tak samo powinno zachować się pytanie o dokument. Oparte na źródle albo milczące. Zgadywanie wygląda pomocnie na pokazie i drogo kosztuje w pierwszym tygodniu, gdy klient działa według niego.
| Co wróciło | Co system może powiedzieć |
|---|---|
| Fragment, który niesie twierdzenie | Odpowiedź, z tym fragmentem obok. |
| Fragmenty, które są tylko blisko | Nic pewnego. Powiedz, czego brakuje. |
| Żaden fragment | Odmów. Nie wypełniaj luki prawdopodobnym zdaniem. |
| Ekstrakcja o niskiej pewności | Pauza dla osoby. Nie płać modelowi drugi raz, żeby próbował na ślepo. |
Rachunek i dziennik są częścią projektu
Model w chmurze widzi dane. Zanim to zrobi, przepływ danych jest zapisany: która usługa, czyj klucz, jaki jest miesięczny limit. Zgoda jest jawna. Wszystko, co dotyka klienta, ceny albo zamówienia, czeka na człowieka. Wywołanie jest w logu, bo „asystent tak powiedział” nie jest śladem audytu.
Nie obiecuję, że to umieści stronę w cudzej ramce odpowiedzi. Ranking to inna maszyna, z bodźcami, których nie kontroluję. Kontroluję to, czy mój własny system zmyśla.
Płynność jest tania. Produktem jest fragment, który da się otworzyć.
Próg to decyzja produktowa
Ktoś musi wybrać punkt, w którym „blisko” staje się „za mało”. Nie zostawiam tego nastrojowi modelu. Fragment albo przekracza próg, który umiem wyjaśnić, albo odpowiedź jest wstrzymana. Wolę wyjaśnić użytkownikowi odmowę niż zmyślony krok w procedurze, którą poszedł. Próg można dostroić, gdy zobaczy się prawdziwe pytania. Nie powinien zaczynać od zera, gdzie lubi mieszkać demo, bo demo ocenia się po tym, jak często coś mówi.
Gdy przebieg jest niepewny w inny sposób, wyciąg o niskiej pewności, a nie pusta biblioteka, zatrzymuję go dla człowieka, zamiast płacić za kolejną próbę, która zabrzmi gładziej. Gładziej nie znaczy prawdziwiej. Log trzyma pierwszą próbę, żeby człowiek widział, co odzyskano i co odrzucono.
Modele są trenowane, by być pomocne, czyli wolą dokończyć akapit. Aplikacja musi być bardziej szorstka niż model. Próg, brak cytatu, puste wyszukanie: każde z nich to gałąź, która nie zwraca odpowiedzi i zapisuje dlaczego. Jeśli tej gałęzi nie ma, system w końcu odpowie na pytanie, którego biblioteka nie uniesie, i zabrzmi pewnie.
Gdy pierwszy raz widzisz, jak odmawia, wygląda to na błąd. Jest odwrotnie. Błędem jest pewny siebie akapit, w który nie ma gdzie kliknąć.
