Een model dat antwoordt als het het niet weet, is geen functie. Het is een aansprakelijkheid met een prettige toon. Op de systemen die ik draai, mag een vraag leeg terugkomen. Het nuttige gedrag is een citaat als de passage in de bibliotheek staat, en een weigering als dat niet zo is.
Eerst het ophalen, dan de woorden
Het patroon is expres saai. Neem de vraag. Vind de passages die het antwoord zouden kunnen houden. Beoordeel ze. Als geen ervan een bewering echt draagt, stop. Als één dat wel doet, toon de passage naast de zin die haar gebruikte. De zin is niet de bron. De passage is de bron. Een lezer die de passage niet kan openen, kan de zin niet vertrouwen, en dat mag niet gevraagd worden.
Zo heb ik het trainingssysteem gebouwd dat ik draai: materiaal erin, een plan gericht op een datum, antwoorden gescoord tegen de bron, de herhaling komt voordat de stof vergeten is. Zo hoort een vraag over een document zich ook te gedragen. Onderbouwd, of stil. Raden voelt nuttig in een demo en wordt duur in de eerste week dat een klant ernaar handelt.
| Wat terugkwam | Wat het systeem mag zeggen |
|---|---|
| Een passage die de bewering draagt | Het antwoord, met die passage ernaast. |
| Passages die alleen in de buurt zijn | Niets vast. Zeg wat ontbreekt. |
| Geen passage | Weiger. Vul het gat niet met een waarschijnlijke zin. |
| Een extract met weinig vertrouwen | Pauze voor een persoon. Betaal het model niet opnieuw om blind opnieuw te proberen. |
De rekening en het logboek horen bij het ontwerp
Een cloudmodel ziet gegevens. Voordat dat gebeurt, staat de gegevensstroom op papier: welke dienst, van wie de sleutel is, wat het maandelijkse plafond is. Toestemming is uitdrukkelijk. Alles wat een klant, een prijs of een bestelling raakt, wacht op een mens. De aanroep wordt gelogd, want “de assistent zei het” is geen auditspoor.
Ik beloof niet dat dit een site in het antwoordenveld van iemand anders zet. Ranking is een andere machine, met prikkels die ik niet stuur. Wat ik wel stuur, is of mijn eigen systeem verzint.
Vlotheid is goedkoop. Het product is een passage die u kunt openen.
De drempel is een productbesluit
Iemand moet het punt kiezen waar “in de buurt” “niet goed genoeg” wordt. Dat laat ik niet aan de bui van het model over. Een passage haalt een lat die ik kan uitleggen, of het antwoord wordt achtergehouden. Liever leg ik een gebruiker een weigering uit dan een verzonnen stap in een procedure die hij volgde. De lat kan worden bijgesteld nadat u echte vragen hebt gezien. Hij mag niet op nul beginnen, waar een demo graag leeft, omdat een demo wordt beoordeeld op hoe vaak hij iets zegt.
Als een run op een andere manier onzeker is, een extract met laag vertrouwen in plaats van een lege bibliotheek, pauzeer ik die voor een mens in plaats van een nieuwe poging te betalen die vloeiender zal klinken. Vloeiender is niet waarder. Het log houdt de eerste poging, zodat de mens ziet wat is opgehaald en wat is weggegooid.
Modellen zijn getraind om behulpzaam te zijn, wat betekent dat ze de alinea liever afmaken. De toepassing moet botter zijn dan het model. Een drempel, een ontbrekend citaat, een lege zoekactie: elk daarvan is een tak die geen antwoord teruggeeft en vastlegt waarom. Als die tak niet bestaat, zal het systeem uiteindelijk een vraag beantwoorden die de bibliotheek niet kan dragen, en het zal zeker klinken.
De eerste keer dat u het ziet weigeren, voelt dat als een bug. Het is het omgekeerde. De bug is de zelfverzekerde alinea waar u nergens op kunt klikken.
