모르면서 답하는 모델은 기능이 아닙니다. 듣기 좋은 말투의 책임입니다. 제가 돌리는 시스템에서는 질문이 빈 채로 돌아와도 됩니다. 쓸모 있는 동작은, 구절이 라이브러리에 있으면 인용이고, 없으면 거절입니다.
먼저 검색, 말은 나중
형태는 일부러 지루합니다. 질문을 집습니다. 답을 담을 만한 구절을 찾습니다. 점수를 매깁니다. 어느 것도 주장을 실제로 받치지 않으면 멈춥니다. 하나가 받치면, 그것을 쓴 문장 옆에 구절을 보입니다. 문장이 출처가 아닙니다. 구절이 출처입니다. 구절을 열 수 없는 독자는 문장을 믿을 수 없고, 믿으라고 해서도 안 됩니다.
제가 돌리는 훈련 시스템은 이렇게 만들었습니다. 자료가 들어가고, 계획은 날짜를 겨냥하고, 답은 출처에 맞춰 채점되며, 복습은 내용이 잊히기 전에 옵니다. 문서에 대한 질문도 그래야 합니다. 근거가 있거나, 침묵하거나. 맞히는 것은 시연에서는 도움처럼 보이고, 고객이 그에 따라 움직이는 첫 주에 비쌉니다.
| 돌아온 것 | 시스템이 말해도 되는 것 |
|---|---|
| 주장을 받치는 구절 | 답, 그 구절이 붙어 있다. |
| 가까이 있을 뿐인 구절 | 정해진 것은 없다. 무엇이 없는지 말하라. |
| 해당 구절 없음 | 거절한다. 빈칸을 그럴듯한 문장으로 채우지 않는다. |
| 확신 낮은 추출 | 사람을 위해 멈춘다. 모델에게 다시 돈을 내고 눈감고 재시도하게 하지 않는다. |
청구와 기록은 설계의 일부다
클라우드 모델은 데이터를 봅니다. 그 전에 데이터 흐름을 적습니다. 어느 서비스인지, 누구의 키인지, 월 한도가 얼마인지입니다. 동의는 분명합니다. 고객, 가격, 주문에 닿는 것은 사람을 기다립니다. 호출은 기록됩니다. “도우미가 그렇게 말했다”는 감사 흔적이 아닙니다.
이것이 사이트를 다른 사람의 답변 상자에 넣겠다고 약속하지 않습니다. 순위는 다른 기계이며, 그 유인은 제가 통제하지 않습니다. 통제할 수 있는 것은 제 시스템이 지어내는지입니다.
유창함은 싸다. 제품은 열어볼 수 있는 구절이다.
문턱은 제품 결정이다
“가깝다”가 “충분하지 않다”가 되는 지점은 누군가가 골라야 합니다. 모델의 기분에 맡기지 않습니다. 구절은 설명할 수 있는 선을 넘거나, 답이 보류됩니다. 사용자에게 거절을 설명하는 편이, 그가 따른 절차 속의 지어낸 한 단계를 설명하는 것보다 낫습니다. 선은 실제 질문을 본 뒤에 조정할 수 있습니다. 영에서 시작하면 안 됩니다. 시연은 거기에 살고 싶어 하고, 시연은 무언가를 말하는 빈도로 채점되기 때문입니다.
실행이 다른 방식으로 불확실할 때, 빈 라이브러리가 아니라 낮은 확신의 추출이라면, 더 매끄럽게 들릴 재시도에 돈을 내는 대신 사람을 위해 멈춥니다. 매끄러움은 참이 아닙니다. 로그는 첫 시도를 남겨, 사람이 무엇을 꺼냈고 무엇을 버렸는지 보게 합니다.
모델은 도움이 되도록 훈련되어, 문단을 끝내고 싶어 합니다. 애플리케이션은 모델보다 무뚝뚝해야 합니다. 기준, 빠진 인용, 빈 검색. 각각은 답을 돌려주지 않고 이유를 적는 갈래입니다. 그 갈래가 없으면 시스템은 결국 라이브러리가 받치지 못하는 질문에 답하고, 확신 있게 들립니다.
처음 거절하는 것을 보시면 버그처럼 느껴집니다. 반대입니다. 버그는, 자신만만한데 클릭할 곳이 없는 문단입니다.
