Wanneer een chatbot echt helpt, en wanneer hij mensen alleen maar irriteert

Vorige week dinsdag zat ik een chatbot te testen voor een klant, met vragen zoals een echte klant die ook zou stellen. Bij de derde vraag kreeg ik: 'Sorry, dat begrijp ik niet helemaal, wil je met iemand spreken?' Op zich een prima antwoord, alleen had hij dat al twee keer eerder gezegd.

Wij hebben zelf betere chatbots gebouwd. Dus ik zat er even over na te denken wat hier nou anders was, want het lag niet aan het AI-model. Dat was zo goed als hetzelfde model dat we ook elders gebruiken.

Het verschil zat in wat die chatbot mocht weten. Deze had een script en een FAQ-document, en verder niets. Hij kon geen bestelling checken, geen voorraad opzoeken, niemand vertellen dat het pakket maandag het magazijn heeft verlaten. Elke vraag die er echt toe deed, kreeg dezelfde schouderophaal, netjes verpakt in beleefde AI-taal.

De goede zijn niet slimmer, ze zijn beter aangesloten

We hebben een chatbot gebouwd voor een klant die onderdelen voor cv- en klimaatinstallaties verkoopt, het soort bedrijf waar een monteur om tien uur 's avonds naast een kapotte unit staat een onderdeelnummer te zoeken. Die chatbot is gekoppeld aan hun echte productdatabase. Hij gokt niet, hij checkt. Typ je een modelnummer in, dan haalt hij de echte specs en de echte voorraad op. Weet hij het niet zeker, dan zegt hij dat gewoon en biedt hij aan om 's ochtends een collega te laten mailen, in plaats van een antwoord te verzinnen dat zelfverzekerd klinkt en fout is.

Dat is eigenlijk de hele truc. Een chatbot die eerlijk is over de grenzen van wat hij weet, voelt behulpzaam aan, zelfs als hij je probleem niet kan oplossen, want hij verspilt je tijd niet met doen alsof. Een chatbot die is ingesteld om altijd behulpzaam te klinken, blijft gewoon aannemelijke zinnen genereren tot je het opgeeft en in hoofdletters begint te typen.

Mensen ergeren zich niet omdat een chatbot ze niet kan helpen. Ze ergeren zich omdat hij doet alsof hij helpt terwijl dat niet zo is, en het drie berichten duurt voordat je dat doorhebt in plaats van één.

Wat me ook opviel bij die eerste bot: er was geen duidelijke uitgang. Geen zichtbare knop 'praat met iemand', geen e-mailadres in het chatvenster, niets. Je moest zelf om een mens vragen en dan maar hopen dat hij dat begreep. Een goede overdracht is bijna belangrijker dan een goed antwoord. Weet de bot echt iets niet, dan bepaalt de snelste weg naar een echt mens het verschil tussen een licht geïrriteerde klant en een woedende.

Dit gaat eigenlijk niet meer over hoe geavanceerd de onderliggende AI is. De meeste modellen zijn inmiddels goed genoeg. Het gaat erom of iemand de moeite heeft genomen om hem aan echte data te koppelen, hem te vertellen wat hij mag zeggen als hij iets niet weet, en een deur uit het gesprek te bouwen die ook echt opengaat.

De klant met de FAQ-only bot had geen ongelijk om er een te bouwen. Ze hadden alleen de voordeur neergezet zonder hem aan te sluiten op het huis.