Waarom een AI-agent je kennisbank niet begrijpt

Een AI-agent die vage antwoorden geeft, leest meestal een kennisbank die is geschreven voor wie het antwoord al weet. Sluit eerst de instellingen uit.

Een AI-agent die vage antwoorden geeft, leest meestal een kennisbank die is geschreven voor wie het antwoord al weet. Voordat je iets herschrijft, sluit je de drie instellingen uit die hetzelfde verschijnsel geven.

Verschijnselen

• Antwoorden die in grote lijnen over het onderwerp gaan en nooit specifiek zijn.
• Een artikel waarvan je weet dat het klopt, wordt nooit gebruikt.
• De agent antwoordt in de ene taal en verwijst naar artikelen in een andere.
• Een generatief antwoord eindigt in een technische fout in plaats van in een antwoord.

Ten eerste: valt er iets te lezen?

Er moet minstens één kennisbron gekoppeld zijn. Is er geen enkele, dan levert een generatief antwoordblok of een procedure die om een kennisantwoord vraagt een technische fout op, en geen mager antwoord. Dat is een ander verschijnsel en het wijst rechtstreeks naar de instellingen.

Kijk meteen naar de andere kant van dezelfde vraag. Zendesk zegt dat te veel bronnen in sommige gevallen de nauwkeurigheid kunnen verlagen en de vertraging verhogen, en adviseert het aantal binnen een redelijke grens te houden zonder die grens te noemen. Vage maar niet onjuiste antwoorden van een agent die aan alles is gekoppeld wat je hebt, zijn in dat licht het lezen waard: de oplossing kan een bron weghalen zijn in plaats van een artikel herschrijven.

Ten tweede: sluit een search rule het uit?

Search rules bepalen welke bronnen, of welke delen daarvan, de agent mag gebruiken. Een regel die filtert op Article, Locale of Labels kan je beste artikel stilletjes buiten bereik zetten terwijl alles gekoppeld lijkt.

Kijk wat de regel die voor dat gesprek geldt werkelijk omvat voordat je concludeert dat het aan het artikel ligt.

Ten derde: is het een taalkwestie?

Waar kennisbronnen per taal zijn afgebakend, wijst een koppeling naar de artikelen van één taal, herkenbaar aan de taalcode in de URL zoals /hc/en-us. Een Nederlands artikel zit dan niet in wat de agent kan zien, hoe goed het ook is.

Dit is ook de gebruikelijke verklaring voor een agent die in de ene taal antwoordt en naar een artikel in een andere verwijst.

Daarna: de vier dingen die AI-antwoorden slopen

Zijn de instellingen uitgesloten, dan zitten de oorzaken in de inhoud, en het zijn allemaal schrijfproblemen.

1. Artikelen over meerdere onderwerpen. Een artikel over installeren, inrichten en problemen oplossen is drie antwoorden in één. Gevraagd naar een ervan geeft een AI een mengsel, en dat klopt nergens precies.
2. Het antwoord verstopt achter de context. Artikelen die met achtergrond beginnen en pas in alinea vier bij het antwoord komen. AI weegt het begin zwaarder, dus vat hij je inleiding samen.
3. Tegenstrijdigheden. Twee artikelen die iets anders zeggen, meestal omdat er een oud is. Een mens ziet welke nieuwer is; een AI kan niet weten welke hij moet geloven en citeert er zomaar een.
4. Kennis die nergens staat. De meest voorkomende van allemaal. Een AI kan alleen antwoorden uit wat er is, en waar het echte antwoord in het hoofd van een agent zit, brengt geen enkele instelling het naar buiten.

Het goede nieuws

Alles wat een kennisbank laat werken voor AI, laat hem ook werken voor mensen: één onderwerp per artikel, het antwoord vooraan, geen tegenstrijdigheden, actuele inhoud. Dit is geen apart project. Het is het schrijfwerk dat je toch al had moeten doen, met een nieuwe reden om het te doen.

Waar je begint

Kijk naar de vragen die je AI-agent slecht afhandelt. Elke vraag is een ontbrekend artikel, een artikel dat te veel omvat, een tegenstrijdigheid, of een instelling die het buiten bereik houdt. Alle vier zijn per stuk in een middag op te lossen.

Zie ook

• Hoe je een artikel schrijft dat AI kan gebruiken
• Eén onderwerp per artikel: waarom dat voor AI uitmaakt
• Mijn AI-agent lost weinig op: waar begin je