Quality Evaluation Agent: meten op schaal, zonder de menselijke maat te verliezen

In de vorige blogs zagen we hoe organisaties steeds beter worden in het benutten van klantinteracties:

• Blog 1: self‑service wordt slimmer, assisted service complexer en de baton beweegt heen en weer
• Blog 2: de Case Management Agent zorgt voor volledige en consistente casevastlegging
• Blog 3: de Knowledge Agent zet die cases om in bruikbare concept‑kennis
• Blog 4: de Intent Agent begrijpt wat klanten echt bedoelen

Maar daarmee zijn we er nog niet. Want hoe weten we of al die interacties, zowel menselijk als AI, goed verlopen?

Tot nu toe gebeurde kwaliteitscontrole vooral handmatig en steekproefsgewijs.  En dat past simpelweg niet meer bij de dynamiek van moderne contactcenters.

Daarom heeft Microsoft de Quality Evaluation Agent ontwikkeld.

Het probleem: steekproeven tonen maar een fractie van de werkelijkheid

De meeste contactcenters beoordelen slechts een paar procent van de gesprekken. Dit model heeft twee fundamentele tekortkomingen:

1. Het is niet schaalbaar
 Je hoort nooit het hele verhaal, alleen fragmenten.
 En die fragmenten zijn zelden representatief.

2. Het is niet consistent
 Elke supervisor beoordeelt anders.
 Zelfs met dezelfde checklist.

Daarmee wordt kwaliteit willekeurig inzicht, geen structurele stuurvariabele. Om klantprocessen echt te verbeteren, moet kwaliteit net zo schaalbaar worden als casevastlegging en kennismanagement. Dat is precies wat de Quality Evaluation Agent mogelijk maakt.

Wat de Quality Evaluation Agent doet

Microsoft documenteert deze agent als een systeem dat:

interacties automatisch beoordeelt op vooraf door de organisatie ingestelde kwaliteitscriteria.

Belangrijk is wat de agent wel en niet doet:

• ✔ Analyseert de tekstuele inhoud van een gesprek (transcript of tekst).
   Niet de toon, emotie of intonatie.
• ✔ Vergelijkt de interactie met criteria die door supervisors zijn gedefinieerd.
   De agent bepaalt dus niet zelf wat kwaliteit is, hij voert het ingestelde beoordelingsplan uit.
• ✔ Evalueert alleen wat expliciet in dat plan staat.
   Empathie, duidelijkheid, volledigheid of compliance worden alleen geëvalueerd wanneer ze onderdeel zijn van het evaluatieplan.
• ✔ Genereert een score of beoordeling per interactie, volledig automatisch.
   Maar alleen binnen de kaders die door de organisatie zijn bepaald.
• ✔ Ondersteunt supervisors door relevante gesprekken te markeren.
   Bijvoorbeeld gesprekken met afwijkingen of risico’s — zodat menselijk review gericht kan plaatsvinden.

De agent is dus geen autonome kwaliteitscontroleur, maar een schaalbare beoordelaar binnen een door mensen bepaald framework.

De rol van kwaliteit in de self‑service ↔ assisted ↔ self‑service cyclus

Kwaliteit is het moment waarop alle informatie samenkomt.

1. Kwaliteit in self‑service

De Quality Agent beoordeelt ook AI‑interacties, zoals chatbotgesprekken. Dat is essentieel, omdat deze flows vaak snel groeien en nieuwe patronen vertonen.

2. Kwaliteit in assisted service

Bij gesprekken met medewerkers helpt de agent supervisors om:

• afwijkingen te ontdekken
• processtappen te identificeren die vaak worden overgeslagen
• inconsistentie zichtbaar te maken
• betere coaching te geven

Belangrijk: de agent beoordeelt alleen op wat in het evaluatieplan is gedefinieerd, bijvoorbeeld:

• begroeting
• identificatie
• correct gebruik van kennis
• afsluiting
• naleving van processtappen

Hij “herkent” empathie niet als concept. Hij checkt uitsluitend of een vooraf gedefinieerd criterium aanwezig is in de tekst.

3. Verbetering van het totale systeem

De inzichten uit kwaliteit vloeien terug het systeem in:

• intent wordt scherper
• kennis wordt aangescherpt
• caseprocessen worden verbeterd
• training wordt gerichter
• self‑serviceflows worden gecorrigeerd

Zo wordt kwaliteit niet langer het laatste station, maar een doorlopende feedbacklus.

Praktisch scenario: van 3% steekproef naar 100% inzicht

Een verzekeraar ziet dat klanttevredenheid daalt bij het onderwerp “polisaanpassing”. Handmatige controles leveren weinig inzicht op.

De Quality Evaluation Agent beoordeelt alle gesprekken op de criteria die in het evaluatieplan zijn opgenomen.

De agent signaleert dat in veel gesprekken:

• de bevestiging van de ingangsdatum ontbreekt
• het verplichte verificatiemoment niet consequent wordt uitgevoerd
• een belangrijke uitleg over aanvullende verzekeringen regelmatig wordt overgeslagen

Dit is géén “AI‑interpretatie”. Dit zijn objectieve checks tegen ingestelde criteria.

Met deze inzichten:

• bewerkt de Knowledge Agent het relevante kennisartikel
• past het team procesinstructies aan
• worden medewerkers gericht gecoacht
• ziet de Intent Agent nieuwe variaties in klantvragen

Binnen enkele weken daalt het aantal herhaalcontacten en stijgt de klanttevredenheid.

Impact voor klant, medewerker en operatie

Voor klanten

• consistentere uitleg
• minder fouten
• minder herhaalverkeer

Voor medewerkers

• gerichtere coaching
• minder subjectieve beoordeling
• duidelijkere verwachtingen

Voor de operatie

• 100% zicht op kwaliteitscriteria
• betrouwbare, opgeschaalde evaluaties
• directe input voor proces- en kennisverbetering

De agent brengt schaal en objectiviteit, zonder dat menselijke nuance verloren gaat.

Waarom schaalbare kwaliteitsanalyse het echte fundament is voor AI

Wanneer organisaties met AI aan de slag gaan, willen ze vaak sneller automatiseren.
 Maar zonder duidelijke kwaliteitsnormen wordt automatisering vooral: sneller fouten maken.

De Quality Agent doet iets belangrijks:

• hij laat zien of processen echt worden gevolgd
• hij maakt verschillen zichtbaar die managers nooit hadden kunnen zien
• hij ondersteunt coaching op basis van de volledige werkelijkheid
• hij helpt bepalen waar automatisering wél en niet verantwoord is

Met andere woorden:

kwaliteit is de veiligheidslaag én de versneller van verdere AI‑toepassingen.

In de vogende en laatste blog van deze serie brengen we alle vier de agents samen: hoe ze samenwerken, welke nieuwe KPI’s relevant worden en hoe organisaties vandaag al gecontroleerd kunnen opschalen.

Wil je intussen onderzoeken welke kwaliteitscriteria in jouw contactcenter het meeste inzicht opleveren wanneer je ze automatisch evalueert?
We denken graag mee.