Blog

AI‑agentbeheer na livegang: wat moet je kunnen zien als het misgaat?

Een agent is pas beheersbaar wanneer je per taak ziet wat erin ging, welke grens gold, wat hij deed en waar een mens ingreep.

Een werkplek met een scherm en een laptop naast elkaar

Een AI-agent kan op maandag keurig werken en op donderdag anders reageren zonder dat iemand een knop heeft aangeraakt. Een bronbestand kreeg een nieuwe kolom. Een leverancier veranderde een API. Een modelversie gedraagt zich net anders. Of het volume loopt op en een tijdslimiet zorgt ervoor dat een taak onvolledig blijft. Dit zijn veranderpunten waarvoor je het proces moet ontwerpen. Zij horen bij software die tussen bestaande systemen werkt.

Wie een agent alleen oplevert en daarna weggaat, laat de proceseigenaar met een lastige vraag achter: hoe merk ik dat hij verkeerd werkt voordat een klant, boekhouding of medewerker dat ontdekt? Een dashboard is pas bruikbaar als de proceseigenaar één foutieve taak kan terugvinden, onderzoeken en herstellen.

Volg één taak van begin tot eind

Neem een agent die een klantvraag beantwoordt op basis van gegevens uit een CRM, een contractmap en een ordersysteem. Voor elk antwoord moet terug te vinden zijn welk verzoek binnenkwam, welke bronnen zijn geraadpleegd, welk model en welke versie van de werkwijze zijn gebruikt, welke acties zijn uitgevoerd en wat de uitkomst was. Gaat het antwoord naar een medewerker voor goedkeuring, leg dan ook die overdracht vast.

Dat betekent niet dat alle inhoud onbeperkt in een logbestand moet staan. Logs horen bij de privacy- en bewaartermijnen van het proces. Het betekent wel dat een bevoegde collega kan reconstrueren welke invoer, bronnen, configuratie, acties en menselijke beslissing tot de uitkomst leidden. Zonder die reconstructie blijft een fout een anekdote: iemand zag iets vreemds, maar niemand weet of het een uitzondering was of een patroon.

Let op kwaliteit, kosten en uitzonderingen

Beheer begint met drie vragen. Doet de agent de juiste taak? Gebruikt hij een redelijke hoeveelheid middelen? En komen uitzonderingen op de plek waar iemand ze kan behandelen?

Kwaliteit meet je aan het proces, niet aan hoe menselijk een antwoord klinkt. Bij orderverwerking zijn nuttige signalen bijvoorbeeld het aandeel correct doorgezette orders, de reden van correcties en de tijd tot een order in het ERP staat. Bij klantvragen kun je kijken naar het aandeel antwoorden dat een medewerker terugstuurt, de bron die het vaakst ontbreekt en vragen die steeds opnieuw in een wachtrij terechtkomen.

Kosten vragen een eigen signaal. Een lange bijlage, een herhaalpoging of een fout in een koppeling kan een taak veel duurder maken dan bedoeld. Meet daarom kosten en doorlooptijd per soort taak. Dan wordt zichtbaar of een wijziging aan de bron of de werkwijze het proces raakt, in plaats van pas op te vallen op de maandfactuur.

Een wachtrij is het derde signaal. Die moet niet verdwijnen omdat een team alle gevallen alsnog automatisch doorzet. De wachtrij vertelt waar de grens te strak, te ruim of simpelweg onduidelijk is. Een terugkerende uitzondering kan leiden tot een nieuwe regel. Een uitzondering met grote gevolgen blijft bij een mens, ook wanneer hij maar zelden voorkomt.

Menselijk toezicht is een taak, geen knop

"Een mens in de lus" klinkt geruststellend, maar lost niets op wanneer niemand weet wie die mens is, wanneer hij moet ingrijpen en welke bevoegdheid hij heeft. Leg per grens vast wie een taak krijgt, hoe snel die persoon moet reageren en wat hij mag besluiten. Bij een prijsafwijking kan dat de orderdesk zijn. Bij een betaling boven een afgesproken bedrag misschien finance. Bij een fout in een bronapplicatie IT.

Geef die persoon ook een manier om een externe actie vóór uitvoering te stoppen of naar een veilige handmatige route te sturen. Is een actie al uitgevoerd, dan moet er een herstel- of escalatieroute zijn. Een goedkeuringsknop zonder context maakt van toezicht alleen extra klikwerk. Toon daarom de brongegevens, de reden van de voorgestelde actie en de gevolgen van goedkeuren of afwijzen.

Maak beheer onderdeel van de afspraak

Na livegang veranderen modellen, documenten, leveranciers en interne regels. Daarom heeft een agent onderhoud nodig, net als een koppeling of financiële applicatie. Spreek vooraf af wie afwijkingen bekijkt, hoe een wijziging wordt getest en welke rapportage de proceseigenaar krijgt. Een maandrapport hoeft niet lang te zijn. Het moet laten zien wat is verwerkt, waar ingrijpen nodig was, wat het kostte en welke beslissing aandacht vraagt.

De interessantste vraag is niet of een agent zelfstandig kan werken. De vraag is of de organisatie kan zien wanneer hij dat niet meer zou moeten doen. Als dat antwoord ontbreekt, is de agent nog een demo met toegang tot echte systemen.

Drie manieren om te beginnen

Wil je vastleggen wat een live agent moet tonen aan operations en IT?

Begin klein, met één proces dat elke week terugkomt. Kies zelf hoe: van vijf minuten zelf invullen tot een sessie bij jullie op locatie.

01

AI-scan

Gratis

Tien vragen, vijf minuten

Vul zelf in waar jullie staan. Je ziet meteen de uitkomst, met een eerste stap.

Doe de AI-scan

02Aanbevolen

Kennismaking

Gratis

Een half uur via Teams

We horen wat jullie al doen. Daarna zeggen we wat past of dat het nog te vroeg is.

Gesprek met Marcel Logtenberg

Plan een gesprek

03

Aan de slag

Vanaf € 495

Bij jullie op locatie, exclusief btw

Een AI-quickscan, een AI-assessment of een AI-assessment met inspiratiesessie, tegen een vaste prijs.

Aan de slag