Wat kunnen we leren van McDonald's AI mislukking?

McDonald’s stopte in 2024 na drie jaar met een geautomatiseerd bestelsysteem dat bij ongeveer honderd Amerikaanse restaurants werd getest. Het systeem had onder meer moeite met accenten, dialecten en omgevingsgeluid, terwijl de kosten onvoldoende werden gecompenseerd. Een onderzoek naar geautomatiseerde drive-thrus biedt volgens de auteur een belangrijke verklaring: volledig door AI afgehandelde bestellingen waren 81 procent correct, maar wanneer het systeem bij problemen overdroeg aan een medewerker steeg dat naar 95 procent. Het probleem zit daarmee niet alleen in fouten maken, maar vooral in doorgaan wanneer het systeem onvoldoende begrijpt wat de klant bedoelt.

Die les geldt breder voor organisaties die AI-agents rechtstreeks met klanten laten communiceren. Systemen moeten vooraf kunnen bepalen wanneer zij moeten stoppen en een medewerker inschakelen. Die medewerker moet vervolgens beschikken over de eerdere interactie én voldoende bevoegdheden hebben om het probleem direct op te lossen. Gemiddelde nauwkeurigheid zegt daarbij onvoldoende: juist afwijkende klantvragen kunnen relatief veel fouten veroorzaken. Succesvolle AI vraagt daarom naast technische prestaties om duidelijke afspraken over acceptabele fouten, escalatie en verantwoordelijkheid. Niet foutloze AI, maar AI die haar grenzen herkent, wordt daarmee bepalend voor betrouwbare klantautomatisering.

Dit is een samenvatting van het volledige artikel op CIO.com.