Workday onderzoekt waarom AI-agenten gewiste informatie toch kunnen onthouden
Workday heeft een eigen AI Research-team aangekondigd dat zich richt op betrouwbaarheid, geheugen, samenwerking tussen agents en efficiëntie van zakelijke AI. Onderzoekers ontdekten onder meer dat informatie na een verwijderopdracht soms via oudere samenvattingen terug te halen bleef. De ontwikkeling heeft een directe Nederlandse link: Workday heeft een kantoor in Amsterdam en Nederlandse klanten zoals Just Eat Takeaway.com en Basic-Fit.
Workday maakte het onderzoeksteam op 19 augustus om 12.00 uur Amerikaanse oostkusttijd bekend, overeenkomend met 18.00 uur Nederlandse zomertijd. Het team onderzoekt onder meer persistent geheugen van agents, verklaarbaarheid, orchestratie van meerdere agents, aanbevelingssystemen en efficiënt gebruik van rekenmiddelen.
Het onderzoek wordt niet uitsluitend intern gehouden. Werk van Workday-onderzoekers is geaccepteerd door conferenties zoals ICML, ICLR, ACM Web Conference en ACL.
Een van de onderzochte problemen is geheugen. Workday testte een selectiemethode waarbij een agent relevante informatie bewaart maar verouderde, dubbele of onbetrouwbare gegevens probeert te verwijderen. In de eigen experimenten verbeterde de precisie met 12 procent en de totale geheugenkwaliteit met ongeveer 8 procent ten opzichte van de gebruikte vergelijking.
Meer dan 11.500 organisaties gebruiken Workday
Workday meldt wereldwijd meer dan 11.500 organisaties als klant te hebben, waaronder meer dan 65 procent van de Fortune 500. In Nederland heeft het bedrijf een kantoor aan het Gustav Mahlerplein in Amsterdam. Op de Nederlandse website worden onder meer Just Eat Takeaway.com, Basic-Fit en IMC als klantreferenties getoond.
Het bedrijf start daarnaast een PhD Fellowship. Geselecteerde promovendi krijgen jaarlijks 50.000 dollar onderzoeksfinanciering voor hun universiteit, begeleiding door Workday-onderzoekers en toegang tot het onderzoeksteam.
Vergeten blijkt lastig voor agents met samengevat geheugen
Een tweede onderzoek levert een opvallend praktisch probleem op. Wanneer onderzoekers een AI-agent opdroegen bepaalde informatie te vergeten, bleek die in ongeveer één op de vijf onderzochte gevallen nog terug te halen uit een eerder gemaakte samenvatting. Om informatie volledig te verwijderen moesten ook alle afgeleide samenvattingen waarin die gegevens voorkwamen worden verwijderd.
Workday onderzocht daarnaast samenwerking tussen meerdere gespecialiseerde agents. In een experiment verbeterde de nauwkeurigheid met 5,8 procent wanneer afzonderlijke agents verschillende rollen kregen en een coördinerende agent het proces bestuurde. Alle uiteindelijke antwoorden voldeden binnen dat onderzoek aan de ingestelde beperkingen.
De resultaten komen uit onderzoek van Workday en betekenen niet dat dezelfde percentages voor iedere zakelijke toepassing gelden.
Duiding: agentgeheugen wordt privacyvraagstuk voor Nederlandse SaaS
De concrete kans is dat Nederlandse SaaS-bedrijven agents persoonlijker en nuttiger kunnen maken door relevante context over eerdere werkzaamheden te bewaren. Selectief geheugen kan voorkomen dat gebruikers iedere sessie opnieuw dezelfde bedrijfscontext moeten invoeren.
Het risico is dat verwijderen ingewikkelder blijkt dan een record uit één database wissen. Wanneer gegevens ook in samenvattingen, caches of afgeleide agentcontext terechtkomen, kan een verwijderverzoek meer technische locaties raken. Nederlandse SaaS-leveranciers die persoonsgegevens in agentgeheugen gebruiken zullen hun architectuur daarom moeten ontwerpen rond herleidbaarheid en volledige verwijdering, niet alleen rond opslag. Dit is redactionele duiding.
Meer informatie
Primaire bron: Workday over AI Research
Aanvullende primaire bron: Workday Nederland