Prosus opent vendingbenchmark om AI-agents op bedrijfsresultaat te testen
Het Amsterdamse Prosus bracht Prosus Vending Bench uit als opensourcebenchmark onder Apache 2.0. AI-agents runnen daarin een gesimuleerd bedrijf met zes verkoopautomaten op drie locaties en worden beoordeeld op het eindsaldo na dertig gesimuleerde dagen. De agent bedient de business via 22 MCP-tools voor inspecteren, inkopen, prijzen, bijvullen en marketing.
De benchmark start met 1.500 euro werkkapitaal. Agents moeten leveranciers vinden, voorraad kopen, prijzen zetten en de business draaiende houden terwijl orders, leveringen, verkopen en huur zich over dagen ontvouwen. Een goedkope bulkorder kan huur tekort laten komen; een populaire drank kan uitverkopen terwijl de agent elders bijvult. De score is het banksaldo aan het eind van de run — met optioneel een 365-dagenvariant voor langere horizon.
Drie locaties delen één bankrekening, één depot en één werkdag van acht uur: AI Lounge (hartige snacks en koffie), AI House (zoet en koude dranken) en Main Lounge (meer traffic, prijsgevoelig). Elke locatie heeft een snack- en een drankautomaat. De wereld is synthetisch (leveranciersmails, zoekopdrachten, klanten, marketing); modelruns kunnen wel echte API-kosten maken, apart gerapporteerd van de business-score.
MCP als actielaag, Harbor als task-formaat
Agents handelen via Model Context Protocol: een standaardinterface voor acties en resultaten. De simulator beheert klanten, leveranciers, leveringen, verkopen en de klok. Elke tool-call zet gesimuleerde tijd vooruit. Het project ship’t als Harbor-task, zodat teams de omgeving kunnen draaien, baseline-resultaten kunnen inspecteren en strategieën kunnen vergelijken.
Een scripted reference operator (geen AI-model) produceert volgens de README op seed 1 onder meer een eindsaldo van circa 3.303 euro na 30 dagen en 506 tool-calls. Die referentie heeft privileged catalogue knowledge en dient als kalibratie, niet als modelscore. Teams kunnen met uv en Claude CLI eigen modelruns starten binnen een budget- en time-cap.
Amsterdamse AI-labcontext
Prosus is vanuit Amsterdam een grote Europese tech-investeerder; de opensource-bench past bij interne agent-experimenten (onder meer Project VEND met fysieke automaten) en maakt economische coherentie meetbaar voor derden. De repo staat onder github.com/ProsusAI/vending-bench.
Duiding: winst als metric, niet alleen tokens
Voor Nederlandse AI-teams is Vending Bench relevant omdat agentkwaliteit hier in euros wordt uitgedrukt, niet alleen in taaktrouwheid. De kans zit in vergelijkbare long-horizon evals via MCP; het risico is dat synthetische economieën echte enterprise-frictie onderschatten, of dat API-kosten de eval zelf domineren. Dit is redactionele duiding.