ScitiX verwerkt dagelijks meer dan één biljoen tokens op eigen AI-infrastructuur
ScitiX heeft zijn productieplatform voor AI-inference algemeen beschikbaar gemaakt. De onderneming zegt dagelijks meer dan één biljoen tokens te verwerken op eigen Nvidia B200-, H200- en H100-infrastructuur. Het platform kan meerdere modellen routeren, kosten meten en afzonderlijke omgevingen aanbieden voor gevoelige workloads. Daarmee ontstaat een nieuwe infrastructuuroptie voor Nederlandse SaaS-bedrijven die niet volledig van één modelleverancier afhankelijk willen zijn.
ScitiX maakte het platform op 17 augustus Nederlandse tijd bekend. De software vormt een uitvoeringslaag tussen zakelijke applicaties en verschillende AI-modellen. Bedrijven kunnen open modellen, aangepaste modellen en diensten van externe aanbieders via één interface benaderen.
De infrastructuur draait volgens ScitiX volledig op GPU-clusters die het bedrijf zelf bezit en beheert. Het gaat om Nvidia B200-, H200- en H100-systemen.
Het platform kan aanvragen automatisch naar een model sturen op basis van bijvoorbeeld vertraging, kosten of kwaliteit. Bij een storing kan een alternatieve route worden gekozen. Daarnaast ondersteunt ScitiX context caching, retries, auditlogs en uitgebreide observability.
Productieomgeving verwerkt volgens ScitiX biljoen tokens per dag
ScitiX meldt meer dan één biljoen tokens per dag te verwerken. De gemiddelde tijd tot het eerste token bedraagt volgens de leverancier ongeveer één seconde. Het bedrijf rapporteert daarnaast een cache hit rate van meer dan 90 procent en beschikbaarheid van 99,9 procent. Deze prestaties zijn bedrijfsgegevens en zijn niet onafhankelijk gecontroleerd.
Een genoemde productieklant is RadixArk, het commerciële team achter SGLang. Volgens ScitiX gebruikt die organisatie de infrastructuur voor zijn zwaarste inferenceworkloads.
Voor organisaties met strengere eisen biedt ScitiX private omgevingen en een beleid waarbij prompts en output na de transactie niet worden bewaard. De dienst is nu beschikbaar voor zakelijke klanten. Publieke standaardprijzen zijn in de aankondiging niet genoemd.
Inference wordt aparte softwarelaag naast AI-model
De productlancering past bij een verschuiving in de AI-markt. Bedrijven experimenteren niet langer uitsluitend met welk model de hoogste kwaliteit levert. Bij productiegebruik gaan ook beschikbaarheid, latency, datalocatie en kosten per aanvraag tellen.
Voor Nederlandse SaaS-bedrijven die verschillende modellen gebruiken, kan een tussenlaag voorkomen dat applicatielogica volledig aan één leverancier wordt gekoppeld. Een aanbieder kan bijvoorbeeld een goedkoper model gebruiken voor eenvoudige opdrachten en alleen complexe verzoeken naar een duurder model sturen.
Dat maakt modelrouting onderdeel van de economische architectuur van een AI-product.
Duiding: Nederlandse SaaS kan marges sturen met onafhankelijke modelrouting
Een concrete kans is dat Nederlandse softwareleveranciers per taak het meest geschikte model kunnen selecteren. Dat kan modelkosten verlagen en maakt het eenvoudiger om een leverancier te vervangen wanneer prijzen of prestaties veranderen. Vooral SaaS met veel AI-gebruik kan daarmee de brutomarge beter bewaken.
Het risico is dat de nieuwe tussenlaag zelf een kritieke afhankelijkheid wordt. Wanneer alle modelverzoeken via één infrastructuurplatform lopen, kan een storing of beleidswijziging daar meerdere achterliggende modellen tegelijk onbereikbaar maken. Nederlandse bedrijven zullen daarom ook redundantie en dataportabiliteit moeten beoordelen. Dit is redactionele duiding.
Meer informatie
Primaire bron: ScitiX over het productieplatform voor AI-inference
Primaire productinformatie: ScitiX Model Inference