Kort samengevat
- ✓Jev geeft geen tekst terug, maar een beslissing in een vast formaat, met een zekerheidsscore
- ✓Op de eerste 240 testgevallen gaf Jev de meeste juiste antwoorden: 91,7% tegenover 88,3% voor de Decisions API
- ✓Jev was de snelste API, de Decisions API kostte gemiddeld zo'n 23% meer
- ✓Elk systeem heeft zijn sterke kant, dus we kiezen per taak
Een model voor software, niet voor mensen
De huidige taalmodellen zijn ontworpen voor mensen. Dat heeft twee nadelen. Als mens geloven we sneller een model dat vol vertrouwen hallucineert. En net als mensen komen die modellen niet snel ter zake, wat leidt tot veel te lange antwoorden. Samen zorgt dat ervoor dat AI in software niet altijd betrouwbaar is, trager werkt dan nodig en veel tokens kost.
Jev, het model dat TypeSafe AI in september 2026 voorstelde, pakt het anders aan. Je stuurt een gerichte vraag samen met de toegelaten antwoorden, en je krijgt er één terug met een zekerheidsscore. Volgens TypeSafe is het daarmee 200 keer sneller en 444 keer goedkoper dan GPT 5.6 Terra. Met een score die klopt, kan de software zelf bepalen wanneer ze doorgaat en wanneer ze het bij een mens legt.
Waarom dit voor onze klanten telt
Een correcte classificatie is essentieel om goede context op te bouwen in een bedrijf. En omdat het om grote volumes gaat, telt ook de kost. We testten Jev meteen op de taken die bij onze klanten het vaakst terugkomen: mails automatisch classificeren, ze aan het juiste dossier koppelen en gegevens uit documenten halen. Een van onze engineers legde het eerst naast vier andere modellen.
De opzet van de test
Toen OpenAI kort daarna de Decisions API lanceerde, breidden we de test uit. We vergeleken vier opstellingen: Jev van TypeSafe AI, de Decisions API, en GLiNER2.5 Decide van Fastino Labs, zowel via de API als lokaal op een Mac.
We gebruikten 240 testgevallen en 120 extra Nederlandse voorbeelden, met vooraf vastgelegde juiste antwoorden. We maten drie dingen: klopt het antwoord, hoe snel komt het terug, en wat kost de aanvraag?
Per opdracht
Korte opdrachten indelen, zoals herkennen dat iemand muziek wil afspelen of een wekker wil zetten: bij de 40 Engelse opdrachten haalden Jev en GLiNER lokaal allebei 40 op 40. Bij de Nederlandse opdrachten eindigden Jev en de Decisions API gelijk, met 39 op 40.
Regels en voorwaarden toepassen op een beschreven situatie: Jev scoorde het best, met 45 op 60 tegenover 38 op 60 voor de Decisions API. Een Nederlandse tekst begrijpen en het juiste antwoord kiezen uit vier opties: Jev haalde 57 op 60, de Decisions API 53 op 60.
Twee Nederlandse zinnen vergelijken, en bepalen of de tweede uit de eerste volgt, ze tegenspreekt of onvoldoende informatie bevat: hier won de Decisions API, met 53 op 60 tegenover 51 op 60 voor Jev. Spam herkennen in sms'jes: de Decisions API haalde 19 op 20, Jev en GLiNER lokaal allebei 18 op 20.
Over de hele test
Op de eerste 240 gevallen gaf Jev de meeste juiste antwoorden: 91,7%, tegenover 88,3% voor de Decisions API. Op de extra Nederlandse set lagen ze dichter bij elkaar: 108 op 120 tegenover 106 op 120.
Jev was ook de snelste API, met gemiddeld 0,41 seconde tegenover 0,52 seconde. De Decisions API kostte gemiddeld 1,23 keer zoveel als Jev, ongeveer 23% meer: omgerekend naar 1.000 vergelijkbare aanvragen zo'n $0,0230 tegenover $0,0187. De GLiNER API was de goedkoopste API. GLiNER lokaal was het snelst, met 0,17 seconde en geen API kosten per aanvraag, maar had over de hele testmix maar 71,3% juist.
Wat we kiezen
Onze keuze blijft Jev voor regels toepassen en teksten begrijpen. De Decisions API won bij zinnen vergelijken en spam herkennen. GLiNER lokaal was vooral sterk bij korte Engelse opdrachten. Zulke systemen zijn snel en goedkoop, en met een zekerheidsscore die klopt, stem je de beslissingen in je processen daarop af.
Welk model past bij jouw proces?
Vertel ons hoe het werk vandaag loopt.
