Welk AI model kies je,en maakt het iets uit?

Veel ruis

Om de paar weken verschijnt er een nieuw AI model, telkens met benchmarks die tonen dat het de rest verslaat. Voor ontwikkelaars is die race boeiend. Voor een bedrijf dat AI bestelbonnen wil laten lezen of vragen over projectdossiers wil laten beantwoorden, is het vooral ruis.

De vraag is niet welk model het slimst is, maar welk model jouw specifieke taak betrouwbaar uitvoert, snel genoeg en tegen een prijs die te verantwoorden is. Dat zijn twee verschillende vragen, met verschillende antwoorden.

Grote en kleine modellen

Grote modellen blinken uit in complexe redeneringen, lange documenten en taken met vage instructies. Ze zijn trager en kosten meer per taak. Kleine modellen zijn snel en goedkoop. Voor goed afgebakende taken, zoals een klant herkennen in een mail of de orderlijnen uit een pdf halen, doen ze het vaak even goed.

In een goed gebouwd systeem gebruiken verschillende stappen verschillende modellen. Een klein model sorteert de binnenkomende mail, een groter model stelt het moeilijke antwoord op. Zo blijft de kost laag, zonder aan kwaliteit in te boeten waar het telt.

Snelheid telt meer dan mensen verwachten. Een collega die in een chat iets vraagt, zit te wachten op het antwoord. Een mail die op de achtergrond gesorteerd wordt, mag gerust enkele seconden langer duren. Wie het model afstemt op het moment, houdt de ervaring snel waar mensen het merken.

Open modellen zelf draaien

Naast de modellen die je via een aanbieder gebruikt, zijn er open modellen die je op je eigen servers of in je eigen cloudomgeving kunt draaien. Zo heb je meer controle over waar de data naartoe gaat. Maar dan draag je ook zelf de kosten van hardware en onderhoud, en de krachtigste modellen zijn meestal niet de open modellen.

Voor de meeste kmo's is een gehost model met de juiste afspraken de verstandige keuze. Zelf een model draaien wordt interessant als data je omgeving helemaal niet mag verlaten, of als de volumes zo hoog liggen dat het loont.

Verwerking in Europa

De grote cloudaanbieders bieden AI modellen aan met verwerking in Europese datacenters, en er zijn ook Europese aanbieders van modellen. Wat telt, is de opzet: in welke regio de data verwerkt wordt, of ze bewaard wordt en of ze gebruikt wordt voor training. Dat hangt af van de aanbieder, het contract en de instellingen, niet van de naam van het model.

Wat het kost

Modelgebruik betaal je per hoeveelheid verwerkte tekst. Voor typische taken in een kmo, zoals een mail of een document van enkele pagina's lezen, gaat het om centen of fracties van een cent per taak. De echte kost van een AI project zit in het werk rond het model: het koppelen aan je systemen, uitzonderingen afhandelen en goedkeuringen inbouwen.

Daarom loont het zelden om het goedkoopste model na te jagen. Een model dat iets duurder is maar minder fouten maakt, bespaart meer aan correctietijd dan het kost.

Test op je eigen werk

Benchmarks meten prestaties op algemene taken. Jouw documenten zijn niet algemeen. De enige betrouwbare manier om te kiezen: test een paar modellen op een set van je eigen mails en documenten, ook de moeilijke, en meet hoe vaak ze juist zitten. Dat duurt dagen, geen maanden, en het beslecht discussies snel.

Meet wat voor jou belangrijk is: hoe vaak het antwoord juist is, hoe vaak iemand moet corrigeren, hoe lang het duurt en wat het kost. Noteer die cijfers. Ze worden het vertrekpunt voor elke latere beslissing over modellen.

Modellen en je data

Een vraag die we vaak krijgen: leert een model van je data? Met zakelijke overeenkomsten van de grote aanbieders wordt je data niet gebruikt om hun modellen te trainen, en wordt ze verwerkt onder een verwerkersovereenkomst. Bij gratis consumententools is dat niet altijd zo. Dat verschil weegt veel zwaarder door dan welk model je kiest.

Binnen je eigen systeem hoeft het model niet alles te zien. Een goed gebouwd systeem geeft het model alleen wat het nodig heeft voor de taak, binnen de toegangsrechten van wie de vraag stelt. Dat beperkt wat er mis kan gaan, welk model er ook achter zit.

Wanneer je van model wisselt

Wissel van model als een test op je eigen documenten een duidelijke winst in kwaliteit of kost toont, niet omdat er een nieuw model in het nieuws is. Hou een vaste set testgevallen uit je eigen werk bij, zodat je een nieuw model in een namiddag naast het huidige kunt leggen. Is het beter, dan wissel je. Zo niet, dan heb je niets verloren.

Vermijd vendor lock in

Het model dat vandaag het beste is, is dat over een jaar niet meer. Bouw de software zo dat het model een onderdeel is dat je kunt vervangen: de bedrijfslogica, je data en je regels zitten in je eigen systeem, en het model wordt aangesproken via een laag die naar een andere aanbieder kan verwijzen. Een beter of goedkoper model is dan een update, geen nieuw project.