Lokale AI: wanneer heeft het zin?

Wat draait er dan lokaal?

Met lokale AI bedoel ik op deze pagina vooral taalmodellen die je zelf draait. Spraakherkenning en beeldanalyse kunnen ook lokaal werken, maar die test ik hier niet.

Het model draait op je eigen computer of server. De documenten die het doorzoekt en de verwerking van je vragen kun je daar ook houden. Dat kan op een werkstation, een server op kantoor of een eigen cluster.

Dat betekent niet dat alles offline is. Een koppeling, logbestand of back-up kan nog steeds gegevens naar buiten sturen. Kijk dus ook naar wat er om het model heen draait, wie erbij kan en waar de data terechtkomt.

Waar draait het, en wie beheert het?

On-premises betekent dat de toepassing op de infrastructuur van je organisatie draait. Bij een private cloud gebruik je een afgeschermde omgeving, die ook door een leverancier kan worden beheerd. Europese hosting zegt iets over de locatie, maar op zichzelf nog niet wie toegang heeft of welke juridische zeggenschap er is.

Bekijk daarom de hele keten: model, documentopslag, zoekindex, logging en beheer. Een Nederlands taalmodel kan in een buitenlandse cloud draaien. Een buitenlands model kan op jouw eigen server staan.

Waarom dit voor Nederlandse organisaties interessant is

Een accountantskantoor, gemeente of ziekenhuis heeft veel kennis in documenten die niet zomaar gedeeld mogen worden. AI kan helpen die informatie terug te vinden of een concept voor te bereiden. Met lokale verwerking kun je meer van de toegang en de verwerkingsomgeving zelf regelen. Of dat voldoende bescherming biedt, hangt af van de inrichting.

Ik vind het interessant om die vertrouwelijke vakkennis toegankelijk te maken voor medewerkers die erbij mogen. Daarvoor hoeft niet elk kantoor een eigen server te kopen. Een gezamenlijk beheerde omgeving kan ook een optie zijn, mits verantwoordelijkheden, toegang en mogelijkheden om over te stappen goed zijn geregeld.

TNO noemt digitale autonomie, transparantie en de Nederlandse taal en context als uitgangspunten voor GPT-NL. Dat ondersteunt de ontwikkeling van eigen kennis en alternatieven voor leveranciers. Het bewijst niet dat een lokaal model beter Nederlands spreekt, goedkoper is of veiliger werkt. Dat moet je per toepassing toetsen.

TNO over GPT-NL en digitale autonomie

Wanneer zou ik ervoor kiezen?

Lokaal wordt interessant als je vaak dezelfde taken uitvoert, documenten binnen je eigen omgeving wilt houden of een vaste modelversie nodig hebt. Je moet wel een model vinden dat het werk goed genoeg doet, en iemand hebben die de installatie bijhoudt.

Als je nog uitzoekt wat je wilt bouwen, weinig gebruik verwacht of veel wisselende drukte hebt, is een cloud-API vaak praktischer. Je hoeft dan zelf geen capaciteit klaar te zetten. De kwaliteit, prijzen en limieten hangen wel af van de aanbieder.

Je kunt ze ook combineren. Bijvoorbeeld een terugkerende taak lokaal draaien en een moeilijkere vraag naar een extern model sturen. Spreek dan af welke gegevens mee mogen en hoe je controleert dat de routering klopt.

Waar zou je mee kunnen beginnen?

Dit zijn taken waarmee je een kleine pilot kunt beginnen. Ik heb deze toepassingen niet zelf getest. Kijk per taak of AI helpt en of lokaal draaien iets toevoegt.

Deze voorbeelden sluiten aan bij de nadruk op beheersing bij de NBA, professionele verantwoordelijkheid bij de NOvA en verantwoorde inzet bij de overheid. Nictiz onderzoekt AI tegen registratielast in de zorg. Die bronnen onderbouwen het belang van zorgvuldig gebruik, niet de superioriteit van lokale hosting.

• NBA: AI in Control
• NOvA: digitalisering en AI
• Overheid: handreiking generatieve AI
• Nictiz: AI tegen registratielast

Een vraag in een accountantsdossier

Voorbeeldscenario, geen eigen klantcase of gemeten resultaat.

Stel dat een medewerker vraagt: welke afspraken over betalingstermijnen staan in het dossier van klant A? De toepassing zoekt eerst in de stukken waarvoor die medewerker toegang heeft. Ook de zoekindex moet die dossierrechten volgen.

Het taalmodel krijgt de gevonden passages en maakt een conceptantwoord met verwijzingen naar document, versie en pagina. De medewerker opent die passages en controleert of het antwoord klopt. Als stukken ontbreken of elkaar tegenspreken, moet dat zichtbaar blijven.

Ik zou zo’n pilot beoordelen met vooraf uitgezochte dossierstukken: vindt het systeem de juiste afspraak, verwijst het naar de juiste bron en blijft informatie uit andere klantdossiers buiten beeld? Controleer ook vragen waarop geen antwoord in het dossier staat. Meet daarna pas of de totale werktijd, inclusief controle en correcties, afneemt.

Om de snelheid en capaciteit van mijn hardware te onderzoeken, ben ik zelf gaan meten. Die metingen staan in de Arena. Ze helpen bij de hardwarekeuze, maar of een model jouw werk goed doet, moet je met je eigen voorbeelden testen.

De grafiek vergelijkt twee precisies van één Gemma-model op mijn DGX Spark. Precisie gaat over hoe modelgetallen worden opgeslagen en verwerkt. Een lagere precisie kan geheugen sparen en de snelheid veranderen, maar ook invloed hebben op antwoorden. Een token is een stukje tekst, niet noodzakelijk een heel woord. Dit is geen vergelijking met een cloudmodel en geen kwaliteitstest.

Wat lokaal draaien niet oplost

Een taalmodel kan feiten verzinnen of een relevante uitzondering overslaan. Een bronverwijzing helpt bij controleren, maar garandeert niet dat de conclusie uit die bron volgt.

Een document kan instructies bevatten die het model proberen te sturen. Behandel opgehaalde tekst als gegevens, beperk gereedschappen en test op zulke aanvallen. Dossierrechten, updates en beveiliging blijven nodig, ook zonder externe API.

De AVG blijft gelden. De AP heeft expliciet aangegeven dat dezelfde wettelijke vereisten ook relevant zijn voor lokaal gedraaide modellen. Beoordeel onder meer het doel, de grondslag, gegevensgebruik, bewaartermijnen en de noodzaak van een DPIA met de verantwoordelijke privacy- en beveiligingsspecialisten. De toepasselijke regels hangen ook af van wat de toepassing doet.

Meer controle betekent ook meer werk. Een slecht beheerde lokale installatie kan minder veilig zijn dan een goed ingerichte dienst. Reken beheer en herstel mee en beoordeel of de gekozen omgeving voldoende beschikbaar is voor het werk.

AP: ook lokaal gebruik valt onder de wettelijke vereisten (brief uit 2023)

Wat ik zou controleren vóór de aanschaf

• Kan het model het werk aan? Test met echte voorbeelden die je mag gebruiken. Leg vast welke fouten acceptabel zijn en wie de antwoorden beoordeelt. Een algemene benchmark vertelt niet of jouw documenten goed worden verwerkt.
• Wat verlaat je netwerk? Volg de documenten, vragen en antwoorden. Neem ook zoekbronnen, logging, back-ups en beheer mee. Een lokaal model alleen is geen privacygarantie.
• Wie houdt het draaiend? Iemand moet updates, storingen en modelwissels oppakken. Test ook wat er gebeurt als de machine vol zit of uitvalt, en hoe je dan verder werkt.
• Hoeveel ga je het gebruiken? Tel aanschaf, stroom, beheer en vervanging mee. Een machine die meestal niets doet kan duurder uitvallen dan een API. Voorspelbaar gebruik maakt de rekensom eenvoudiger.
• Kun je later nog wisselen? Bewaar je instellingen en zorg dat je data mee kan naar een andere oplossing. Met eigen hardware kun je nog steeds afhankelijk worden van één model, engine of zelfgebouwd systeem.

Dit heb ik zelf uitgezocht

Mijn openbare metingen draaien op één DGX Spark. Ze laten zien wat er op die machine gebeurt, onder de beschreven omstandigheden.

• Modellen vergelijken in de ArenaThroughput, geheugen en de afzonderlijke meetresultaten.
• Mijn DGX Spark-opzetModellen draaien, contextlengte en keuzes in de software.
• De kosten van een DGX SparkAanschaf, stroom en gebruik, met de aannames erbij.

Lees waarom ik ben gaan meten