Iedereen die een AI-project start, begint tegenwoordig automatisch bij ChatGPT of Claude. Je opent een API-account, betaalt per token, en voelt je veilig omdat een grote naam achter de technologie staat. Tot de rekening aan het einde van de maand hoger uitvalt dan verwacht, of tot een klant vraagt waar zijn gegevens precies worden verwerkt, en je beseft dat je eigenlijk geen idee hebt op welke server in welk land die data terechtkomt.
En dan is er Joris.
Joris is IT-manager bij een middelgroot logistiek bedrijf in Utrecht, en hij draait inmiddels drie verschillende AI-modellen volledig op de eigen servers van het bedrijf, zonder ooit nog een token-factuur van een Amerikaanse aanbieder te krijgen. Geen enkel gesprek verlaat het eigen netwerk, de kosten zijn voorspelbaar, en hij kan elk model naar wens aanpassen aan de eigen bedrijfsdata. Wat Joris begreep, en wat veel bedrijven nog missen, is dat beste open source ai modellen niet langer een compromis betekent tussen kwaliteit en controle. De kloof met gesloten modellen is dit jaar zo klein geworden dat de keuze allang niet meer alleen over prestaties gaat, maar over licentie, hardware en wat je bedrijf daadwerkelijk nodig heeft.
Waarom Kiezen voor Open Source AI boven OpenAI of Claude?
Drie redenen komen bij vrijwel elk bedrijf terug zodra het gesprek op open source AI komt. De eerste is privacy: draai je een model op je eigen infrastructuur, dan verlaat geen enkel gesprek, document of klantvraag het eigen netwerk, en train je nooit ongewild het model van een externe partij met je bedrijfsgevoelige data. Voor sectoren waar AVG-gevoelige informatie dagelijks door een AI-systeem gaat, zoals zorg, financiën of HR, is dat vaak al genoeg reden om de overstap serieus te overwegen.
De tweede reden is kostenbeheersing. API-kosten per token lijken in het begin klein, maar schalen lineair mee met je gebruik, en bij een chatbot of documentanalyse-systeem dat duizenden verzoeken per dag verwerkt, loopt die rekening sneller op dan de meeste bedrijven vooraf inschatten. Een eigen server heeft een vaste kostprijs, ongeacht hoeveel je het model laat draaien. De derde reden is het ontbreken van vendor lock-in: je bepaalt zelf wanneer je een model vervangt, kunt het fine-tunen op je eigen data, en bent nooit afhankelijk van een aanbieder die morgen zijn prijzen verdubbelt of een model met pensioen stuurt.
De Beste Open Source Modellen per Categorie
Dit landschap verandert bijna maandelijks, dus behandel onderstaand overzicht als een momentopname van medio 2026, niet als een blijvende rangschikking. Controleer bij een daadwerkelijke keuze altijd de meest recente benchmarks, want de volgorde tussen deze modellen schuift regelmatig.
| Model | Beste voor | Hardware-indicatie | Licentie | Context window |
|---|---|---|---|---|
| Qwen3 (Alibaba) | Allround, RAG en meertalige toepassingen | 16 – 24 GB VRAM (27B – 30B) | Apache 2.0 | 256K – 1M tokens |
| GLM-5.1 (Zhipu) | Complex redeneren en coding agents | Server-schaal of gekwantiseerd | MIT | Tot 1M tokens |
| DeepSeek V4 (Flash/Pro) | Lange documentanalyse en wiskunde | Multi-GPU / server | MIT | 1M tokens |
| Gemma 4 (Google) | Laptops en edge-apparaten | 8 – 12 GB VRAM (3B – 14B) | Google Gemma-licentie | 128K tokens |
| Mistral Large 3 / Small 4 | Europese, meertalige inzet met dataresidentie in de EU | 24 – 48 GB VRAM | Apache 2.0 | 128K – 1M tokens |
Qwen3 is voor de meeste MKB-toepassingen het verstandigste startpunt, simpelweg omdat de Apache 2.0-licentie volledig commercieel gebruik zonder beperkingen toestaat en het model sterk presteert op zowel Nederlandse als Engelse tekst. GLM-5.1 en DeepSeek V4 richten zich meer op zware taken zoals geautomatiseerd programmeren of het doorzoeken van duizenden pagina’s aan documentatie, en vragen daarmee ook zwaardere hardware. Gemma blijft de voor de hand liggende keuze zodra je een model wilt draaien op een laptop of een klein, lokaal apparaat zonder dedicated serverruimte. Mistral verdient een aparte vermelding voor Europese bedrijven: het model is ontwikkeld in Frankrijk, wat in de praktijk betekent dat dataresidentie binnen de EU eenvoudiger te regelen is dan bij een Amerikaans of Chinees alternatief, een detail dat voor AVG-gevoelige toepassingen net de doorslag kan geven.
Welk Model Past bij Jouw Hardware?
De belangrijkste praktische vraag is niet welk model het beste scoort op een benchmark, maar welk model daadwerkelijk op jouw hardware past. Op een laptop of standalone pc met acht tot twaalf gigabyte aan videogeheugen kom je uit bij gekwantiseerde modellen van rond de acht miljard parameters, zoals Gemma of de kleinere Qwen3-varianten, gedraaid via Ollama of Llama.cpp. Een workstation of losse GPU met zestien tot vierentwintig gigabyte videogeheugen opent de deur naar de dertig-miljard-parameter-varianten van Qwen3 op vier-bit-precisie, een niveau waarop je al serieuze RAG-toepassingen en documentanalyse kunt draaien. Pas bij een cloud-omgeving of dedicated server met achtenveertig gigabyte of meer videogeheugen kom je bij de volledige, ongekwantiseerde server-modellen terecht, geschikt voor multi-agent workflows en de zwaarste redeneertaken.
Joris begon zelf op een enkele workstation met vierentwintig gigabyte videogeheugen, testte daar een gekwantiseerde Qwen3-variant, en stapte pas over naar een dedicated server zodra bleek dat het gebruik binnen het bedrijf structureel toenam. Die volgorde, eerst klein en gekwantiseerd testen, is verstandiger dan direct in dure serverhardware investeren voordat je weet of het model daadwerkelijk aan de behoefte voldoet.
Zelf een Open Source AI-Model Lokaal Draaien
Je begint met het installeren van Ollama of LM Studio, twee tools die het draaien van een lokaal model reduceren tot een paar simpele commando’s in plaats van een complexe installatie. Zodra Ollama draait, download je het gewenste model direct via de terminal:
ollama run qwen3
Dat ene commando downloadt het model bij de eerste keer uitvoeren automatisch, en start daarna een interactieve sessie waarin je direct vragen kunt stellen. Voor integratie in je eigen applicaties, n8n-workflows of een RAG-systeem koppel je de lokale API aan je software via een OpenAI-compatibel endpoint, wat betekent dat bestaande code die voor de OpenAI-API is geschreven, met een kleine aanpassing van de endpoint-URL ook op je eigen, lokale model werkt. Wie deze opzet wil combineren met een klantenservice-chatbot die volledig op de eigen infrastructuur draait, vindt de bredere uitleg over privacy-first architecturen in ons artikel over AI chatbot bouwen voor kleine bedrijven.
De Juridische Valkuil: Open Weights is Niet Hetzelfde als Open Source
Dit is het onderdeel waar de meeste vergelijkingsartikelen slordig mee omgaan, en het is precies waar Joris zelf bijna een verkeerde keuze maakte. Een model is pas echt “open source” in de strikte zin wanneer het voldoet aan de definitie van de Open Source Initiative: niet alleen de gewichten, maar ook de trainingscode en idealiter de trainingsdata zijn vrij beschikbaar. De meeste modellen die in de praktijk “open source LLM” worden genoemd, zijn eigenlijk open-weight: je kunt de gewichten downloaden en gebruiken, maar de volledige trainingspijplijn blijft achter gesloten deuren.
Dat onderscheid heeft directe juridische gevolgen. Meta’s Llama-licentie bijvoorbeeld oogt op het eerste gezicht permissief, maar bevat een gebruikslimiet van zevenhonderd miljoen actieve gebruikers per maand voordat een aparte licentie vereist is, plus specifieke beperkingen voor bedrijven die binnen de EU zijn gevestigd. Google’s Gemma-modellen vallen onder Google’s eigen gebruiksvoorwaarden, die weliswaar commercieel gebruik toestaan maar niet formeel zijn goedgekeurd door de Open Source Initiative. Wil je zekerheid over onbeperkt commercieel gebruik, inclusief fine-tuning en hosting als eigen dienst, kies dan voor modellen onder een Apache 2.0- of MIT-licentie, zoals Qwen3, DeepSeek en GLM-5.1, en controleer bij elk ander model altijd de exacte licentievoorwaarden op de modelpagina zelf voordat je in productie gaat.
Open Source en de EU AI Act: Wat Verandert er voor Jouw Bedrijf?
Hier zit een nuance die de meeste artikelen over open source AI volledig missen, en die precies aansluit op de bredere Europese regelgeving die we eerder behandelden. Artikel 53 lid 2 van de AI-verordening geeft aanbieders van modellen onder een vrije en open licentie een gedeeltelijke vrijstelling: ze hoeven niet de volledige technische documentatie en het downstream-informatiepakket te leveren die voor gesloten modellen wel verplicht zijn. Twee verplichtingen blijven echter altijd bestaan, ook voor open modellen: een auteursrechtbeleid voeren en een samenvatting van de trainingsdata publiceren. En zodra een model boven de systeemrisicodrempel van tien tot de vijfentwintigste macht aan rekenkracht uitkomt, vervalt de vrijstelling volledig.
Het belangrijkste detail, dat vrijwel elk artikel over dit onderwerp verkeerd framet, is dat deze vrijstelling geldt voor de modelmaker, niet voor jouw bedrijf. Zet je Qwen3 of Llama in voor een specifieke toepassing binnen je organisatie, dan word je zelf “deployer” van een AI-systeem, en de risicocategorie van dat systeem wordt bepaald door de toepassing, niet door het feit dat het onderliggende model open source is. Gebruik je een open model voor een simpele interne chatbot, dan blijft dat doorgaans laag risico. Zet je datzelfde model in voor cv-screening of een kredietbeoordeling, dan geldt de volledige hoog-risico-verplichting, ongeacht de licentie van het model. Wie deze bredere classificatie wil begrijpen, inclusief de recente vertraging van de hoog-risico-deadline naar december 2027, vindt de volledige uitleg in ons artikel over de EU AI Act voor MKB.
Veelgestelde Vragen
Zijn open source AI-modellen net zo goed als ChatGPT? Voor de meeste standaardtaken, zoals tekst schrijven, samenvatten en programmeren, is de kloof dit jaar vrijwel verdwenen, met modellen als GLM-5.1 die op coding-benchmarks al dicht bij de duurdere gesloten modellen komen. Voor de allerzwaarste redeneertaken en multimodale toepassingen behouden gesloten frontier-modellen doorgaans nog een lichte voorsprong.
Is het draaien van een lokaal AI-model AVG-proof? Het draaien van het model zelf op je eigen servers is een sterke stap richting AVG-compliance, omdat data het eigen netwerk niet verlaat. Volledige naleving hangt echter ook af van hoe je de data daaromheen verwerkt, bewaart en beveiligt, dus een lokaal model is een noodzakelijke stap, geen automatische garantie.
Wat kost het om een lokaal AI-model dedicated te hosten? Dat hangt sterk af van de modelgrootte: een kleiner, gekwantiseerd model draait al op een workstation van een paar duizend euro, terwijl een volledig server-schaal model al snel een investering van tienduizenden euro’s aan GPU-hardware vraagt, of een doorlopend maandbedrag bij een cloud-provider die GPU-capaciteit verhuurt.
Die eerste onverwacht hoge API-rekening, die Joris ooit deed besluiten zich in open source AI te verdiepen, dat is waar dit verhaal begon, en het is precies het moment dat zijn bedrijf niet meer meemaakt. Zijn servers draaien nog altijd dezelfde modellen die iedereen kan downloaden. Het verschil is dat hij nu precies weet waar zijn data blijft, en wat het hem elke maand daadwerkelijk kost.
