Lokale taalmodellen voor collega's, met een poort die bepaalt wat het pand verlaat Local language models for colleagues, with a gate that decides what leaves the building
In het lab werkt dit al: privé- en projectstukken leest een lokaal model, de rest gaat naar het slimste cloudmodel. Met een paar aanpassingen kan dezelfde opzet op het werk draaien, op een eigen server of tijdelijk op Nebius. In the lab this already works: private and project documents are read by a local model, everything else goes to the strongest cloud model. With a few changes the same setup can run at work, on an in-house server or temporarily on Nebius.
Waarom het overdraagbaar isWhy it transfers
- Het harnas doet het werk, niet de modelgrootte. Een stappenlijst die het contract veld voor veld afloopt, bracht Gemma 4 12B van 87 naar 107 goede oordelen op 108, en de gevaarlijke fouten (PASS waar REVIEW of FAIL hoort) van 16 naar 0. The harness does the work, not the model size. A step list that walks the contract field by field took Gemma 4 12B from 87 to 107 correct judgements out of 108, and dangerous errors (PASS where REVIEW or FAIL belongs) from 16 to 0.
- Waar het model draait maakt niet uit. Zelfde modelbestand op de desktop en op een Nebius-VM: 474 van 474 keer dezelfde keuze met identieke kansen. Where the model runs does not matter. Same model file on the desktop and on a Nebius VM: 474 of 474 identical choices with identical probabilities.
- De poort heeft geen GPU nodig. Hij werkt met een projectregister, patronen, RD-coördinaten en BAG-id's en draait op elke laptop op de CPU. The gate needs no GPU. It works from a project register, patterns, Dutch RD coordinates and BAG ids, and runs on any laptop CPU.
| Model (lokaal, desktop)Model (local, desktop) | Oordelen /108Judgements /108 | GevaarlijkDangerous | Kolomrollen /58Column roles /58 | VRAM |
|---|---|---|---|---|
| Qwen3.8-27B Q4 | 108 | 0 | 54 | ~23 GB |
| Gemma 4 12B Q4 + harnasharness | 107 | 0 | 48 | 8,3 GiB |
| Gemma 4 12B zonder harnaswithout harness | 87 | 16 | 42 | 8,3 GiB |
| Bonsai 2 27B ternair + harnasternary + harness | 100 | 4 | – | 7,2 GB |
| Qwen3.5-9B Q6 + harnasharness | 75 | 1 | – | 7,5 GB |
De opzet: één adres, de poort beslistThe design: one address, the gate decides
Collega's kiezen zelf geen model. Hun chatprogramma of editor praat met één OpenAI-compatibel adres. De poort daarachter deelt elk verzoek in drie kleuren in. Het mechanisme beslist, niet de discipline van de gebruiker. Colleagues do not choose a model. Their chat app or editor talks to one OpenAI-compatible address. The gate behind it sorts each request into three colours. The mechanism decides, not the user's discipline.
| KleurColour | WatWhat | WaarheenWhere to |
|---|---|---|
| RoodRed | ruwe projectstukken, klant- en persoonsgegevensraw project documents, client and personal data | alleen het lokale model (werkserver)local model only (work server) |
| OranjeOrange | projectwerk na pseudonimisering; de vertaaltabel blijft binnenproject work after pseudonymisation; the mapping table stays inside | slim cloudmodel, antwoord lokaal teruggezetstrong cloud model, answer mapped back locally |
| GroenGreen | generieke engineering, normen, codegeneric engineering, standards, code | beste cloudmodelbest cloud model |
Waar het model draaitWhere the model runs
1 · Server op het werk (kern)Server at work (core)
Eén kaart met de 27B plus Gemma 12B bedient meerdere mensen tegelijk. Op Nebius gaf geheugenfractie 0,60 ruimte aan 6 gelijktijdige gebruikers, bij 0,80 waren dat er 13. Data blijft in het pand, er draait één versie, IT kan het beheren en het logt centraal. One card with the 27B plus Gemma 12B serves several people at once. On Nebius memory fraction 0.60 allowed 6 concurrent users, 0.80 allowed 13. Data stays in the building, one version runs, IT can manage it and logging is central.
2 · Nebius (proef en piekenpilot and peaks)
Geschikt zolang er geen server staat. Voorwaarde: een verwerkersovereenkomst en akkoord van de functionaris gegevensbescherming. Dat besluit ligt bij de werkgever. Suitable while there is no server. Condition: a data processing agreement and sign-off from the data protection officer. That decision belongs to the employer.
3 · Laptops: de poort, niet het breinLaptops: the gate, not the brain
Gemma 12B (8,3 GiB) past krap of niet op een kaart van 8 GB zodra er context bij komt; de kleinere modellen vielen af (75/108, of 4 gevaarlijke fouten). Wel nuttig: op de laptop pseudonimiseren, zodat de vertaaltabel de laptop nooit verlaat. Een laptopmodel alleen voor eenvoudig volumewerk zoals samenvatten. Gemma 12B (8.3 GiB) fits tightly or not at all on an 8 GB card once context is added; the smaller models dropped out (75/108, or 4 dangerous errors). Useful instead: pseudonymise on the laptop so the mapping table never leaves it. A laptop model only for simple volume work such as summarising.
Wat er moet veranderen voor collega'sWhat must change for colleagues
- Het register vult zich zelf. Nu wordt het projectregister met de hand bijgehouden. De poort vangt alleen wat erin staat, dus het moet bij projectstart automatisch gevuld worden uit de projectadministratie (projectnummer, klant, adres, BAG). The register fills itself. Today the project register is maintained by hand. The gate only catches what is in it, so it must be filled automatically at project start from project administration (project number, client, address, BAG).
- Een tweede vangnet voor wat niet in het register staat, zoals een prijs of een naam in een mail: het lokale model leest elk oranje pakket vóór verzending, bij twijfel blijft het rood. A second net for what is not in the register, such as a price or a name in an email: the local model reads every orange package before it is sent; when in doubt it stays red.
- Een gewone interface die zichtbaar maakt waar elk bericht heen ging: "lokaal" of "gepseudonimiseerd naar X". Geen opdrachtregel. An ordinary interface that shows where each message went: "local" or "pseudonymised to X". No command line.
- Eigen toetsen voor hun werk. De labtoetsen gaan over labtaken. Collega's doen rapporten, mail en normen opzoeken: 30 tot 50 echte taken, gescoord tegen het grote model. Their own tests. The lab tests cover lab tasks. Colleagues write reports, handle mail and look up standards: 30 to 50 real tasks, scored against the large model.
- Een aanvallertoets per project. Een pakket gaat pas de deur uit als het lokale model het project er niet uit kan raden. Pseudoniemen zijn geen anonimisering: gebouwen zijn soms terug te vinden aan de vorm van het grondvlak in 3DBAG; daarvoor verplaatst de poort ook de geometrie. An attacker test per project. A package leaves only if the local model cannot guess the project from it. Pseudonyms are not anonymisation: buildings can sometimes be found from their footprint shape in 3DBAG; for that the gate also shifts the geometry.
Eerlijke grenzenHonest limits
- Een klein model vervangt het slimme cloudmodel niet bij moeilijk redeneerwerk. De winst van de poort is dat de meeste vragen na pseudonimisering tóch naar het slimme model kunnen. A small model does not replace the strong cloud model for hard reasoning. The gain of the gate is that most questions can still go to the strong model after pseudonymisation.
- IT en de functionaris gegevensbescherming horen er vanaf de eerste dag bij; anders wordt het schaduw-IT met één persoon als helpdesk. IT and the data protection officer belong in from day one; otherwise it becomes shadow IT with one person as helpdesk.
Kleinste proefSmallest pilot
Drie tot vijf collega's, twee weken, één of twee soorten taken, op een werkserver of op Nebius na akkoord. Gaat het om stukken van één bekend project, dan kan het register in het begin met de hand; gaat het breder, dan eerst de automatische registervulling bouwen. Three to five colleagues, two weeks, one or two task types, on a work server or on Nebius after sign-off. For documents from one known project the register can start by hand; for anything broader, build automatic register filling first.
| # | SuccescriteriumSuccess criterion | Hoe gemetenHow measured |
|---|---|---|
| 1 | nul lekkenzero leaks | aanvallertoets op elk oranje pakketattacker test on every orange package |
| 2 | rode vragen goed lokaal afgehandeld (drempel vooraf vast te stellen)red questions handled well locally (threshold set beforehand) | 30–50 echte taken, gescoord tegen de 27B30–50 real tasks, scored against the 27B |
| 3 | collega's blijven het gebruiken na week ééncolleagues keep using it after week one | gebruikslog per dagdaily usage log |
Wat we hiermee doenWhat we do with this
- Voorstel bespreken met leidinggevende en IT: server op het werk of eerst Nebius-proef (verwerkersovereenkomst). Discuss with manager and IT: server at work or a Nebius pilot first (data processing agreement).
- In het lab: de poort als één OpenAI-compatibel adres verpakken, met de kleurmelding per bericht. In the lab: package the gate as one OpenAI-compatible address, with the colour shown per message.
- Met twee of drie collega's 30 tot 50 echte taken verzamelen als toetsset. Collect 30 to 50 real tasks with two or three colleagues as the test set.
- Pas na akkoord: de proef van twee weken, oordelen op de drie criteria. Only after sign-off: the two-week pilot, judged on the three criteria.