Quilyx

Digitale soevereiniteit

De AI die je in het stopcontact steekt. Wat lokale AI een opdrachtgever oplevert

Lokale AI is AI die je in het stopcontact steekt, bezit en beheert. Zo omschreef Alec Fong het op NVIDIA GTC in Berlijn. Fong leidt NVIDIA Brev en was medeoprichter en technisch directeur van Brev, dat NVIDIA in 2024 overnam. Zijn sessie heette Data Center Under Your Desk. Het datacenter van zijn team staat in zijn woonkamer.

In deze blog kijken we naar wat zijn team in huis draait en wat het naar de cloud brengt, wat dat oplevert, wat het kost en waar het nog schuurt, met de vragen die een opdrachtgever daarbij kan stellen.

Wat lokale AI is

Lokale AI draait op een apparaat dat van jou is. Dat kan een pc zijn waarop een model draait, een extra grafische kaart naast je eigen apparaat of een werkstation dat een heel team bedient.

Het team van Fong telt ongeveer twintig softwareontwikkelaars. Zij begonnen met twee kleine machines onder zijn bureau, van samen ongeveer tienduizend dollar. Daarna volgden twee werkstations met chips van datacenterklasse, achter zijn bank. Die bedienen nu het hele team.

Open modellen maken dit mogelijk. Dat zijn modellen die iedereen kan downloaden en zelf kan draaien. Volgens Fong lopen zij drie tot vijf maanden achter op de gesloten modellen van de grote AI-bedrijven, en dat verschil is opvallend constant gebleven. Omdat ze open zijn, worden ze ook aangepast aan kleinere machines. De prestaties op eigen apparatuur volgen de top dus met een paar maanden vertraging.

Het denkwerk in de cloud, de uitvoering in huis

Het team van Fong gebruikt beide. De modellen in de cloud doen het diepe denkwerk, zoals plannen en onderzoek. Lokale agents, programma's die zelfstandig taken uitvoeren, doen de uitvoering. Zij bouwen, testen en verbeteren. NVIDIA bracht een open hulpmiddel uit dat per taak kiest welk model het werk doet.

Die verdeling brengt privacy met zich mee. De lokale agents werken met de gevoelige gegevens, dus de modellen in de cloud hebben die gegevens niet nodig.

Fong houdt productielogboeken, waarin gevoelige gegevens van klanten kunnen staan, liever binnen als er een fout moet worden opgespoord. Op zijn eigen apparatuur doet een agent dat werk. Op zijn dia stond meer werk van deze soort.

  • fouten opsporen in logboeken met klantgegevens
  • problemen van klanten naspelen op basis van vertrouwelijke gesprekken met de klantenservice
  • belastingaangiften, bankafschriften en paspoortscans analyseren
  • juridische stukken opstellen op basis van vertrouwelijke correspondentie

Sinds eind juli draait een deel van het werk van het team op lokale modellen. Dat aandeel is nu ongeveer een vijfde, en Fong verwacht dat het de komende maanden sterk groeit.

Voor een opdrachtgever is de vraag welk werk binnen moet blijven en welk werk naar een externe dienst mag.

Wat het oplevert

Fong noemde de voordelen van eigen apparatuur.

  • Privacy. Wie de hardware en het model beheert, heeft een eenvoudige beveiligingsgrens. De gegevens blijven binnen.
  • Beschikbaarheid. Het model draait op een eigen apparaat en werkt door als het internet uitvalt.
  • Snelheid. Het model staat dicht bij het werk. Voor een robot is een vertraging over duizenden kilometers te veel.
  • Rust over de rekening. Wie de hardware bezit, heeft in feite onbeperkt gebruik. Bij een externe dienst telt elke vraag mee op de factuur.
  • Zekerheid over de dienst. De maker van een gesloten model beheert de uitvoering en kan een gebruiker terugzetten naar een mindere dienst. Bij kritiek beveiligingswerk, waar minuten tellen, is dat een risico.

Met de lokale modellen erbij rondde het team meer af dan het anders had gekund, waaronder de vervanging van een database en een nieuw onderdeel van het product.

Omdat de hardware al betaald is, kan er werk bij dat eerder te duur was. Een agent zoekt de klok rond naar inbraken en zwakke plekken. Volgens Fong verschuift de vraag in het team van wat AI kost naar wat het team ermee kan doen.

Wat het kost

Wie eigen apparatuur koopt, investeert vooraf en bespaart daarna op het gebruik van externe diensten. Daarbovenop komt wat Fong de soevereiniteitspremie noemde. Dat is wat je betaalt voor privacy, betrouwbaarheid en snelheid, ook zolang de investering zich nog moet terugverdienen.

Dit zijn de bedragen die Fong liet zien.

| Post | Bedrag | |---|---| | één kleine machine | vanaf ongeveer 5.000 dollar | | twee werkstations, zoals bij zijn team | ongeveer 200.000 dollar | | extra stroom en koeling bij hem thuis | ongeveer 500 dollar per maand | | besparing tegenover dezelfde open modellen bij een aanbieder | ongeveer 11.000 dollar per maand | | terugverdientijd van de werkstations | ongeveer anderhalf jaar |

Komt hetzelfde gebruik in de plaats van gesloten modellen, dan schat Fong de besparing op ongeveer 100.000 dollar per maand.

De besparing gaat uit van machines die bijna de hele dag bezet zijn, en dat noemde Fong hoog. De afschrijving van de hardware is buiten de som gelaten, en de levensduur is lastig te schatten. Wel ziet hij dat oudere grafische kaarten hun waarde langer houden dan verwacht, omdat nieuwe modellen steeds beter draaien op bestaande hardware.

De vraag voor een opdrachtgever is of deze posten in de businesscase staan, met de soevereiniteitspremie als eigen regel. Hardware is een investering met een terugverdientijd, waar een abonnement een maandelijkse rekening is.

Waar het nog schuurt

Het beheer van eigen machines is jong. Fong zei dat er nog veel scherpe randen aan zitten en dat het hem meer werk kostte dan hij had verwacht. Een agent die de machines bijwerkt en actueel houdt, neemt een deel van dat werk over.

Ook de capaciteit is lastig te plannen. Eén gebruiker kan nu dertig agents tegelijk starten, dus het aantal gebruikers zegt weinig over de belasting. Volgens Fong passen er toch meer mensen op dezelfde machine dan je zou denken, omdat collega's zelden op hetzelfde moment de volle kracht vragen.

Begin dit jaar was de keuze volgens Fong een agent alles laten doen zonder toezicht of elke handeling zelf goedkeuren. Zijn team draait agents nu in een afgeschermde omgeving, met vooraf vastgelegd beleid voor de bestanden, programma's en websites waar een agent bij mag.

De vraag voor een opdrachtgever is hier wie de machine beheert, en of die kennis in huis is.

Hetzelfde aan het bureau van een ingenieur

Een tweede sessie, die wij achteraf hebben doorgenomen, liet zien wat een machine aan het bureau in een industrieel bedrijf doet. Richard Borge leidt bij Baker Hughes, een bedrijf in energietechnologie, een team voor AI en versneld rekenen. In The Deskside Advantage, een sessie van Dell, sprak hij over het ontwerpen van compressoren.

Een stromingssimulatie van één ontwerpvariant duurt daar twaalf uur, en een nieuw ontwerp kan duizenden varianten vragen. Het team van Borge bouwde een AI-model dat de uitkomst van zo'n simulatie voorspelt in een tiende van een seconde. Het model is getraind op 52 simulaties. Op drie ontwerpen die nieuw waren voor het model, haalde het een mediane nauwkeurigheid van 99,5 procent. De simulatie houdt het laatste woord over het ontwerp dat wordt gekozen.

Het volledige model past op een werkstation van Dell. Volgens Dell draait alles op het eigen terrein van het bedrijf en onder eigen beheer. Borge noemde het onderzoek nog vroeg.

Wat dit betekent voor een AI-strategie

Waar AI draait, is een strategische keuze. Die keuze bepaalt wat een organisatie bezit en wat zij huurt, en raakt besturing, data, mensen en leveranciers. Een AI-strategie beantwoordt de vragen uit deze blog. Wat blijft binnen, draagt de businesscase de soevereiniteitspremie en wie beheert de machines.

Quilyx adviseert over AI-strategie en brengt AI-ambities van de bestuurskamer naar werkend resultaat. Soevereine AI is ons uitgangspunt, want gevoelige gegevens horen op eigen hardware, onder eigen beheer. Waar een gehoste dienst volstaat, zeggen wij dat ook. Wij adviseren vanuit onze eigen praktijk, omdat wij zelf AI-systemen bouwen en draaien, op eigen hardware in Nederland.

Het gebruik van AI in het team van Fong ging van 2,6 miljard tokens per maand in januari naar ruim 47 miljard in september. Tokens zijn de stukjes tekst waarin het gebruik van AI wordt geteld. De lokale modellen kwamen daar eind juli bij, en hun aandeel groeit sindsdien elke maand. De beweging is dus jong. Wie nu begint, loopt in onze ogen voorop.

Over dit artikel: Dit artikel is onze eigen lezing van twee sessies op NVIDIA GTC Berlin van oktober 2026, Data Center Under Your Desk en The Deskside Advantage. De ideeën uit die sessies zijn van de sprekers en zijn als zodanig benoemd. De vertaling naar opdrachtgevers, de standpunten en de keuzes in dit artikel zijn van ons. Wij schreven en redigeerden het samen met AI, die hielp bij het uitzoeken, het uitwerken en het formuleren. Quilyx draagt de redactionele verantwoordelijkheid.

Wilt u iets?

Vertel ons wat u wilt bereiken. Wij helpen het helder te maken en brengen het tot werkend resultaat.

info@quilyx.com of +31 30 401 0422