Draai je eigen AI lokaal op een Mac mini (met Ollama)

Gids · Lokale AI · Mac mini Draai je eigen AI lokaal op een Mac mini Een Mac mini (M1 en nieuwer) is een verrassend goede, stille en zuinige AI-machine. Zo draai je krachtige taalmodellen volledig lokaal en privé met Ollama. Je hoeft niet naar de cloud voor slimme AI. Een gewone Mac mini met Apple Silicon draait grote taalmodellen (LLM's) verrassend vlot, volledig offline en zonder abonnement. Alles blijft op je eigen apparaat, dus je data gaat nergens heen. In deze gids lees je waarom de Mac mini hier zo geschikt voor is, hoe je begint met Ollama, en welk model bij jouw geheugen past. Waarom juist een Mac mini? Het geheim zit in het unified memory van Apple Silicon. Anders dan bij een pc met losse videokaart delen de CPU en GPU hetzelfde geheugen. Dat betekent dat de GPU bij een taalmodel het volledige RAM kan gebruiken, waar een losse videokaart vastzit aan zijn eigen (vaak beperkte) VRAM. Een Mac mini met 32 GB kan daardoor modellen draaien waar je op een pc een dure videokaart met veel VRAM voor nodig hebt. Daar komt bij: de Mac mini is klein, muisstil en zuinig. Hij verstookt onder AI-belasting een fractie van wat een gaming-pc doet, en je kunt hem gewoon als een always-on AI-servertje in een hoekje zetten. Welke Mac mini heb je nodig? De chip (M1, M2 of M4) bepaalt vooral de snelheid; het werkgeheugen bepaalt hoe groot het model mag zijn. Dat is de belangrijkste keuze. Vuistregel: hoe meer RAM, hoe groter en slimmer het model dat je kunt draaien, en hoe langer de context. 8 GB (instap M1/M2): prima voor kleine, snelle modellen tot ongeveer 3 miljard parameters. 16 GB (M1/M2/M4): de sweet spot voor de meeste mensen. Modellen van 7 tot 9 miljard parameters draaien hier soepel. 24 tot 32 GB (M2 Pro / M4 / M4 Pro): nu komen modellen van 14 tot 32 miljard parameters in beeld. 48 tot 64 GB (M4 Pro): hiermee draai je zelfs de grote 70B-modellen, of kleinere modellen met een enorme context. Laat altijd wat geheugen over voor macOS zelf (reken op zo'n 4 tot 6 GB). Welk model past bij jouw Mac mini? Kies je werkgeheugen en zie welke modellen vlot draaien. Aan de slag met Ollama Ollama is de makkelijkste manier om lokaal een taalmodel te draaien. Het is gratis, open source en speciaal geoptimaliseerd voor Apple Silicon (het gebruikt de GPU via Metal). Installeren gaat zo: Download de app op ollama.com (of installeer via Homebrew met brew install ollama). Open een Terminal en start meteen een model, bijvoorbeeld: ollama run llama3.2 De eerste keer wordt het model gedownload; daarna praat je er direct mee in de Terminal. Een paar handige commando's: ollama pull qwen2.5 # model ophalen ollama list # geinstalleerde modellen ollama run gemma2 "Vat samen: ..." # eenmalige vraag Onder water draait Ollama ook een API op http://localhost:11434, zodat je het aan je eigen scripts of apps kunt koppelen. Liever een venster in plaats van de Terminal? Installeer LM Studio (grafische app, ook Apple Silicon-geoptimaliseerd) of zet Open WebUI ernaast voor een ChatGPT-achtige chatinterface in je browser, gekoppeld aan je lokale Ollama. Modellen vergeleken ModelGrootteGeheugen (Q4)Goed vanafSterk in Llama 3.2 3B3B~2 GB8 GBSnel, alledaagse taken Gemma 2 2B2B~2 GB8 GBCompact, samenvatten Mistral 7B7B~5 GB16 GBAllrounder Llama 3.1 8B8B~5 GB16 GBBreed inzetbaar Qwen 2.5 7B7B~5 GB16 GBCode en talen Gemma 2 9B9B~6 GB16 GBKwaliteit per GB Qwen 2.5 14B14B~9 GB24 GBRedeneren, code Gemma 2 27B27B~17 GB32 GBSterke kwaliteit Qwen 2.5 32B32B~20 GB32 GBBijna high-end Llama 3.3 70B70B~42 GB64 GBTop, dicht bij de cloud Geheugengebruik is indicatief, gebaseerd op Q4-quantisatie; werkelijke waarden verschillen per model en contextlengte. Wat is quantisatie? Modellen worden standaard in hoge precisie opgeslagen, wat veel geheugen kost. Met quantisatie worden de getallen compacter opgeslagen (bijvoorbeeld Q4), waardoor een model twee tot vier keer kleiner wordt met maar een klein kwaliteitsverlies. Ollama gebruikt standaard een prima gequantiseerde versie, dus daar hoef je meestal niets voor te doen. Wil je maximale kwaliteit en heb je RAM over, kies dan een Q6- of Q8-variant; wil je juist een groter model persen, ga dan naar Q4 of lager. Hoe snel is het? Een M1 draait 7- tot 8B-modellen prettig leesbaar (sneller dan je kunt lezen). De M4 en zeker de M4 Pro zijn hier een flink stuk sneller door hun snellere GPU en hogere geheugenbandbreedte, wat vooral merkbaar is bij grotere modellen en lange antwoorden. Voor de meeste tekst-taken voelt zelfs een instap-Mac mini al vlot; pas bij de zwaarste modellen ga je op de instapmodellen echt op de rem staan. Waar gebruik je het voor? Privacy-gevoelig werk: samenvatten, herschrijven en analyseren van documenten die de deur niet uit mogen. Programmeerhulp: een lokale coding-assistent (bijvoorbeeld met Qwen 2.5 Coder) in je editor. Altijd beschikbaar: geen internet nodig en geen kosten per vraag. Eigen chatbot of RAG: koppel de API aan je eigen notities of kennisbank. Conclusie Een Mac mini is een van de fijnste manieren om serieus met lokale AI te beginnen: klein, stil, zuinig en dankzij unified memory verrassend capabel. Begin met 16 GB en een 8B-model, en je hebt al een prive-assistent die nergens op wacht. Wil je de grote modellen, dan schaal je simpelweg mee met het geheugen. Let op: geheugenwaarden en modelnamen zijn indicatief en veranderen snel; check de actuele modellen op ollama.com. Productfoto van de Mac mini via Apple, gebruikt ter illustratie.

Draai je eigen AI lokaal op een Mac mini (met Ollama)

Reacties 0

Meer tech artikelen

Photon Studio: de gratis Photoshop-vervanger die met AI is gebouwd

AI bouwt AI: Claude leidt nu een kwart van het onderzoek bij Anthropic

Switch 2 haalt de achterstand in: VRR komt eindelijk naar de tv