Primo modello live: Qwen 2.5 7B sui Mac mini
Slow tier inaugurato con due Mac mini M2 Pro 16 GB che servono Qwen 2.5 7B Instruct via Ollama. Abbastanza per chat leggera multilingua e batch jobs a basso costo.
Il primo modello live su siati.ai è qwen2.5:7b-instruct-q4_K_M servito da una piccola flotta di Mac mini M2 Pro (16 GB) via Ollama. Sembra una scelta strana per una infrastruttura "sovrana", ma ha senso operativo: gli Apple Silicon sono i migliori chip per inferenza LLM in termini di tokens/Watt, ed esistono in Svizzera in quantità illimitate.
Setup. Due Mac mini, ciascuno con Ollama in LaunchDaemon system-wide (parte al boot, no GUI session richiesta). KEEP_ALIVE=24h per tenere il modello caldo, NUM_PARALLEL=4 per servire 4 richieste concorrenti per nodo. p95 latency intorno ai 600 ms su prompt da 1K token.
Round-robin nel backend siati. Il Registry Python che mappa modelli → backend ha dedup logic: quando vede ollama-207 e ollama-213 entrambi che servono lo stesso qwen2.5:7b, presenta una sola voce in /v1/models e alterna le richieste fra i due nodi. Counter persistente fra refresh cache.
Slow tier. Pricing 0.40 CHF / 1M token output, incluso nei piani Free (100K/giorno) e Pro/Max. Use case ideale: chat leggera, summarization, classification, bulk extraction in batch.
Limiti. L'unified memory non basta per modelli sopra i 14B (per quelli usiamo le RTX 5090, gli L40S e i Blackwell). Niente tensor parallelism — ogni nodo serve un modello stand-alone. Ollama non espone metriche Prometheus native — abbiamo aggiunto un piccolo exporter laterale.
Marco ha "una ventina" di Mac mini in coda da provisionare con lo stesso flow. Lo slow tier può scalare orizzontalmente di parecchio prima che la latenza p95 inizi a soffrire.