Llama 3.1 405B in produzione su Blackwell B6000-Pro
Il modello frontier-class open più grande oggi disponibile gira sulle nostre quattro GPU Blackwell server-grade. Disponibile via API con slug siati/llama-3.1-405b sul tier fast.
Llama 3.1 405B è il modello open-weight più grande in circolazione, e da oggi è servito da siati.ai sotto il tier fast con priority queue. Compute: quattro NVIDIA Blackwell RTX PRO 6000 Server (96 GB ciascuna) configurate in tensor parallel, quantizzazione INT4 W4A16, fabric NVLink di quinta generazione.
Latency. Prima parola sotto i 600 ms con prompt fino a 8K token; throughput stabile sopra i 30 token/s in streaming. Numero non da paura per chi viene da GPT-4o, ma è fatto su un modello dai pesi pubblici, ispezionabili, su hardware fisicamente in Svizzera.
Perché un 405B "sovrano". Il 90% delle chiamate in produzione gira benissimo su modelli da 24-72B, che restano la nostra raccomandazione di default. Il 405B serve quando il task richiede ragionamento composito, citazioni accurate su lunghi contesti, o multilingua di alto livello — i casi in cui un downgrade del modello rovinerebbe l'output. Non vogliamo che chi serve clienti enterprise si trovi a dipendere da OpenAI per quei casi specifici.
Come usarlo. Slug API: siati/llama-3.1-405b. Drop-in per gpt-4o sui workload alta-qualità.