Un guide technique complet pour exécuter des LLMs de pointe en local, avec détails matériels, configurations et benchmarks. Couvre deux budgets : ~2k$ avec 2x RTX 3090 (48GB VRAM) pour faire tourner Qwen3.6-27B, et ~40k$ avec 4x RTX Pro 6000 Blackwell (384GB VRAM total) pour atteindre un niveau proche de Claude Opus. Inclut des configs Docker prêtes à l’emploi, la gestion des switches PCIe Gen4 pour la communication P2P entre GPU, et une stack whisper-large-v3 pour la transcription locale.

Commentaires

Vous devez vous inscrire ou vous connecter pour poster un commentaire