Les LLM comme Mistral fonctionnent-ils en local ?

09 Tem 19:35

Avant de rejoindre une équipe full-remote il y a un an, je testais déjà mes petites IA locales pour des taches de développement au quotidien. Mon setup ? Un i7-12700K + 32 Go de RAM + RTX 3080 (un monstre de 2021 qui coûte encore un bras en occasion). Au début, j’ai cru que je pouvais me passer du GPU pour Mistral 7B – erreur, même les modèles "light" comme 0.2B suffisaient pas à grand-chose en CPU seul. Le pire moment ? Quand j’ai voulu faire tourner Mixtral 8x7B en perplexité localement pour des benchmarks perso. La première tentative a chauffé mon salon plutôt que le modèle : 1h30 pour 500 tokens, et le GPU à 98°C. J’ai dû sous-échantillonner en 4-bit QLoRA, ce qui a réduit la précision mais rendu ça utilisable. Depuis, je garde un modèle 7B quantifié en 8Go sur mon portable pro (sans GPU dédié) pour les tests rapides, même si l’ouput est… créatif. Le compromis clé : qualité vs confort. En local, tu sacrifies la précision et la vitesse pour garder tes données perso, mais avec un GPU milieu de gamme tu gagnes en fluidité sans exploser ton budget. Perso, je me suis équipé après avoir saturé mon ancien PC en 10 min sur un simple test.