Faire tourner Qwen 3.8–27B en local avec Unsloth et DeepSeek Harness sur une RTX 3090 (24 Go) sous Windows 11.

Titre : Mise en place de Qwen 3.8–27B sur une RTX 3090 avec Unsloth et DeepSeek Harness

Introduction & Architecture Globale :

Les dernières avancées en matière de technologie permettent désormais de lancer un agent autonome d'ingénierie logicielle entièrement sur une machine locale, sans avoir à recourir à des services tiers. Cela est rendu possible grâce à la combinaison de DeepSeek Harness, Unsloth Engine et du modèle Qwen 3.8-27B en format quantification dynamique (UD-Q4_K_XL).

Pourquoi ce Setup ?

La carte NVIDIA RTX 3090 avec ses 24 Go de VRAM est idéale pour héberger des modèles de grande taille, allant de 27 à 32 milliards de paramètres. Le format de quantification choisi est crucial pour éviter la saturation de la mémoire et conserver suffisamment de contexte pour un développement efficace. Le format UD-Q4_K_XL de Unsloth Dynamic offre un bon équilibre entre précision et efficacité en termes de mémoire, permettant de conserver une fenêtre de contexte suffisante pour le développement (32k à 64k tokens).

Obtenir & Générer vos Clés d Accès :

Il existe deux types de clés pour accéder aux modèles optimisés ou authentifier les composants : la clé d'API Unsloth (préfixée par sk-unsloth-) et le token Hugging Face (préfixé par hf_). Ces clés doivent être entrées dans le fichier .env pour que tous les composants fonctionnent correctement.

Dépannage & Installation d Unsloth Studio :

Lors de l'installation d'Unsloth Studio sous Windows, certains utilisateurs rencontrent des erreurs liées aux permissions. Pour résoudre ce problème, il faut s'assurer d'avoir les droits nécessaires pour installer les fichiers et paramètres requis.