Qwen2.5 14B · bartowski GGUF
bartowski
Qwen2.5 · 14,7B
Conversion GGUF du modèle Alibaba Qwen2.5 14B Instruct, avec plusieurs quantifications. L’architecture utilisée pour l’estimation reste celle du modèle d’origine ; aucun gain de qualité n’est supposé.
Estimer la mémoire
Packages GGUF : vérifier le tag et la quantification réellement distribuée.
Batch 1 · Cache KV FP16 · Marge 15 %. Le format exact de quantification et le runtime peuvent faire varier le résultat. Le runtime conserve ici une hypothèse commune de 0,75 Gio.
À explorer pour…
Ces usages s’appuient sur les capacités annoncées. Ils ne constituent pas une évaluation comparative ni une garantie de résultat pour votre tâche.
Provenance
Fiche éditeur et config.json consultés le 06/10/2026. Paramètres arrondis selon la fiche éditeur. Catalogue initial manuel, sans synchronisation automatique.
Compatibilité agentique · avec quel harness ?
Chargement des notes…
Moyenne des dernières notes par membre. Ces retours ne remplacent pas une validation technique.
À vérifier · Aucun test de ce couple modèle / harness enregistré dans NVNC.
Connexion possible via l’API compatible Anthropic d’Ollama. Appels d’outils et contexte suffisants à vérifier pour chaque modèle.
DocumentationDérivé de Qwen2.5 14B · quantized. Les mesures de cette variante restent séparées de celles du modèle d’origine.
Matériel compatible · estimation et mesures réelles
Estimation mémoire : Q4_K_M · 4 096 tokens de contexte · 1 séquence. Aucun débit théorique calculé. Les benchmarks ci-dessous conservent leur configuration propre.
| Matériel | Estimation mémoire | Mesures réelles déclarées |
|---|---|---|
| Apple Silicon · 16 Go | 12,3 Gio / 12 Gio disponiblesMémoire insuffisante | Chargement… |
| Apple Silicon · 24 Go | 12,3 Gio / 20 Gio disponiblesCompatible en théorie | Chargement… |
| NVIDIA · 16 Go VRAM | 12,3 Gio / 15 Gio disponiblesCompatible en théorie | Chargement… |
| NVIDIA · 24 Go VRAM | 12,3 Gio / 23 Gio disponiblesCompatible en théorie | Chargement… |
| CPU · 32 Go RAM | 12,3 Gio / 28 Gio disponiblesCompatible en théorie | Chargement… |
| RTX 4060 · 8 Go VRAM | 12,3 Gio / 7 Gio disponiblesMémoire insuffisante | Chargement… |
| RTX 4060 Ti 8 Go · 8 Go VRAM | 12,3 Gio / 7 Gio disponiblesMémoire insuffisante | Chargement… |
| RTX 4060 Ti 16 Go · 16 Go VRAM | 12,3 Gio / 15 Gio disponiblesCompatible en théorie | Chargement… |
| RTX 4070 · 12 Go VRAM | 12,3 Gio / 11 Gio disponiblesMémoire insuffisante | Chargement… |
| RTX 4070 SUPER · 12 Go VRAM | 12,3 Gio / 11 Gio disponiblesMémoire insuffisante | Chargement… |
| RTX 4070 Ti · 12 Go VRAM | 12,3 Gio / 11 Gio disponiblesMémoire insuffisante | Chargement… |
| RTX 4070 Ti SUPER · 16 Go VRAM | 12,3 Gio / 15 Gio disponiblesCompatible en théorie | Chargement… |
| RTX 4080 · 16 Go VRAM | 12,3 Gio / 15 Gio disponiblesCompatible en théorie | Chargement… |
| RTX 4080 SUPER · 16 Go VRAM | 12,3 Gio / 15 Gio disponiblesCompatible en théorie | Chargement… |
| RTX 4090 · 24 Go VRAM | 12,3 Gio / 23 Gio disponiblesCompatible en théorie | Chargement… |
| RTX 5050 · 8 Go VRAM | 12,3 Gio / 7 Gio disponiblesMémoire insuffisante | Chargement… |
| RTX 5060 · 8 Go VRAM | 12,3 Gio / 7 Gio disponiblesMémoire insuffisante | Chargement… |
| RTX 5060 Ti 8 Go · 8 Go VRAM | 12,3 Gio / 7 Gio disponiblesMémoire insuffisante | Chargement… |
| RTX 5060 Ti 16 Go · 16 Go VRAM | 12,3 Gio / 15 Gio disponiblesCompatible en théorie | Chargement… |
| RTX 5070 · 12 Go VRAM | 12,3 Gio / 11 Gio disponiblesMémoire insuffisante | Chargement… |
| RTX 5070 Ti · 16 Go VRAM | 12,3 Gio / 15 Gio disponiblesCompatible en théorie | Chargement… |
| RTX 5080 · 16 Go VRAM | 12,3 Gio / 15 Gio disponiblesCompatible en théorie | Chargement… |
| RTX 5090 · 32 Go VRAM | 12,3 Gio / 31 Gio disponiblesCompatible en théorie | Chargement… |
| H100 SXM · 80 Go VRAM | 12,3 Gio / 79 Gio disponiblesCompatible en théorie | Chargement… |
| H100 PCIe · 80 Go VRAM | 12,3 Gio / 79 Gio disponiblesCompatible en théorie | Chargement… |
| H200 · 141 Go VRAM | 12,3 Gio / 140 Gio disponiblesCompatible en théorie | Chargement… |
| NVIDIA DGX Spark · 128 Go unifiés | 12,3 Gio / 124 Gio disponiblesCompatible en théorie | Chargement… |
Benchmarks communautaires
Chargement des mesures…
J’ai testé ce modèle
Un avis par membre et par modèle. Votre nouvel avis remplace le précédent dans les moyennes.
Chargement…