🏆 Podium — Classement global

Score = Ø Qualité × Ø Vitesse, pondéré par le français (+⅓). Le podium récompense les modèles offrant le meilleur équilibre qualité/vitesse/français.

Classement général

🏅 Podiums par domaine — Qualité des réponses

Top 3 des modèles par justesse et qualité de réponse dans chaque catégorie de test. Score /10 basé sur : justesse, français, complétude.

Raisonnement (coq)

Code (palindrome)

Grammaire

Traduction

Latence (hello)

Analyse code

Résumé long

Analyse logs

Rédaction article

Latence pure

Raisonnement (docker)

Analyse par domaine

Débit par catégorie (tok/s)

Débit moyen (tok/s) et qualité des réponses par catégorie de test. Les valeurs en vert indiquent le meilleur score de la colonne.

Qualité par catégorie (/10)

Qualité des réponses par domaine

Cliquez sur chaque domaine pour voir la réponse complète de chaque modèle.

Protocole de test reproductible

Benchmark exécuté sur Ubuntu 24.04.4 LTS (kernel 6.8.0-136), Docker 29.6.2, Ollama 0.32.1 en conteneur Docker. Chaque bloc ci-dessous est indépendant et copiable.

A. Installer Docker + Ollama

# Installer Docker sur Ubuntu
curl -fsSL https://get.docker.com | sh

# Lancer Ollama en Docker
docker run -d --name ollama --restart unless-stopped   -v ollama_data:/root/.ollama   -p 127.0.0.1:11434:11434   ollama/ollama:0.32.1

# Vérification
docker exec ollama ollama --version
docker exec ollama ollama list

curl -fsSL https://ollama.com/install.sh | sh
# Vérification
ollama --version

B. Télécharger les modèles

# 11 modèles (37 Go total)
docker exec ollama ollama pull gemma3:4b
docker exec ollama ollama pull llama3.2:3b
docker exec ollama ollama pull qwen3:4b
docker exec ollama ollama pull llama3.1:8b
docker exec ollama ollama pull mistral:7b
docker exec ollama ollama pull phi4-mini
docker exec ollama ollama pull qwen2.5-coder:7b
docker exec ollama ollama pull qwen3:8b
docker exec ollama ollama pull qwen3.5-4b
docker exec ollama ollama pull qwen3.5-4b-mtp
docker exec ollama ollama pull deepseek-r1:7b

# Vérification
docker exec ollama ollama list

C. Benchmark rapide (5 tests par modèle)

#!/bin/bash
MODELES="gemma3:4b llama3.2:3b qwen3:4b llama3.1:8b mistral:7b phi4-mini qwen2.5-coder:7b qwen3:8b qwen3.5-4b qwen3.5-4b-mtp deepseek-r1:7b"
for M in $MODELES; do
  echo "=== $M ==="
  for test in     "raisonnement_coq|Un coq pond un oeuf sur le toit d'une grange. De quel cote tombe l'oeuf ?|100"     "code_palindrome|Ecris une fonction Python is_palindrome(s). Donne juste le code.|100"     "grammaire_francais|Corrige: J'ai mange et ensuite j'ai alle au cinema avec mes amis.|80"     "traduction|Traduis en francais: The quick brown fox jumps over the lazy dog|100"     "latence_hello|Dis simplement bonjour.|20"; do
    IFS='|' read -r n p t <<< "$test"
    curl -s http://127.0.0.1:11434/api/generate -H "Content-Type: application/json"       -d "{"model":"$M","prompt":"$p","options":{"num_predict":$t,"temperature":0.7},"stream":false}"
    echo ""
  done
  # Decharger le modele
  curl -s http://127.0.0.1:11434/api/generate -H "Content-Type: application/json"     -d "{"model":"$M","prompt":"x","keep_alive":0,"stream":false}" > /dev/null
done

D. Benchmark réaliste (5 tests par modèle)

#!/bin/bash
# Meme structure que le bloc C
# Tests: analyse_code (300t), resume_long (400t), analyse_logs (350t), redaction_article (500t), latence_pure (5t)
# Modeles et dechargement identiques au bloc C
# Voir le fichier batch5.csv pour les prompts complets

E. Test Docker (1 test par modèle)

#!/bin/bash
MODELES="gemma3:4b llama3.2:3b qwen3:4b llama3.1:8b mistral:7b phi4-mini qwen2.5-coder:7b qwen3:8b qwen3.5-4b qwen3.5-4b-mtp deepseek-r1:7b"
for M in $MODELES; do
  curl -s http://127.0.0.1:11434/api/generate -H "Content-Type: application/json"     -d "{"model":"$M","prompt":"Explique pourquoi changer le network Docker de bridge a host peut empecher les conteneurs de communiquer entre eux.","options":{"num_predict":300,"temperature":0.7},"stream":false}"
  echo ""
  curl -s http://127.0.0.1:11434/api/generate -H "Content-Type: application/json"     -d "{"model":"$M","prompt":"x","keep_alive":0,"stream":false}" > /dev/null
done

Notes

Plateforme de test : VPS KVM4 · 16 Go RAM · 4 vCPU · CPU only · Ubuntu 24.04.4 LTS · Docker 29.6.2 · Ollama 0.32.1
Données brutes : batch5.csv (141 lignes) · 11 catégories · temps, tokens, tok/s, réponses complètes
Modèle exclu : qwen3.5-9b (OOM avec 16 Go RAM)