MéthodeméthodeIAoverfitbacktest

J'ai demandé 10 stratégies à une IA : le bulletin les a toutes recalées

Générer une stratégie de trading par une IA ne coûte plus rien, j'en ai eu dix en dix secondes. QuantConnect a son copilote, StrategyQuant génère des centaines de configs, les agents passent des ordres chez Robinhood. Vérifier si tout ça vaut quelque chose, par contre, personne ne se bouscule. C'est pourtant là que ton argent se joue.

Alors j'ai fait l'expérience complète, en public.

Le protocole

J'ai demandé à un LLM de me proposer 10 stratégies de trading crypto « solides et éprouvées ». Il a répondu ce que n'importe quel LLM répond : le golden cross, le RSI 30/70, le MACD classique, l'Ichimoku aux réglages d'usine, les bandes de Bollinger. Les recettes des manuels, celles que tu obtiens aussi en posant la question à ChatGPT ce soir.

Ensuite, chaque stratégie est passée au Lab dans les mêmes conditions :

  • 2 ans de données (juillet 2024 à juillet 2026), pas une fenêtre choisie pour arranger qui que ce soit ;
  • frais réels Kraken spot (environ 0,68 % l'aller-retour), la venue où mon propre bot tourne en argent réel depuis MiCA ;
  • le moteur public du Lab, via la même API que le serveur MCP expose aux agents IA ;
  • des runs publics : chaque résultat est vérifiable dans le Lab, je n'ai rien retouché.

Le résultat

Stratégies testées
10
Profitables sur 2 ans
0
Survivent aux coûts x2
0
Battent le hasard
3
tout en perdant de l'argent
Stratégie
Actif
Trades
PF
Le drapeau qui tue
Golden cross 50/200
BTC 1j
3
0.89
n inférieur à 20 : rien n'est significatif
EMA cross 9/21
BTC 4h
194
0.82
0 % des réglages voisins profitables
RSI 30/70
ETH 4h
305
0.79
305 trades et les frais mangent tout
MACD 12/26/9
ETH 4h
320
0.90
idem : volume de trades, zéro edge net
Bollinger retour moyenne
BTC 4h
259
0.65
la pire du lot : -68 % du capital risqué
Supertrend 10/3
SOL 4h
104
0.94
ne survit pas au moindre stress de coûts
Ichimoku 9/26/52
BTC 4h
81
1.02
les 5 meilleurs trades portent 8x le gain total
Donchian 20
BTC 1j
75
0.99
pile aux frais : l'edge est un arrondi
Stochastique 14/3/3
SOL 4h
290
0.74
ne fait pas mieux que des entrées au hasard
EMA Ribbon 8/13/21/34
ETH 4h
184
0.79
0 % des voisins profitables : du bruit ajusté

La meilleure des dix, l'Ichimoku, affiche un PF de 1.02 : à peine plus de gains bruts que de pertes brutes, en deux ans. L'écart tient dans l'épaisseur du trait. Et le bulletin montre que ces dix euros tiennent à cinq trades chanceux qui pèsent huit fois le gain total. Retire-les, il ne reste rien.

Les trois leçons

1. Les frais sont l'adversaire numéro un, pas la direction. Aucune de ces stratégies n'est « fausse » dans sa logique. Elles perdent parce qu'elles tradent trop pour ce qu'elles capturent : 200 à 320 trades en deux ans à 0,68 % l'aller-retour, l'arithmétique est sans appel. Mon bot réel me l'a appris au passage sur Kraken : mêmes signaux, frais triplés, verdict inversé.

2. « Battre le hasard » ne suffit pas. Trois stratégies battent 97 à 99 % des jeux d'entrées aléatoires du bulletin, tout en perdant de l'argent. Ça veut juste dire que le hasard, aux mêmes frais, perd encore plus qu'elles. Le compte, lui, est vide pareil.

3. Le régime décide. 2024-2026 mélange un marché haussier puis un long régime sans tendance, celui qui met mes propres bots de tendance en dormance volontaire depuis des mois. Une fenêtre différente donnerait des chiffres différents, et je n'ai aucune garantie que la mienne soit représentative. C'est la limite de ce test, et je la connais.

La suite logique

Si tu utilises une IA pour générer des stratégies, donne-lui aussi l'outil pour les vérifier : le serveur MCP du labo rend le bulletin anti-overfit accessible à n'importe quel agent, gratuitement. Et si tu préfères vérifier toi-même : le labo est gratuit, sans compte, et la bibliothèque des stratégies explique honnêtement quand chacune de ces recettes marche, et quand elle meurt.

Les dix runs de ce test restent publics dans le labo. Si tu veux vérifier mes chiffres, ou tester la onzième idée de ton LLM, tout est là.