J'ai demandé 10 stratégies à une IA : le bulletin les a toutes recalées
Méthode ·
méthodeIAoverfitbacktestJ’ai obtenu dix stratégies en dix secondes auprès d’une IA, sans rien payer. QuantConnect a son copilote, StrategyQuant génère des centaines de configurations et des agents passent des ordres chez Robinhood. J’ai voulu vérifier ce que valaient les propositions reçues.
J’ai donc testé ces stratégies et publié l’expérience complète.
Le protocole
J'ai demandé à un LLM de me proposer 10 stratégies de trading crypto « solides et éprouvées ». Il a répondu ce que n'importe quel LLM répond : le golden cross, le RSI 30/70, le MACD classique, l'Ichimoku aux réglages d'usine, les bandes de Bollinger. Les recettes des manuels, celles que tu obtiens aussi en posant la question à ChatGPT ce soir.
Ensuite, chaque stratégie est passée au Lab dans les mêmes conditions :
- 2 ans de données (juillet 2024 à juillet 2026), pas une fenêtre choisie pour arranger qui que ce soit ;
- frais réels Kraken spot (environ 0,68 % l'aller-retour), la venue où mon propre bot tourne en argent réel depuis MiCA ;
- le moteur public du Lab, via la même API que le serveur MCP expose aux agents IA ;
- des runs publics : chaque résultat est vérifiable dans le Lab, je n'ai rien retouché.
Le résultat
- Actif
- BTC 1j
- Trades
- 3
- PF
- 0.89
- Le drapeau qui tue
- n inférieur à 20 : rien n'est significatif
- Actif
- BTC 4h
- Trades
- 194
- PF
- 0.82
- Le drapeau qui tue
- 0 % des réglages voisins profitables
- Actif
- ETH 4h
- Trades
- 305
- PF
- 0.79
- Le drapeau qui tue
- 305 trades et les frais mangent tout
- Actif
- ETH 4h
- Trades
- 320
- PF
- 0.90
- Le drapeau qui tue
- idem : volume de trades, zéro edge net
- Actif
- BTC 4h
- Trades
- 259
- PF
- 0.65
- Le drapeau qui tue
- la pire du lot : -68 % du capital risqué
- Actif
- SOL 4h
- Trades
- 104
- PF
- 0.94
- Le drapeau qui tue
- ne survit pas au moindre stress de coûts
- Actif
- BTC 4h
- Trades
- 81
- PF
- 1.02
- Le drapeau qui tue
- les 5 meilleurs trades portent 8x le gain total
- Actif
- BTC 1j
- Trades
- 75
- PF
- 0.99
- Le drapeau qui tue
- pile aux frais : l'edge est un arrondi
- Actif
- SOL 4h
- Trades
- 290
- PF
- 0.74
- Le drapeau qui tue
- ne fait pas mieux que des entrées au hasard
- Actif
- ETH 4h
- Trades
- 184
- PF
- 0.79
- Le drapeau qui tue
- 0 % des voisins profitables : du bruit ajusté
L’Ichimoku, la meilleure des dix, affiche un profit factor de 1.02 sur deux ans. Elle gagne dix euros, mais ses cinq meilleurs trades représentent huit fois ce gain total. Une fois ces trades retirés, le gain disparaît.
Les trois leçons
1. Les frais pèsent sur ces résultats. La logique de ces stratégies n’est pas nécessairement fausse. Neuf perdent parce que les mouvements capturés ne couvrent pas leurs frais, avec 200 à 320 trades en deux ans à 0,68 % l’aller-retour. J’ai eu le même problème avec mon bot en argent réel lors du passage sur Kraken. Les frais avaient triplé et les mêmes signaux donnaient un backtest perdant.
2. Battre les entrées aléatoires ne suffit pas à gagner. Trois stratégies battent 97 à 99 % des jeux d’entrées aléatoires du bulletin, mais perdent quand même. Aux mêmes frais, les entrées aléatoires perdent simplement davantage.
3. La période testée compte aussi. Entre 2024-2026, le marché a été haussier, puis longtemps sans tendance. Ce dernier contexte garde mes propres bots de tendance en veille depuis des mois. Une autre fenêtre donnerait d’autres résultats ; je n’ai aucune garantie que celle-ci soit représentative.
La suite logique
Si tu génères des stratégies avec une IA, tu peux lui donner le serveur MCP du labo pour accéder gratuitement au bulletin anti-overfit. Tu peux aussi faire les tests toi-même dans le labo, gratuitement et sans compte. La bibliothèque des stratégies décrit les conditions dans lesquelles chaque stratégie fonctionne et celles où elle échoue.
Les dix runs de ce test restent publics dans le labo. Si tu veux vérifier mes chiffres, ou tester la onzième idée de ton LLM, tout est là.