Pourquoi 95 % des backtests mentent (et comment attraper le tien en flagrant délit)
Un backtest gagnant est l'objet le plus facile à fabriquer du monde. Il suffit de se mentir sur un des quatre points suivants, et la plupart des gens se mentent sur les quatre en même temps. Ce texte est le module 0, gratuit, de la formation que je prépare : le socle qui explique pourquoi le Lab existe.
Mensonge n°1 : le survivant
Tu backtestes sur le BTC de 2020 à 2026 et ça gagne. Forcément, tu as choisi en 2026 un actif dont tu sais qu'il a survécu et monté. Les centaines de tokens morts en route, personne ne les backteste : ils ont disparu des listes. C'est le biais du survivant : ton univers de test est déjà trié par le futur.
Le même biais existe en version stratégie : tu ne testes que les idées qui « ont l'air de marcher », c'est-à-dire celles que le marché récent a récompensées. Le tri est fait avant que tu ouvres le backtest.
Mensonge n°2 : le futur qui fuit
Le look-ahead, c'est utiliser une information qui n'existait pas au moment de la décision : une clôture pas encore imprimée, un indicateur recalculé sur toute l'histoire, des données révisées après coup. Un seul octet de futur suffit à rendre un backtest imbattable et faux.
C'est pour ça que le labo travaille en données point-in-time : la stratégie ne voit jamais rien de plus que ce qu'un bot aurait vu ce jour-là.
Mensonge n°3 : le sur-ajustement (l'overfit)
Teste 500 combinaisons de paramètres sur la même fenêtre : la meilleure sera brillante, par construction. Tu as trié 500 tirages et gardé le plus chanceux. Son PF flatteur récompense ton nombre d'essais, pas un edge.
L'overfit se repère à la fragilité. Bouge un paramètre d'un cran : si tout s'effondre, tu as ajusté du bruit. C'est ce que mesurent la sensibilité, le PBO et le Sharpe dégonflé du bulletin.
Mensonge n°4 : les frais qu'on oublie
Le mensonge le plus bête et le plus cher. À 0,68 % l'aller-retour (mes frais réels Kraken), une stratégie qui trade 300 fois en deux ans doit d'abord payer plus de deux fois son capital en frais avant de gagner un centime. J'ai testé 10 stratégies de manuel générées par une IA à ces frais-là : zéro profitable, et l'adversaire n'était presque jamais la direction. C'étaient les frais, ligne après ligne.
Je l'ai aussi appris en réel : mon bot V1 est passé de Binance à Kraken après MiCA, les frais ont triplé, et le backtest re-joué aux nouveaux frais est passé de viable à structurellement perdant. Re-tester aux frais de la venue cible est depuis une règle non négociable de ma méthode.
La parade : un bulletin, pas un chiffre
Aucun de ces mensonges ne résiste à une vérification systématique. C'est le travail du bulletin anti-overfit du Lab : dépendance aux meilleurs trades, stress de coûts, sensibilité des paramètres, entrées aléatoires, règle n<20. Et c'est la discipline que j'applique à mes propres bots : mon cimetière public recale bien plus de stratégies que je n'en promeus en argent réel. 16 recalées ou gelées, pour 2 bots passés en réel. Chaque rejet est daté et publié, les pires y sont encore.
Le 95 % du titre, c'est mon estimation, pas une étude. Mon propre cimetière dit 89 % : 16 stratégies recalées ou gelées pour 2 passées en réel. Et encore, je me juge avec bienveillance.
La suite : la formation
Ce module 0 est le socle. La formation complète que je prépare enseigne la méthode entière, dans l'outil : construire une stratégie honnête, la tester sans se mentir, lire chaque drapeau du bulletin, écrire ses règles d'arrêt AVANT de risquer un euro, et faire de l'IA un générateur que TU juges. Deux niveaux (fondations et méthode avancée), des exercices corrigés par le Lab lui-même, et l'accès membre du labo inclus pendant plusieurs mois.
Elle n'est pas encore ouverte : j'écris dans l'ordre et je ne vends pas ce qui n'existe pas.
En attendant, tout ce qui permet d'apprendre est déjà gratuit : les tutoriels, la bibliothèque des stratégies et le Lab lui-même. Commence par le piège du mensonge n°3 : deux clics, et tu auras vu de tes yeux tout ce que ce module raconte.