Pourquoi 95 % des backtests mentent (et comment attraper le tien en flagrant délit)

Quatre erreurs peuvent faire apparaître un backtest gagnant alors que la stratégie ne l’est pas. Je les reprends ici dans le module 0, gratuit, de la formation que je prépare. Elles expliquent les contrôles que j’ai mis dans le labo.

Mensonge n°1 : le survivant

Tu backtestes sur le BTC de 2020 à 2026 et ça gagne. Forcément, tu as choisi en 2026 un actif dont tu sais qu'il a survécu et monté. Les centaines de tokens morts en route, personne ne les backteste : ils ont disparu des listes. C'est le biais du survivant : ton univers de test est déjà trié par le futur.

Le même biais existe en version stratégie : tu ne testes que les idées qui « ont l'air de marcher », c'est-à-dire celles que le marché récent a récompensées. Le tri est fait avant que tu ouvres le backtest.

Mensonge n°2 : le futur qui fuit

Le look-ahead consiste à utiliser une information indisponible au moment où le bot aurait décidé. Ce peut être une clôture encore inconnue, un indicateur recalculé sur tout l’historique ou une donnée révisée après coup. Cela fausse le backtest.

Dans le labo, la stratégie ne voit que les informations qu’un bot aurait pu connaître au moment du trade.

Mensonge n°3 : le sur-ajustement (l'overfit)

Si tu testes 500 combinaisons de paramètres sur la même fenêtre et gardes la meilleure des 500, tu risques surtout de retenir celle que cette période a favorisée par chance. Son profit factor ne suffit pas à montrer un edge.

L'overfit se repère à la fragilité. Bouge un paramètre d'un cran : si tout s'effondre, tu as ajusté du bruit. C'est ce que mesurent la sensibilité, le PBO et le Sharpe dégonflé du bulletin.

Mensonge n°4 : les frais qu'on oublie

Le mensonge le plus bête et le plus cher. À 0,68 % l'aller-retour (mes frais réels Kraken), une stratégie qui trade 300 fois en deux ans doit d'abord payer plus de deux fois son capital en frais avant de gagner un centime. J'ai testé 10 stratégies de manuel générées par une IA à ces frais-là : une seule à peine au-dessus de l'équilibre (PF 1,02), et l'adversaire n'était presque jamais la direction. C'étaient les frais, ligne après ligne.

Je l'ai aussi appris en réel : mon bot V1 est passé de Binance à Kraken après MiCA, les frais ont triplé, et le backtest re-joué aux nouveaux frais est passé de viable à structurellement perdant. Re-tester aux frais de la venue cible est depuis une règle non négociable de ma méthode.

La parade : un bulletin, pas un chiffre

Le bulletin anti-overfit du labo vérifie la dépendance aux meilleurs trades, le stress de coûts, la sensibilité des paramètres et les résultats d’entrées aléatoires. Il applique aussi la règle n<20. J’utilise ces contrôles pour mes bots. Dans mon cimetière public, 16 stratégies sont recalées ou gelées, pour 2 bots passés en argent réel. Chaque rejet est daté et publié, y compris les pires.

Le 95 % du titre, c'est mon estimation, pas une étude. Mon propre cimetière dit 89 % : 16 stratégies recalées ou gelées pour 2 passées en réel. Et encore, je me juge avec bienveillance.

La suite : la formation

Après ce module 0, la formation que je prépare montrera comment construire une stratégie, la tester, lire les alertes du bulletin et fixer ses règles d’arrêt avant de risquer un euro. Elle abordera aussi la vérification des stratégies générées par une IA. Deux niveaux sont prévus, fondations et méthode avancée, avec des exercices corrigés par le labo et un accès membre inclus pendant plusieurs mois.

Elle n’est pas encore ouverte. Je suis en train de l’écrire et je ne la vends pas avant qu’elle existe.

En attendant, tout ce qui permet d'apprendre est déjà gratuit : les tutoriels, la bibliothèque des stratégies et le Lab lui-même. Commence par le piège du mensonge n°3 : deux clics, et tu auras vu de tes yeux tout ce que ce module raconte.