Backtesting: Der statistische Trick, mit dem die Finanzindustrie Renditen erfindet

Der Prospekt klingt überzeugend: „Diese Strategie hätte in den letzten 20 Jahren eine durchschnittliche Jahresrendite von 14,3 % erzielt — und dabei den S&P 500 deutlich geschlagen.” Mit einem Diagramm: gleichmäßig nach oben, kaum Rücksetzer, konstante Outperformance.

Was steht nicht im Prospekt: Diese 14,3 % wurden nie real erzielt. Kein Anleger hat je davon profitiert. Die Strategie existierte vor einem Jahr noch nicht. Die Rendite wurde im Nachhinein berechnet — auf Basis von Daten, die bei der Entwicklung der Strategie bereits bekannt waren.

Willkommen im Backtesting.

Was Backtesting ist — und warum es nicht das ist, was es zu sein scheint

Backtesting ist eine legitime statistische Methode: Du entwickelst eine Handelsstrategie und prüfst, wie sie sich in der Vergangenheit verhalten hätte. Das ist nützlich — als erster Plausibilitätstest, als Grundlage für weitere Analyse, als Startpunkt für echte Tests.

Das Problem beginnt, wenn Backtesting als Verkaufsargument genutzt wird — und damit suggeriert wird, vergangene simulierte Renditen seien ein verlässlicher Indikator für künftige reale Renditen.

Jason Zweig beschreibt Backtesting als einen der zentralen statistischen Tricks in der Finanzbranche. Er nennt es direkt: ein „statistical dirty trick” — ein schmutziger statistischer Trick. Und er erklärt, warum: Das Ergebnis eines Backtests hängt maßgeblich davon ab, wie viele Parameter getestet wurden, bevor man die finale Version präsentiert.

Wie Backtesting zur Täuschung wird

Stell dir vor, ein Finanzprodukt-Entwickler hat 50 verschiedene Handelsstrategien entwickelt und alle 50 rückwirkend getestet. 49 davon liefen schlecht. Eine hat zufällig sehr gut funktioniert — weil sie zufällig auf die Besonderheiten des vergangenen Datensatzes gepasst hat.

Der Entwickler präsentiert nur diese eine Strategie. Er zeigt die beeindruckende Backtest-Rendite. Er sagt nicht, dass es 49 gescheiterte Varianten gab.

Das ist kein theoretisches Szenario. Es ist gängige Praxis in der Branche — bei Zertifikaten, Faktor-ETFs, quantitativen Strategiefonds, Robo-Advisorn und klassischen Investmentfonds.

Die Statistiker nennen das „Data Mining” oder „Overfitting”: Man optimiert eine Strategie so stark auf vergangene Daten, dass sie diese perfekt beschreibt — aber keine Vorhersagekraft für die Zukunft hat.

Survivorship Bias als Verstärker

Zum Backtesting-Problem kommt ein weiteres Phänomen: Survivorship Bias — die Überlebenden-Verzerrung.

Wenn ein Finanzdienstleister sagt, seine Fonds hätten in den letzten zehn Jahren durchschnittlich 7 % pro Jahr erzielt, stellt sich die Frage: Welche Fonds? Meistens die, die noch existieren.

Fonds, die schlecht performt haben, werden regelmäßig geschlossen oder mit anderen Fonds zusammengeführt. Ihre schlechten Renditen verschwinden damit aus dem historischen Durchschnitt. Nur die Überlebenden — die zufällig gut liefen — bleiben sichtbar.

Eine Studie von Standard & Poor’s zeigt: Bis zu einem Drittel aller Aktienfonds wird in einem Zehnjahreszeitraum aufgelöst. Wer nur die überlebenden Fonds analysiert, bekommt ein deutlich zu optimistisches Bild.

Das gilt auch für Backtests: Wer historische Aktien in seinen Test einbezieht, lässt oft nur die Aktien ein, die überlebt haben — nicht die, die zwischenzeitlich bankrottgegangen sind.

Der Dow Jones als Lehrstück

Jason Zweig beschreibt das anhand eines konkreten Beispiels: Als der Dow Jones Industrial Average 2024 seinen 128. Geburtstag feierte, war das eine gute Gelegenheit, über die Natur von Indizes und historischen Vergleichen nachzudenken.

Der Dow Jones von 1896 enthält keine einzige Aktie mehr, die noch im heutigen Index ist. Unternehmen werden rausgenommen, wenn sie schlecht laufen — und durch erfolgreiche ersetzt. Die Langzeitrendite des Index sieht dadurch besser aus, als sie für einen Anleger war, der einfach alle Originalkomponenten gehalten hätte.

Das ist strukturell dasselbe Problem wie Backtesting: Die Vergangenheit wird mit dem Wissen der Gegenwart rekonstruiert. Das Ergebnis ist immer schöner, als es real war.

Wie du Backtesting-Marketing erkennst

Es gibt konkrete Signale, die darauf hinweisen, dass eine präsentierte Rendite auf Backtesting und nicht auf echter Erfahrung basiert:

Signal 1: „Hätte” und „hypothetisch”. Formulierungen wie „Diese Strategie hätte erzielt…” oder „Hypothetische Vergangenheitsrendite” sind Pflichtangaben, die Anbieter von simulierten Daten machen müssen. In Deutschland verlangt die EU-Regulierung (PRIIPs, MiFID II) entsprechende Hinweise. Aber diese Hinweise werden oft in Kleingedrucktem versteckt.

Signal 2: Perfekte Kurven. Echte Portfolios haben Schwankungen. Echte Strategien haben schlechte Jahre. Wenn ein Backtest-Chart erschreckend glatt aussieht — mit konstanter Outperformance und kaum Rücksetzern — ist das ein Zeichen für Overfitting. Reale Strategien hätten in der Vergangenheit ebenfalls Haare gelassen.

Signal 3: Kurze Live-Track-Record. Wenn eine Strategie 20 Jahre simulierter Rendite zeigt, aber erst vor zwei Jahren live gegangen ist — frag dich: Warum ist sie nicht früher gestartet? Weil sie vorher noch nicht existierte und die 20-Jahr-Rendite rückwirkend berechnet wurde.

Signal 4: Keine Transaktionskosten. Viele Backtests ignorieren oder unterschätzen Transaktionskosten, Spreads und Marktimpakt. Eine Strategie, die täglich handelt, hat in der Realität deutlich höhere Kosten als im Backtest angenommen.

Signal 5: Out-of-Sample-Daten fehlen. Ein seriöser Backtest teilt Daten in zwei Phasen: In-Sample (für die Entwicklung der Strategie) und Out-of-Sample (zum Test, ob sie auf neuen Daten funktioniert). Wenn nur eine Phase präsentiert wird, ist das ein Warnsignal.

Faktor-ETFs: Ein Sonderfall

Die wachsende Welt der sogenannten „Faktor-ETFs” oder „Smart Beta”-Produkte ist besonders anfällig für Backtesting-Marketing.

Faktor-ETFs basieren auf akademisch gut dokumentierten Effekten: Value, Momentum, Quality, Low Volatility, Size. Diese Faktoren wurden in Studien über Jahrzehnte identifiziert — und viele Produktanbieter präsentieren beeindruckende historische Renditen für ihre Faktor-Strategien.

Das Problem: Sobald eine Strategie bekannt ist und mit Milliarden von Anlegerkapital verfolgt wird, wird sie von der Masse abgebaut — bis sie möglicherweise nicht mehr existiert. Die Rendite im Backtest war real; die zukünftige Rendite ist ungewiss.

Akademiker nennen das „Factor Zoo” und den damit verbundenen „Publication Bias”: Es gibt Hunderte publizierter Faktoren, von denen statistisch ein erheblicher Teil Zufallsartefakte sind — Muster, die in den Daten existieren, aber keine dauerhafte wirtschaftliche Grundlage haben.

Was du stattdessen tun solltest

Echter Track Record > Simulierter Track Record. Prüfe, seit wann ein Fonds oder ETF wirklich live ist — und wie er seitdem abgeschnitten hat. Zehn echte Jahre sind wertvoller als dreißig simulierte.

Einfachheit als Schutzprinzip. Je komplizierter eine Strategie klingt — „quantitatives Momentum-Faktor-Overlay mit dynamischer Gewichtung” — desto wahrscheinlicher ist es, dass sie einem Backtest-Optimierungsprozess entstammt. Einfache, breite Indizes haben keine Strategie, die optimiert werden könnte — und damit auch keine Overfitting-Anfälligkeit.

Kosten als Realitätsfilter. Ein Backtest rechnet oft ohne oder mit minimalen Kosten. Wenn ein Produkt 1,5 % Jahreskosten hat, muss es jedes Jahr 1,5 % besser sein als ein billiger ETF — real, nicht simuliert.

Peer-Review und akademische Grundlage. Wenn eine Strategie auf akademischer Forschung basiert: Ist die Studie peer-reviewed? Ist sie in mehreren Märkten und Zeiträumen bestätigt? Oder basiert sie auf einer einzigen Datenreihe von zwanzig Jahren?

Der wichtigste Satz auf jedem Prospekt

In jedem deutschen Finanzprodukt-Prospekt steht ein gesetzlich vorgeschriebener Satz:

„Die Wertentwicklung in der Vergangenheit ist kein verlässlicher Indikator für zukünftige Ergebnisse.”

Dieser Satz ist so häufig und so selbstverständlich, dass ihn niemand mehr liest. Dabei ist er die wichtigste Information auf dem Blatt — besonders wenn die dargestellte Vergangenheit nie real stattgefunden hat.

Backtesting ist kein Betrug. Aber es ist Marketing. Und wer das versteht, kann zwischen echten Anlagechancen und verkauften Illusionen unterscheiden.

Die Gegenprüfung ist einfach: Wann wurde dieser Fonds oder ETF aufgelegt? Was hat er seitdem real erzielt? Wie viel kostet er? Wenn diese Fragen unbefriedigend beantwortet werden — ist ein günstiger, breiter Indexfonds fast immer die überlegene Alternative.

Konkrete Beispiele: Wenn Backtesting schiefläuft

Die abstrakte Kritik an Backtesting wird greifbarer, wenn man konkrete historische Beispiele betrachtet.

Der Dow Jones Dividend Aristocrats — eine teilweise Backtesting-Geschichte. Der Index besteht aus Unternehmen, die ihre Dividende mindestens 25 Jahre in Folge erhöht haben. Er wird als “Qualitätssignal” vermarktet. Aber die Unternehmen, die im Jahr 1990 noch drin waren und ihre Dividende gekürzt haben, sind heute nicht mehr im Index. Der Track Record des Index wurde retroaktiv durch diese Filterung verbessert.

Smart-Beta-Produkte in den 2010er Jahren. Eine Flut von Factor-ETFs wurde mit beeindruckenden Backtest-Renditen lanciert. Viele zeigten in der simulierten Vergangenheit deutliche Outperformance. In den Jahren nach der Markteinführung schnitten sie — im Durchschnitt — nicht besser ab als ein einfacher MSCI World. Der Übergang von simulierter zu echter Rendite war ernüchternd.

Kryptowährungs-Handelsalgorithmen. Im Boom-Jahr 2021 wurden zahlreiche automatisierte Krypto-Trading-Bots mit Backtests vermarktet, die Jahresrenditen von 100–500 % zeigten. In der Praxis scheiterten die meisten — weil sie auf historische Marktbedingungen optimiert waren, die sich nicht wiederholten.

Die Methodik seriöser Faktoren-Forschung

Um Backtesting-Marketing von seriöser Faktorforschung zu unterscheiden, helfen konkrete methodische Kriterien.

Out-of-Sample-Tests. Eine valide Studie zeigt nicht nur, dass ein Faktor in einem bestimmten Datensatz funktioniert — sie zeigt, dass er in anderen Datensätzen (andere Länder, andere Zeiträume) ähnlich robust ist. Der Value-Faktor etwa wurde in US-Daten entdeckt und dann in europäischen, japanischen und Emerging-Markets-Daten bestätigt. Das ist seriöse Evidenz.

Wirtschaftliche Erklärung. Wenn ein Faktor nur statistisch gefunden wurde — ohne plausible ökonomische Erklärung, warum er existiert — ist es wahrscheinlich ein Zufallsartefakt. Der Value-Faktor hat eine Erklärung: Günstige Aktien sind oft günstig, weil sie riskant oder unbeliebt sind — und diese Risikoprämie ist langfristig real. Ohne Erklärung: Vorsicht.

Robustheit gegenüber kleinen Parameteränderungen. Wenn ein Faktor nur mit exakt einem bestimmten Messverfahren funktioniert, aber nicht mit leichten Variationen — ist er wahrscheinlich data-mined. Robuste Faktoren funktionieren auch mit leicht unterschiedlichen Definitionen.

Peer-Review und Unabhängigkeit. Hat die Studie eine unabhängige wissenschaftliche Überprüfung bestanden? Wurde sie von Forschern ohne finanziellen Anreiz an der Schlussfolgerung durchgeführt?

Der praktische Umgang mit Backtests

Backtests sind nicht nutzlos. Sie sind der erste Schritt — aber nicht der letzte. Wer einen Backtest sieht, sollte folgende Fragen stellen:

Erstens: Wie lang ist der echte Track Record? Ein Jahr ist nichts. Drei Jahre sind wenig. Zehn Jahre beginnen, relevant zu sein.

Zweitens: Wurden Kosten realistisch modelliert? Transaktionsgebühren, Spreads, Steuern, Verwaltungskosten — alles eingerechnet?

Drittens: Wie viele Variationen wurden getestet, bevor diese Variante präsentiert wurde? Die ehrliche Antwort ist meistens: viele.

Viertens: Gibt es unabhängige Bestätigung? Hat jemand ohne Interessenkonflikt dieselben Ergebnisse reproduziert?

Wenn diese Fragen nicht überzeugend beantwortet werden — ist ein einfacher, kostengünstiger Indexfonds fast immer die überlegene Wahl.