Почему 9 из 10 торговых стратегий не работают
Из 227 вариантов стратегий, которые мы протестировали на сегодня, 89% не прошли. Это не невезение и не наша проблема: так обычно и бывает, когда тестируешь честно. Ниже мы шаг за шагом объясняем почему — и на что обращать внимание, когда вам показывают стратегию или торгового робота, который «точно работает».
1. Удача выглядит точно как талант
Представьте 200 человек, которые каждый день подбрасывают монету: орёл — +1%, решка — −1%. Ни у кого нет преимущества. Через год одни будут в плюсе, другие в минусе — а лучший из них будет выглядеть гением. Мы это смоделировали:
Именно это происходит, когда пробуешь много стратегий на исторических данных. Если протестировать 200 идей, несколько будут выглядеть отлично просто случайно. Проблема не в том, что хороших стратегий нет, — проблема в том, что, глядя только на прошлое, нельзя понять, хороша ли стратегия или ей просто повезло.
Спросите, сколько вариантов перепробовали, прежде чем прийти к показанному. Хороший результат, найденный за 3 попытки, что-то значит; найденный за 300 — почти ничего.
2. Подгонка до красивого результата
Вторая ловушка тоньше. У вас есть идея, вы её тестируете — получается слабо. Немного меняете правило — получается лучше. Меняете ещё раз и ещё. После 20 подгонок стратегия безупречно выглядит на прошлом. Но каждая подгонка «выучила» шум в этих данных, а не реальный механизм рынка. Стратегия идеально описывает прошлое и ничего — о будущем.
Это явление называется переоптимизацией. Типичный признак: очень точные правила вроде «покупай, когда индикатор пересекает 37,5, но только по вторникам и четвергам», без всякого объяснения, почему это должно работать.
Правила, издержки и критерии успеха записываются и фиксируются цифровым отпечатком до теста, поэтому подогнать их под результат уже нельзя. Часть данных остаётся нетронутой и используется один раз, в конце.
3. Издержки съедают разницу
Многие закономерности на рынке действительно существуют — просто они меньше стоимости их использования. В каждой сделке вы платите разницу между ценой покупки и продажи (спред), комиссию и часто исполнение по чуть худшей цене, чем ожидалось.
Прибыль в несколько сотых процента на сделку исчезает после издержек. А издержки, заложенные в тест, почти всегда меньше реальных. И родственная ловушка: обратная версия убыточной стратегии не становится прибыльной — издержки платятся в обе стороны.
Мы измеряем издержки на реальных исполнениях, а не предполагаем их, и требуем, чтобы стратегия оставалась в плюсе даже при двойных издержках.
4. Информация из будущего
Самая частая техническая ошибка: тест незаметно использует информацию, которой в момент решения ещё не было. Несколько примеров:
- решение принимается на открытии биржи, но использует цену закрытия того же дня;
- экономические данные, исправленные позже, используются так, будто были известны с самого начала;
- тест начинается со списка сегодняшних компаний — из которого исчезли обанкротившиеся, и кажется, что стратегия «избежала» банкротств.
Такие ошибки дают впечатляющие результаты. Поэтому у нас слишком красивый результат на простой идее считается ошибкой, пока не доказано обратное.
Каждое смоделированное решение использует только то, что было известно в тот момент, — включая список компаний и данные в том виде, в каком они тогда публиковались.
5. Рынок меняется
Даже реальный эффект не длится вечно. Когда закономерность становится известной, её эксплуатирует больше участников, и преимущество уменьшается или исчезает. Меняются и правила, технологии, люди на рынке. Стратегия, которая отлично работала несколько лет, может совсем перестать работать в следующие годы — у нас были очень хорошие идеи на годах разработки, которые полностью исчезли на периоде вне выборки.
Нетронутым сохраняется самый недавний период, а стратегия должна быть положительной в большинстве лет, а не только в удачный период.
6. Слишком мало сделок
20 прибыльных сделок из 30 могут казаться убедительными, но статистически почти ничего не доказывают: такой же хороший результат часто получается и чисто случайно. Нужны сотни сделок в разных рыночных условиях, чтобы отделить преимущество от удачи.
Мы требуем статистически значимого результата и сравниваем каждую стратегию с контрольным тестом: те же правила, но моменты входа выбраны случайно. Если она его явно не обыгрывает, преимущества у неё нет.
7. Симуляция — не реальность
Даже стратегия, прошедшая все тесты на исторических данных, может в реальности вести себя иначе: ордера исполняются позже или частично, в некоторые часы меньше покупателей и продавцов, у соединения есть задержки. Поэтому до реальных денег стратегии месяцами работают на виртуальных счетах, день за днём, и должны в точности воспроизводить симуляцию.
И этот форвард-тест не может за несколько месяцев доказать, что стратегия хороша, — он может только вовремя её отвергнуть. Хорошие результаты не считаются доказательством; плохие сразу останавливают стратегию.
Коротко: ловушки и защита
| Ловушка | Как мы защищаемся |
|---|---|
| Удача, принятая за талант | Считаем все опробованные варианты; требуем статистически значимого результата |
| Подгонка до красивого результата | Правила фиксируются до теста; данные вне выборки используются один раз |
| Издержки игнорируются | Издержки измерены на реальных исполнениях; стратегия должна выдерживать двойные издержки |
| Информация из будущего | Каждое решение использует только то, что было известно в тот момент |
| Рынок меняется | Период вне выборки — самый недавний; положительна в большинстве лет |
| Слишком мало сделок | Контрольный тест со случайными входами |
| Симуляция — не реальность | Форвард-тест на виртуальных счетах; реальные деньги — только в конце и понемногу |
На что обращать внимание, когда вам показывают стратегию или робота
Будь то курс, группа, «робот, который сам зарабатывает деньги», или предложение управлять вашими деньгами — эти признаки должны заставить вас остановиться и задать больше вопросов:
- Обещает гарантированную прибыль или «без риска». Ни одна реальная стратегия не может гарантировать прибыль.
- Показывает только тест на прошлом, без результатов на данных вне выборки или на реальном счёте, который можно проверить.
- График растёт почти по прямой, без падений. У реальных стратегий бывают и убыточные периоды.
- Не говорит, какие издержки учтены и сколько на самом деле стоит сделка.
- Выбран удобный период — например, только годы, когда рос весь рынок.
- Вы не знаете, сколько вариантов перепробовали, прежде чем прийти к показанному.
- Нет заявленного максимального убытка и чётких правил остановки.
- Использует большое кредитное плечо (маржу), не объясняя его. Плечо так же сильно увеличивает и потери: падение рынка на 1% может означать 3–5% счёта.
- «Секрет» нельзя проверить: только скриншоты, без истории, которую можно проверить независимо.
Что это значит для вас
То, что 9 из 10 идей не проходят, — не плохой знак, а признак честных тестов. Исследование, в котором все идеи оказываются «выигрышными», либо тестирует недостаточно, либо питает иллюзии. Мы предпочитаем отвергнуть идею в лаборатории, чем тестировать её на чьих-то деньгах.
Образовательный материал. Не является инвестиционной рекомендацией или предложением. Числовые примеры иллюстративны, а симуляция использует случайно сгенерированные данные. Прошлые результаты — смоделированные или реальные — не гарантируют будущих.