Метрики прогнозирования PCDP для бинарных опционов вполне достаточно, так как на бинарных опционах играет роль, куда пошла цена, вверх или вниз. Но вот на Форексе, на криптобирже и на фондовой бирже PCDP бывает недостаточно для оценки качества прогнозирования. Ведь там желательно не только не ошибаться в направлении изменения цены, но и в том, на сколько меняется цена.
А точнее, хотелось бы иметь такую метрику, которая показывала бы, как прогнозы отслеживают сильные изменения цен. Такой метрикой является пофреймовая прибыль PFP.
1. Что такое PFP
PFP (Per Frame Profit), это доля прибыли (или убытка) от максимально возможной прибыли (или убытка), которую получил бы трейдер, если бы трейдер на тестовом периоде торговал бы по фреймам, то есть открывал бы позицию точно в начале каждого фрейма, а закрывал бы точно в конце фрейма, используя тестовые прогнозы. Краткий вид формулы имеет вид:
Здесь PFPpred, это какова была бы пофреймовая прибыль, если бы все позиции открывались бы в тех направлениях, которые выдает прогноз.
А PFPfull, это максимальная (полная) пофреймовая прибыль, которая может быть получена на тестовых фреймах, если все позиции всегда открывать в том направлении, в котором было реальное изменение цены. То есть, какая была бы пофреймовая прибыль, если бы все прогнозы совпали бы по своим направлениям (PCDP = 1).
Формулы прогнозируемой и полной пофреймовой прибыли имеют вид:
Здесь N, это количество тестовых фреймов, индекс k нумерует тестовые фреймы, Ck(open) - цена открытия k-го фрейма, Ck(close) - цена закрытия k-го фрейма. Наконец, sk, это знак направления изменения цены в прогнозе k-го фрейма:
- sk = +1, если прогнозируется, что цена закрытия k-го фрейма увеличится.
- sk = 0, если прогнозируется, что цена закрытия k-го фрейма останется равной цене открытия.
- sk = -1, если прогнозируется, что цена закрытия k-го фрейма уменьшится.
С учетом двух последних формул получаем полный вид формулы пофреймовой прибыли:
2. Где вычисляют Пофреймовую Прибыль
Пофреймовую прибыль также, как и другие метрики методов прогнозирования (в том числе и нейросетей) вычисляют на тестовых фреймах. То есть PFP всегда должна вычисляться на таких данных, которых метод прогнозирования ранее никогда не использовал.
3. Суть Пофреймовой Прибыли
Посмотрите на следующий свечной график. Так менялась цена одной из криптовалют на криптобирже.
Здесь показано только 20 тестовых фреймов. Японские свечи здесь имеются и относительно очень длинные и относительно очень короткие.
Ниже на двух рисунках показаны эти же самые свечные графики и прогнозы, сделанные двумя разными методами прогнозирования.
У этих двух прогнозов примерно одинаковое RMSE и одна и та же PCDP = 0.6. Так как вероятность правильности прогноза направления цены PCDP одинаковая, то, с точки зрения трейдера бинарных опционов, оба метода прогнозирования эквивалентны. В 6 случаях из 10 трейдер бинарных опционов будет выигрывать, применяя и первый метод и второй метод прогнозирования.
Но трейдеры Форекса, фондовой биржи и криптобирж посчитают, что второй метод прогнозирования гораздо лучше первого.
Почему?
Потому что первый метод прогнозирования очень хорошо прогнозирует направление цены в коротких свечах, но очень плохо прогнозирует направление цены в длинных свечах. Во всех 5-и длинных свечах прогноз направления был неверным.
В то время, как второй метод прогнозирования, наоборот, во всех пяти самых длинных свечах правильно прогнозирует направление изменения цены. Так как PCDP одинаковые, то правильно направление прогнозируется тоже в 12 свечах, как и в первом методе. Значит, второй метод лучше прогнозирует длинные свечи в ущерб прогнозированию направления в 5-и коротких свечах.
Но для Форекса, криптобирж и фондовой биржи гораздо важнее правильно прогнозировать длинные свечи, а не короткие.
Почему?
Да потому что на Форексе, криптобиржах и фондовой бирже трейдер потенциально больше всего зарабатывает на самых длинных свечах, и больше всего имеет убытков потенциально тоже на самых длинных свечах. На коротких свечах трейдер имеет маленькие прибыли и маленькие убытки.
Считается, что лучше, чтобы метод прогнозирования правильно определял направления сильных изменений цены, и слишком не акцентировался на правильном прогнозировании мелких изменений цены. Ведь чем более мелкие изменения цены, тем они более случайные и связаны с рыночным шумом. А правильное прогнозирование направления сильных изменений цен как раз и говорит о том, что метод прогнозирования правильно понимает природу рынка.
А вот, когда метод прогнозирования плохо прогнозирует сильные изменения цен, это как раз и говорит о том, что метод прогнозирования плохо соответствует свойствам прогнозируемого рынка. А хорошее прогнозирование мелких случайных изменений рынка говорит, скорее, о случайном совпадении, чем о том, что метод прогнозирования соответствует природе прогнозируемого рынка.
Теперь посчитаем пофреймовую прибыль двух методов прогнозирования, прогнозы которых показаны на рисунках выше. В следующей таблице даны ценовые котировки 20 фреймов, показанных на графике. В двух последних колонках показаны коэффициенты sk направлений прогнозов. Напоминаю, что sk = 1, если прогнозируется рост цены, и sk = -1, если прогнозируется падение цены.
Максимальная пофреймовая прибыль будет PFPfull = 508.25. Столько заработает трейдер, если в начале первого фрейма откроет позицию по цене открытия первого фрейма в направлении реального изменения цены первого фрейма, а закроет позицию в конце первого фрейма по цене закрытия первого фрейма. И тут же откроет новую позицию по цене открытия второго фрейма в направлении реального изменения цены второго фрейма и закроет её в конце второго фрейма. И так далее, по всем 20 фреймам. Другими словами, PFPfull, это сумма тел всех свечей без учета их направления.
Соответственно, это значение со знаком минус (-508.25) трейдер получит, если будет все позиции открывать, наоборот, в противоположных направлениях. Это будет максимальный пофреймовый убыток.
А теперь посмотрим, какую пофреймовую прибыль получит трейдер, если свои пофреймовые позиции он будет открывать в тех направлениях, которые соответствуют прогнозам. Для этого в каждом фрейме берем разности цены закрытия и цены открытия, умножаем эту разность на соответствующее число направления для первого метода (предпоследняя колонка) и суммируем по всем 20 фреймам. И то же самое делаем и для чисел направлений для второго метода прогнозирования (последняя колонка). Получаем:
- PFPpred = -315.57 для первого метода прогнозирования.
- PFPpred = +405.97 для второго метода прогнозирования.
В первом случае трейдер получит убытки, а со вторым методом прогнозированмя трейдер получит прибыль. Окончательно нормируем полученные результаты на величину максимальной пофреймовой прибыли и получаем:
- PFP = -0.6209
- PFP = +0.7988
Итак, при пофреймовой игре трейдер с первым методом прогнозирования получит убытки равные примерно 62% от максимального пофреймового убытка. А со вторым методом прогнозирования трейдер при пофреймовой игре получит почти 80% прибыли от максимальной пофреймовой прибыли.
И это, повторяю, при том, что количество верных прогнозов направлений было в обеих случаях одинаковым.
4. Некоторые свойства Пофреймовой Прибыли
- При подсчете пофреймовой прибыли/убытка никакие транзакционные издержки (спред, комиссия, своп) не учитываются.
- Движения цены внутри фрейма также не учитываются. Учитываются только цены открытия и цены закрытия фрейма. Поэтому, когда мы смотрим на ценовой график с японскими свечами, то для вычисления PFP не обращаем никакого внимания на ножки свечей и на пламя свечей.
- Пофреймовая прибыль всегда находится в интервале: -1 ≤ PFP ≤ +1. Если PCDP = 0 (все прогнозы направления ошибочные), то PFP = -1 (имеем максимальный убыток). Если PCDP = 1 (все прогнозы совпали), то PFP = +1 (получаем максимальную прибыль).
- Предыдущий пункт имеет отношение к нейросети Прогнозирующая Машина, но не к нейросети Прима. Дело в том, что у Примы длина тестового интервала всегда фиксированная и равна последним 25 введенным фреймам. Поэтому Прима дает в качестве результата отдельно и PFPpred, и PFPfull
- В реальности трейдер, разумеется, может заработать гораздо больше, чем PFPpred, так как у японских свечей кроме тела есть еще ножки и пламя. То есть на практике трейдер не обязан открывать позицию точно в начале фрейма и закрывать позицию точно по окончанию фрейма. На практике трейдер должен стремиться работать с максимальными и минимальными ценами внутри каждого фрейма. Метрика PFP, это некоторый формальный показатель качества прогнозирования.
5. Где искать PFP в прогнозах нейросети
Нейросеть "Прогнозирующая Машина" дает 3 прогноза цены закрытия будущего неизвестного фрейма. Каждый из этих 3-х прогнозов соответствует оптимизации одной из метрик прогнозирования на тестовых данных:
Соответственно, прогноз цены при оптимизации по метрике PFP находится в 3-й строке финальной таблицы прогнозов. Здесь показан пример таблицы прогнозов и зеленой линией обведенено то место, где надо смотреть значение метрики PFP.
В этом примере получается, что если бы трейдер на Форексе или на фондовой бирже совершал бы пофреймовую торговлю на тестовом периоде и при этом использовал бы прогнозы нейросети, то он заработал бы примерно 43.4% от той суммы, которую он смог бы заработать, если бы все свои пофреймовые сделки открывал в правильном направлении.
Это хорошо видно по окончательной величине депозита по результату пофреймовой торговли на тестовом периоде, как показано на следующем рисунке.
