Вероятность верного прогноза направления, это самая простая метрика качества прогнозирования. Она понятна любому начинающему трейдеру. Например, на бинарных опционах эта метрика уже прямо связана с прибылью трейдера. Но и на Форексе и на фондовой бирже эта метрика также больше связана с прибылью тредера по сравнению с метриками RMSE и R2.
1. Что такое PCDP
PCDP (Proportion of Correct Direction Predictions), это доля правильно предсказанных направлений движений цены.
Цена закрытия какого-нибудь тестового фрейма может отличаться от цены закрытия предыдущего фрейма тремя случаями:
- Цена может вырасти
- Цена может не измениться
- Цена может упасть
Мы делаем прогноз и видим, что прогнозная цена закрытия этого фрейма как-то пошла по сравнению с предыдущей ценой закрытия. Тоже может быть три варианта. При этом прогнозный вариант и реальный вариант движения цены могут совпадать, а могут и не совпадать.
Например, в реальности цена пошла вниз, а прогноз дал результат, что цена должна пойти вверх. Это несовпадение прогноза с реальностью.
Или, например, цена в реальности пошла вверх и прогноз тоже показал, что цена должна пойти вверх. Это совпадение прогноза и реальности.
Чтобы найти PCDP, надо посчитать, сколько было на тестовом историческом периоде совпадений прогнозов с реальностью и разделить на общее количество всех фреймов в тестовом периоде.
В результате получается число в пределах 0 ≤ PCDP ≤ 1. Это и есть доля совпадений направлений прогноза изменения цены и реального изменения цены. Это число трактуется, как вероятность совпадения прогноза направления с реальным направлением изменения цены.
2. Где вычисляют PCDP
Эту метрику качества прогноза вычисляют на самых последних тестовых фреймах, которые предшествуют будущему неизвестному фрейму, для которого надо сделать прогноз. Считается, что статистические свойства резко не изменятся на будущем фрейме по сравнению с предыдущими, например, 100 тестовыми фреймами.
Поэтому, если, например, на 100 фреймах совпадение направлений прогноза и реальности было в 70 случаев, то это значит, что прогноз направления изменения цены на будущем 101-ом фрейме исполнится с вероятностью 0.7. Ведь на предыдущих 100 фреймах прогнозы этого метода прогнозирования исполнялись в 7 случаях из 10.
3. Как вычисляют PCDP
Для вычисления PCDP на тестовом интервале подсчитывают, сколько было правильно и неправильно предсказанных направлений. Это распределение правильных и неправильных прогнозов заносят в специальную квадратную таблицу. После этого суммируют все элементы таблицы на главной диагонали и делят полученный результат на общее количество тестовых фреймов.
Рассмотрим пример. Пусть тестовых фреймов 100 штук. В реальности пусть было 47 фреймов с движением цены вверх, 3 фрейма без изменения цены и 50 фреймов с движением цены вниз. В таблице эти числа стоят в последнем столбце, а их сумма в ячейке желтого цвета.
А прогнозов пусть было, например, 56 раз вверх, 0 раз без изменения цены и 44 раза вниз. В таблице эти числа стоят в последней строке, а их сумма в ячейке желтого цвета.
В центральной серой части таблицы показано подробное распределение прогнозов изменения цен по реальным изменениям цен. Например, в верхней строке серой части таблицы стоят числа 32, 0 и 15. Они означают, что в 32 случаях из 47 движений цены вверх было верно предсказано, что цена пойдет вверх. Далее, было 0 прогнозов, что цена не изменится. Наконец, в 15 случаях из 47 было ошибочно предсказано, что цена пойдет вниз, а не вверх.
Итак, строки серой таблицы представляют собой распределения реальных движений цен по прогонозам. А столбцы серой таблицы, это, наоборот, распределения прогнозов изменения цены по их реальным изменениям.
Например, в третьем столбце серой таблицы стоят числа 15, 1 и 28. Это означает, что из 44 прогнозов движения цены вниз, правильными движениями вниз были только 28. И были ошибочные прогнозы снижения цены: в 15 случаях, на самом деле, цена шла вверх, а в одном случае цена не изменилась.
Складываем все числа на главной диагонали серой части таблицы: 32 + 0 + 28 = 60. Делим этот результат на число в желтой ячейке: 60 / 100 = 0.6. Итак, вероятность правильного прогноза направления изменения цены будет 0.6.
В идеальном случае при прогнозировании направления на все 100% у нас в сером квадрате должны были на главной диагонали стоять числа 47, 3 и 50. А в недиагональных ячейках должны были бы стоять только нули. Из-за вероятностного характера прогнозирования рыночных цен этот идеал недостижим. Но считается, что метод прогнозирования тем лучше, чем меньше стоят числа в недиагональных ячейках по сравнению с числами на главной диагонали.
4. Характерные пограничные значения PCDP
- PCDP = 0. Ни разу прогноз направления изменения цены не был правильным. На достаточно длинном тестовом интервале такое никогда не бывает. Самый плохой метод прогнозирования всегда хотя бы один раз верно паредсказывает направление изменения цены. Это происходит по той же самой причине, по которой самый лучший метод прогнозирования хотя бы раз ошибается, то есть из-за вероятностной природы прогнозирования.
- 0 < PCDP < 0.5. Если у ваших прогнозов PCDP находится в таком интервале, то на бинарных опционах вам нечего делать, а на Форексе и на фондовой бирже ситуацию может исправить только хороший финансовый менеджмент с грамотной расстановкой ордеров TP и SL.
- PCDP = 0.5. Половина всех прогнозов направления изменения цен оказалась верной, а другая половина всех прогнозов оказалась ошибочной.
- 0.5 < PCDP < 1. Обычно, в трейдинге считается, что если PCDP < 0.55, то это слабый метод прогнозирования. Если у вас 0.55 < PCDP < 0.6, то это средний метод прогнозирования на ваших данных. Очень хороший метод прогнозирования показывает результативность 0.6 < PCDP < 0.65. Наконец, если 0.65 < PCDP < 0.7, это просто супер! (Если PCDP = 0.8, это просто мошенники!)
- PCDP = 1. Все прогнозы направления изменения цены были правильными. На достаточно длинном тестовом интервале такое никогда не бывает. Самый лучший метод прогнозирования всегда хотя бы один раз ошибается. Это происходит из-за вероятностной природы прогнозирования.
5. Где смотреть PCDP в результатах прогноза
Нейросеть "Прогнозирующая Машина" выдает свои прогнозы будущих цен в виде таблицы из 3-х строк. Во второй строке этой таблице дается прогноз для случая, когда обучение нейросети было нацелено на максимизацию метрики PCDP на тестируемых исторических данных. В этом примере результирующей таблицы получившееся значение метрики PCDP обведенено зеленым цветом.
В этом примере получается, что в 60% всех прогнозов нейросеть "Прогнозирующая Машина" верно определила направление движения цены внутри фреймов от цены открытия фрейма до цены закрытия фрейма. В соответствии с Главной Формулой Бинарных Опционов, это означает, что для положительного математического ожидания надо, чтобы брокер на выигрыш выплачивал не менее 66.666...% от размера ставки, если на проигрыш теряется вся ставка.
В разделе тестирования прогнозов на тестовых данных калькулятор нейросети "Прогнозирующая Машина" по умолчению строит графики изменения депозита трейдера на бинарных опционах при пофреймовых ставках с бинарным опционом, в котором прибыль 75% от размера ставки и потери на проигрыш 100% от ставки. Один график для стратегии равных ставок, когда ставка всегда на каждом фрейме равна 10% от размера стартового капитала. Второй график для стратегии равной доли капитала на каждую ставку, когда эта доля равна оптимальной доли капитала на каждую ставку.
На этом примере видно, что так как МатОжидание положительное, то, не смотря на сильную волатильность депозита, депозит, в среднем, растет. Сильная волатильность депозита связана с тем, что опасная критическая доля капитала в данном примере равна 13.22%. Это близко к 10%. (Подробности см. по ссылке выше.)
