Калькулятор Лаговых Корреляций

1. Зачем нужен Калькулятор Лаговых Корреляций

1.1. Обычное использание корреляций в трейдинге и инвестициях

Обычно, корреляции в трейдинге и инвестициях используются для формирования инвестиционного портфеля по принципу: "Не клади все яйца в одну корзину". То есть в портфель собирают некоррелирующие между собой рыночные активы, чтобы застраховаться от такой ситуации, когда все эти активы одновременно упадут в цене. Необходимо, чтобы, когда одни активы в портфеле падают в цене, то другие активы никак бы не реагировали на это падение.

Например, изветно, что евро, британский фунт и швейцарский франк достаточно сильно коррелируют друг с другом. Значит, если вы на Форексе часть своих средств вложили в рост валютной пары EUR/USD, то не следует другую часть своих средств вкладывать в рост валютной пары GBP/USD. Ведь, если цена EUR/USD упадет, то с очень большой вероятностью упадет и цена GBP/USD.

Также в одном портфеле не имеет большого смысла сочетать открытые сделки на одновременный рост EUR/USD и USD/CHF, так как эти валютные пары антикоррелируют. Поэтому прибыль за счет роста EUR/USD будет с большой вероятностью уменьшаться падением USD/CHF.

Но антикоррелирующие акции сочетать можно, если вы получаете дивиденды по ним. Падение одной акции будет компенсироваться ростом другой акции. И вы будете зарабатывать на дивидендах.

Вот, собственно, и вся краткая суть.

1.2. А что хотелось бы на самом деле

А хотелось бы знать, какие рынорчные активы сильно коррелируют (или антикоррелируют) друг с другом с каким-нибудь временным лагом. То есть, хочется знать, цены каких рыночных активов повторяют (или антиповторяют) поведение цен каких-то других рыночных активов и с каким запаздыванием идет это повторение (или антиповторение).

Например, если мы знаем, что актив A сильно коррелирует с активом B с лагом в 3 фрейма, то, увидев, что начался сильный рост цены на A, мы бы заранее купили бы актив B, предполагая, что через 3 фрейма начнется и его сильный рост. И, наоборот, если началось падение цены актива A, то это был бы сигнал к тому, что через 3 фрейма начнется падение актива B.

А если A и B антикоррелируют друг с другом с лагом, например, равным 5 фреймам, то падение цены на A будет говорить, что с большой вероятностью через 5 фреймов начнется рост цены на B. А рост цены на A будет с большой вероятностью прогнозировать падение цены на актив B через 5 фреймов.

1.3. Что делает Калькулятор Лаговых Корреляций

Классичеким примером устойчивой лаговой корреляции была корреляция цен на сырую нефть марки Brent и природный газ в 80-90-х и нулевых годах. Если цена сырой нефти марки Brent начинала расти или падать, то с лагом в 2-6 недель то же самое происходило и с ценами на природный газ. Поэтому примерно до 2015 года можно было хорошо прогнозировать будущее поведение цены на природный газ по сегодняшнему поведению цены на нефть марки Brent. Но сейчас этот пример с нефтью и газом работает, к сожалению, уже не так хорошо.

Каждый трейдер мечтает найти пару таких рыночных активов, чтобы они коррелировали между собой с каким-нибудь устойчивым лагом. Но поиск таких вещей в каком-нибудь Экселе достаточно трудоемкий и требует больших затрат времени. Если трейдеры находят такие пары рыночных активов, то они не спешат делиться этой информацией с другими трейдерами. Часто мы узнаем о таких рыночных активах из открытых источников уже тогда, когда лаговая корреляция между ними уже пропадает.

Представленный здесь Калькулятор Лаговых Корреляций существенно упрощает и ускоряет процесс поиска таких рыночных активов.

Вам надо просто вставить в Калькулятор исторические данные котировок подозреваемых рыночных активов, а Калькулятор посчитает все лаговые корреляции и выдаст результат в виде графика зависимости коэффициента корреляции от величины лага и в виде таблицы числовых значений. Если вы обнаружили, что на каком-то лаге находится сильная корреляция или антикорреляция, то вы можете взять иторические данные этих активов на другом временном интервале и убедиться, что лаговая корреляция устойчивая или, наоброт, иногда пропадает.

1.3.1. Автокорреляция

Дополнительной особеннотью Калькулятора Лаговых Корреляций является то, что он может вычислять функцию автокорреляции заданного рыночного актива.

Для этого надо в оба окна ввода поместить исторические данные не двух разных активов, а одного и того же рыночного актива. Лаговая корреляция между одним и тем же рыночным активом является функцией автокорреляции этого рыночного актива.

По тому, как быстро или медленно функция автокорреляции обращается к ноль, можно судить о том, на сколько фреймов в прошлое длится "память" на данном таймфрейме у данного рыночного актива. Короткая "память" говорит о том, что на данном таймфрейме для данного актива плохо работают любые методы прогнозирования будущих цен. Длинная "память" говорит о том, что на данном таймфрейме для данного актива хорошо работают хорошие методы прогнозирования цен. (А плохие методы всегда и везде работают плохо.)

2. Инструкция Калькулятора Лаговых Корреляций

Для лаговых корреляций вам надо сделать 3 следующих шага:

1. Вставить в окна ввода исторические данные котировок двух (или одного и того же) рыночного актива в формате MeteTrader-4. (Конвертировать данные вашего брокера и вашей торговой платформы в формат МетаТрейдер-4 можно в этом бесплатном Конверторе котировок.)
2. Выбрать, у какой характеристики данных вы хотите посмотреть лаговые корреляции:
   • Цена открытия фреймов
   • Максимальная цена фреймов
   • Минимальная цена фреймов
   • Цена закрытия фреймов
   • Объем торговли
   • Средняя цена фрейма по ценам открытия и закрытия фрейма
   • Средняя цена фрейма по ценам всех 4-х цен фрейма: открытия, максимальная, минимальная и закрытия
3. Если вы хотите найли лаговые корреляции между разными рыночными активами, то надо выбрать способ восстановления пропущенных данных (на тот случай, если имеются пропуски данных):
   • Восстанавливать пропуски предыдущими данными.
   • Восстанавливать данные линейной интерполяцией с использованием данных на границах пропусков.

После нажатия на кнопку "Вычислить!", Калькулятор вычисляет лаговые корреляции выбранных вами последовательностей.

2.1. Подробности Инструкции Калькулятора Лаговых Корреляций

2.1.1. Исторические данные котировок

Ваши данные должны удовлетворять следующим уловиям:

• Данные должны быть в формате МетаТрейдер-4. Если ваш брокер и ваш торговый терминал дают данные в другом формате, то сначала надо конвертировать их в формат MeteTrader-4 с помощью Конвертора по ссылке выше.
• Данные должны быть в одном и том же таймфрейме. Например, если данные для первого актива в 4-часовом таймфрейме, то и данные для второго рыночного актива тоже должны быть в 4-часовом тайм-фрейме. Допускаютя нестандартные таймфреймы, созданные Комбайнером. Если вы введете данные в разных таймфреймах, то Калькулятор посчитает, что один из активов имеет недопустимо большое количество пропусков данных и выдаст сообщение об ошибке.
• Калькулятор работает с данными длиной от 32 до 1280 фреймов. Если хотя бы один из активов имеет длину меньше 32, то Калькулятор откажется от вычислений и выдаст сообщение об ошибке. Если длина актива больше 1280 фреймов, то отбрасываются более ранние фреймы, чтобы осталось 1280 фреймов. Считается, что более значимые для пользователя данные находятся по времени позже, а не раньше. Если данные одного из активов по длине больше другого, то также у более длинного актива отрезается более ранняя часть, чтобы оба актива имели одинаковое количество фреймов.
• Даты и время последних фреймов у обеих активов должны совпадать. Иначе Калькулятор выдаст сообщение об ошибке. Последние фреймы являются для Калькулятора точками отсчета от которых он ищет другие фреймы с совпадающими датами и временем.

2.1.2. Выбор данных для вычисления лаговых корреляций

При выборе данных для вычисления лаговых корреляций нужно помнить о следующем:

• Если на каком-то лаге наблюдается пик (или впадина) лаговых корреляций не только цен закрытия, но и других цен, особенно, средних цен, то это является очень хорошим признаком того, что на данном лаге, действительно, рассматриваемые активы сильно коррелируют (или антикоррелируют). Если на других ценах величина этого лага не подтверждается, то это эффект "Николаса Кейджа и утонувших в бассейнах".
• Если разные цены подтверждают разные значения лага, но эти значения очень близкие, то, скорее всего, лаг существует, но очень плохо выраженый. Например, если одни цены показывают пик на лаге 3, другие имеют пик на лаге 4, а третьи на лаге 5, то реально, скорее всего, в районе лагов 3, 4 и 5 находится не пик, а широкий низкий холм.
• Если величина лага не подтверждается на объемах торговли, то это ничего не значит. Но если подтверждается, то это говорит только в пользу данной величины лага.

2.1.3. Выбор метода восстановления данных

2.1.3.1. Почему появляются пропуски данных

Пропуски данных появляются из-за несовпадения биржевых календарей разных стран мира. Разные страны мира имеют свои национальные праздники во время которых фондовые биржи отдыхают.

Например, если вы пытаетесь искать лаговые корреляции между российскими акциями и американскими, то у вас не будет данных по американским активам за такие дни, как католическое рождество, день независимости США, день благодарения и т.д., а российские активы в эти дни будут иметь данные. В свою очередь, у вас не будет данных по российским активам за такие дни, как 8 марта, день России, новогодние выходные и т.п., хотя по американским активам за эти дни данные будут присутствовать.

2.1.3.2. Проблема с пропущенными данными

Когда вычисляют обычные корреляции (то есть с нулевым лагом), то такие дни просто выкидывают из рассмотрения. Например, если нет данных по американской акции за 25 декабря, то, для вычисления простой корреляции с российской акцией, из котировок российской акции тоже выкидывается данные за 25 декабря, и считается, что для российской акции после 24 декабря сразу наступило 26 декабря, как для американской.

Но при вычислении лаговых корреляций так поступать уже нельзя. Иначе, у нас уже не будет на всем интервале вычисления корреляций один и тот же лаг. За удаленной датой начнет расти область более высокого лага, чем на всем остальном интервале. В результате вычисление лаговой корреляции станет бессмысленным.

Поэтому вместо удаления тех фреймов, в которых у другого актива пропуск данных, применяется формальное восстановление пропущенных данных. Если восстановленных данных не более 2% от всех данных и если восстановленные данные такого же порядка, как и предыдущие и последующие данные, то это практически не повлияет на вид зависимости коэффициента корреляции от величины лага.

2.1.3.3. Формальное воссстановление пропущенных данных

Вопрос только в том, как сделать корректное формальное восстановление пропущенных данных. Есть 2 распространенных способа:

1. Восстановление предыдущими данными. Например, когда смотрим лаговые корреляции между российской акцией и американской, то считаем, что все цены и объем торгов 25 декабря у американской акции были точно такими же, как и 24 декабря. Аналогично, все цены и объем торгов российской акции во все дни на новогодних праздниках были точно такими же, как и в последний биржевой день прошлого года.
2. Восстановление данных линейной интерполяцией. В этом случае формально считается, что в дни пропусков данных все цены и объем торгов постепенно меняются по линейной зависимости от последнего дня перед пропуском данных до первого дня после окончания пропуска данных. Например, 25 декабря все цены и объем торгов американской акции формально принимают значение равные среднему арифметическому от цен и объемов за 24 и 26 декабря.

2.1.3.4. Выбор способа восстановления

Понятно, что первым способом надо восстанавливать данные, когда в нерабочие дни биржевой актив совсем нигде не торгуется.

А второй способ применяется, когда рыночный актив в нерабочие дни продолжает торговаться на внебиржевом рынке. Например, торговля валютами продолжается в нерабочие дни в обменных пунктах и в других странах мира. Часто на тот факт, что в нерабочие дни продолжалась торговля данным рыночным активом, указывает наличие сильного гэпа в момент открытия торговли на бирже. Так биржа реагирует на информацию об изменении цены на данный актив, пока не было биржевых торгов.

Если пропущенных данных более 2% от объема всех данных рассматриваемого рыночного актива, то Калькулятор не делает расчет и выдает сообщение об ошибке.

Если вы ввели одни и те же данные для двух активов, то есть хотите посмотреть функцию автокорреляции, то кнопка выбора способа восстановления может находиться в любом положении. Калькулятор не найдет пропущенных данных, так как каждому фрейму из левого окна ввода всегда найдется соответствующий ему фрейм в правом окне ввода с такой же датой и временем. (Если, конечно, вы специально не экспериментируете с удалением некоторых строк.)

3. Результат вычислений Калькулятора Лаговых Корреляций

3.1. Удаление ранних данных

Сначала сообщается, сколько данных было взято для анализа. Если данных было введено более 1280 фреймов, то ранние по времени фреймы выкидываются так, что остается только 1280 последних фреймов.

3.2. Восстановление пропущенных данных

Калькулятор анализирует, все ли даты и время каждой строки одного рыночного актива соответствуют той же строке другого рыночного актива. Если обнаружено несоответствие, то это означает, что в данных одного или двух рыночных активов имеются пропуски строк.

Разное количество введенных фреймов также приводит к несоответствию даты и времени соответствующих строк. Такая ситуация говорит о том, что в начале данных имеются пропуски фреймов по сравнению с фреймами другого рыночного актива. Эти пропущенные в начале фреймы невозможно восстановить, так как нет предыдущих значений. Поэтому более длинные данные всегда укорачиваются до размера коротких данных.

Пропущенные строки восстанавливаются формальными фреймами в соответствии с выбранным методом восстановления пропущенных данных.

3.3. Графики зависимости коэффициента корреляции от размера лага

По вертикальной оси на графиках показана величина коэффициента корреляции. Поэтому эта ось идет от минус единицы до плюс единицы. По горизонтальной оси показана величина лага выраженная в количествн фреймов. Поэтому в самом начале оси при нулевом лаге мы имеем значение обычной корреляции двух рыночных активов.

Если это не два разных актива, а один и тот же актив, то на графиках будет одна и та же функция автокорреляции. При нулевом лаге функция автокорреляции всегда равна +1.

Вы можете увидеть на двух графиках, имеются ли более менее острые максимумы в районе плюс единицы и более менее острые минимумы в районе минус единицы, которые свидетельствуют о наличие корреляции с запаздыванием.

Если вы смотрите функцию автокорреляции, то вы можете увидеть, на сколько резко или, наоборот, плавно происходит зануление функции автокорреляции. На основании чего вы можете судить, плохая или хорошая будет прогнозируемость данного рыночного актива на данном таймфрейме на интервале равном половине интервала взятого в работу.

3.4. Полученные данные для скачивания

Данные двух графиков, представленны в двух окнах в csv-формате для их скачивания и любого другого дальнейшего использования.

3.5. Таблицы полученных данных

Те же самые данные двух графиков, но представленные в виде двух таблиц для визуального просмотра.

4. Что нужно искать в результатах вычислений

4.1. Лаговые корреляции разных рыночных активов

4.1.1. Максимумы и минимумы лаговых корреляций

Максимум значения корреляции вблизи плюс единицы на графике лаговых корреляций показывает, через сколько фреймов один из рыночных активов начинает сильно коррелировать с другим рыночным активом. Первый график показывает запаздывание второго рыночного актива относительно первого. То есть значение максимума в районе плюс единицы на первом графике показывает, через сколько фреймов второй рыночный актив начинет статистически (то есть в среднем) вести себя похоже на то, как вел себя ранее первый актив.

Например, если цена первого актива когда-то начала расти, то спустя сколько фреймов начнет расти цена второго актива. Если цена первого актива когда-то начала падать, то спустя сколько фреймов начнет падать цена второго актива. То же самое, аналогично, и для объемов торгов, если вы указали исследовать не цены, а объемы торгов.

Минимум значения корреляции вблизи минус единицы на графике лаговых корреляций показывает, через сколько фреймов один из рыночных активов начинает сильно антикоррелировать с другим рыночным активом. Первый график показывает запаздывание второго рыночного актива относительно первого. То есть значение минимума в районе минус единицы на первом графике показывает, через сколько фреймов второй рыночный актив начинет статистически (то есть в среднем) вести себя противоположно тому, как когда-то вел себя первый актив.

Например, если цена первого актива когда-то начала расти, то спустя сколько фреймов начнет, наоборот, падать цена второго актива. Если цена первого актива когда-то начала падать, то спустя сколько фреймов начнет, наоборот, расти цена второго актива. То же самое, аналогично, и для объемов торгов, если вы указали исследовать не цены, а объемы торгов.

Для второго графика всё то же самое, но только там показано уже запаздывание, наоборот, первого актива относительно второго. Например, максимум значения корреляции вблизи плюс единицы показывает, через сколько фреймов первый актив будет вести себя подобно тому, как себя вел второй актив.

Для примера здесь показаны два рисунка с несколькими максимумами и минимумами лаговых корреляций. Но не все эти максимумы и минимумя являются значимыми.

На первом рисунке присутствует только один значимый максимум с лагом равным 5 фреймам, так как этот максимум имеет значение близкое к плюс единице. Остальные минимумы и максимумы не принимаем во внимание, так как эти другие максимумы не имеют значения около плюс единицы, и все эти минимумы не имеют значения вблизи минус единицы.

На втором рисунке имеется только один значимый минимум с лагом равным 15 фреймам, так как этот минимум имеет значение близкое к минус единице. Остальные минимумы и максимумы не рассматриваем, так как все эти другие максимумы не имеют значения вблизи плюс единицы, и эти дополнительные минимумы не имеют значения около минус единицы.

4.1.2. Устойчивость минимумов и максимумов

Если вы обнаружили какие-то значимые максимумы и/или минимумы на графиках лаговых корреляций двух разных рыночных активов, то надо убедиться, что это достаточно устойчивые минимумы и/или максимумы. Если это не эффект "Николаса Кейджа и утонувших в бассейнах", а действительно существует какая-то причинно-следственная связь появления значимого экстремума лаговой корреляции, то, скорее всего, этот значимый экстремум будет обнаружен и на других интервалах времени.

Поэтому необходимо убедиться, что и на других интервалах времени присутствует этот значимый экстремум.

Для примера здесь показаны те же самые графики лаговых корреляций тех же самых рыночных активов, какие были показаны в предыдущем разделе 4.1.1, но на другом интервале времени. Хорошо видно, что на первом рисунке исчез значимый максимум с лагом равным 5 фреймов. А на втором графике значимый минимум с лагом равным 15 фреймов сохранился, хотя и изменил свою форму, став менее острым..

Значимые экстремумы могут сохраняться не только меняя свою форму. Они могут немного смещаться вправо или влево. Их значения на пике и на дне могут повышаться или понижаться, но оставаться в районе значимости.

Для максимума район значимости, это, как правило, значения выше (+0.8) - (+0.9), а для минимума район значимости, это, обычно, значения ниже (-0.8) - (-0.9). Точные значения границы значимости зависят от того, как ведет себя лаговая корреляция по бокам от экстремумов.

Проверять желательно не один другой интервал времени, а несколько. Например, вы обнаружили значимый экстремум на интервале времени от 1 фрейма до 100 фреймов в прошлое. Желательно убедиться, что этот значимый экстремум сохраняется и на интервалах времени: от 25 до 125 фреймов в прошлое, от 50 до 150 интервалов в прошлое, от 75 до 175 фреймов и от 100 фреймов до 200. Возможно, при этом вы увидите тенденцию. Например, что экстремум становится всё более значимым и ярко выраженным, или значимость экстремума постепенно пропадает.

Возможно, вы заметите тенденцию смещения лага, на котором происходит экстремум. Если в прошлом лаг был большой, а потом пошла тенденция уменьшения лага, то это часто является признаком того, что этот лаг задолго до вас обнаружили другие трейдеры и количество этих трейдеров всё время увеличивается. Поэтому покупка или продажа запаздывающего актива начинает совершаться, в среднем, в более раннее время.

4.2. Лаговые корреляции одного и того же рыночного актива

4.2.1. Быстрота падения функции автокорреляции в ноль

Если функция автокорреляции рыночного актива очень быстро падает в район нуля и продолжает там находиться при увеличении лага, то это признак того, что данный рыночный актив на данном таймфрейме имеет очень случайный характер изменения цены (или объема, если смотрим автокорреляцию объема торговли).

Это поведение функции автокорреляции очень сильно напоминает поведение функции автокорреляции белого шума (выпадение чисел в рулетке, подбрасывание монеты и т.п.). Когда цены рыночного актива ведут себя очень случайно, как белый шум, цены такого рыночного актива невозможно предсказать никакими методами прогнозирования. У данного актива практически отсутствует долговременная "память" в прошлое.

Наоборот, если функция автокорреляции падает очень медленно, то это признак того, что на данном таймфрейме рыночный актив имеет достаточно хорошую долговременную "память" в прошлое.

Такой рыночный актив поддается прогнозированию на данном таймфрейме на выбранном интервале времени. Особенно хорошо он будет прогнозироваться нейронными сетями на нашем сайте.

Необходимо хорошо понимать, что на разных таймфреймах может быть разной прогнозируемость одного и того же рыночного актива. И обнаружить это можно построив график функции автокорреляции в разных таймфреймах с одним и тем же окончанием исторических данных по дате и времени.

4.2.1.1. Определение длительности "памяти" поведения рыночного актива

Еще одно применение графиков автокорреляции состоит в том, что по месту зануления автокорреляции можно понять, какие значения не должны превышать параметры разных индикаторов технического анализа. То есть первое зануление функции автокорреляции задает ограничение для выбора параметров технического анализа.

Например, вы хотите построить 2 скользящие средние с разными размерами скользящего окна, чтобы посмотреть пересечения этих двух кривых. Допустим, в книжке по теханализу написано, что быстро меняющееся скользящее среднее надо построить по окну 5 фреймов, а медленно меняющееся надо строить по 20 фреймам.

Многие трейдеры слепо верят книжке и строят именно такие скользящие средние. А потом еще и удивляются, почему в другой книжке предлагают строить, например, по 7 и 30 фреймам.

На самом деле нужно сначала проверить, через сколько фреймов функция автокорреляции первый раз обращается в ноль. Если она обращается в ноль первый раз через 50 фреймов, то всё нормально, можно при построении скользящих средних использовать и пару 5 и 20 фреймов и пару 7 и 30 фреймов.

Но если она первый раз зануляется через 15 фреймов, то использовать такие большие скользящие окна бессмысленно на данном таймфрейме. Нет никакого смысла смотреть усреднение по таким прошлым данным, которые уже "забыты" и не влияют на ту точку в которой делается усреднение. Размеры скользящих окон не должны превышать размер зануления функции автокорреляции. Придется строить скользящие средние, например, по 3 и 13 фреймам.

4.2.2. Периодические колебания функции автокорреляции

Часто можно увидеть, что функция автокорреляции какого-нибудь рыночного актива испытывает значительные колебания. На каких-то лагах автокорреляция принимает положительные значения, а на каких-то отрицательные значения. Эти лаговые участки имеют разную длину, то есть нет строгого периода колебаний. Но отклонения этих длин от среднего значения незначительные. Также нет строгого значения амплитуду этих колебаний.

Эти колебания автокорреляции сильно напоминают функцию автокорреляции периодических функций. И это не случайно. Такие колебания у функции автокорреляции наблюдаются, если сам процесс тоже испытывает некоторые сильные колебания с некоторым средним периодим и некоторой средней частотой.

Найти эти средние периоды и амплитуды можно с помощью бесплатного калькулятора спектра рыночных волн.