Конвертор данных

1. Что делает Конвертор данных

Конвертор данных конвертирует котировки из формата вашего брокера и вашнй платформы в формат MetaTrader-4.

2. Зачем это вам нужно

Наши нейронные сети и другие калькуляторы этого сайта принимают данные в самом распространенном формате данных, то есть в формате МетаТрейдер-4. Чтобы занеcти ваши данные в нейросеть для прогнозирования цены или в другие калькуляторы этого сайта, надо сначала ваши данные преобразовать в формат MetaTrader-4. А это как раз и сделает данный Конвертор.

3. Почему бы нейросетям самим не конвертировать данные

Нейросетям есть чем заняться более важным, чем каждый раз конвертировать ваши данные. Лучшая схема работы, это только один раз преобразовать ваши данные, а потом многократно использовать их в нейросетях. Это экономит много времени. А нейросети и другие калькуляторы пусть занимаются своим делом.

4. В какой формат преобразуются данные

Формат MetaTrader-4 представляет собой таблицу строк и столбцов. Каждая строка содержит данные по отдельному фрейму (японская свеча, бар). Столбцы в строке разделены запятыми. Всего 7 столбцов.

Каждая строка соответствует следующему шаблону:

гггг.мм.дд,чч:мм,open,max,min,close,volume

Здесь:

• гггг - год 4-мя цифрами
• мм в колонке даты - номер месяца 2-мя цифрами
• дд - дата 2-мя цифрами
• чч - часы 2-мя цифрами
• мм в колонке времени - минуты 2-я цифрами
• open - цена открытия фрейма (если есть дробная часть, то она отделяется точкой)
• max - максимальная цена в течение фрейма (если есть дробная часть, то отделяется точкой)
• nim - минимальная цена в течение фрейма (если есть дробная часть, то отделяется точкой)
• close - цена закрытия фрейма (если есть дробная часть, то она отделяется точкой)
• volume - объем торгов в течение фрейма (если есть дробная часть, то она отделяется точкой)

Если вы в своем торговом терминале скачали исторические данныне, в которых строки имеют точно такой же вид, значит, это данные уже в формате МетаТрейдер-4.

А если хоть что-то не так, то вам нужно с помощью данного Конвертора преобразовать их в нужный формат.

4.1. Что может быть не так

Не так, как в формате MT-4, может быть всё что угодно. Каждая команда программистов, которая создает новые торговые терминалы, считает себя самой умной и считает, что формат самого распростаненного торгового терминала им на указ. (Ну, или у них есть другие причины.) Поэтому многие торговые терминалы имеют свои форматы исторических данных, которые вы можете скачать на торговой платформе или на сайте у вашего брокера.

Самые распространенные встречающиеся отличия от нашего формата МТ-4, следующие:

• Первая строка является служебным заголовком, которы не нужен.
• Другой порядок колонок. Например, переставлены местами max и min.
• Есть дополнительные колонки. Например, с названием биржевого актива, названием биржи, с дополнительной корректированной ценой закрытия close.
• Нет какой-нибудь колонки. Иногда бывает, что отсутствует колонка объемов.
• Дробная и целая часть числа отделяются не точкой, а запятой, как в программе Excel.
• Столбики разделяются не запятыми, а чем-то другим. Например, пробелом или точкой с запятой.
• Во времени указываются еще и секунды.
• Часы и минуты разделяются не двоеточием. Например, косой чертой или пробелом или, вообще, ничем, то есть идут встык.
• В дате год записан не четырьмя цифрами, а только двумя.
• В дате год, месяц и день разделены не точками. Например, дефисом, косой чертой, или, вообще, ничем, то есть идут встык.
• В дате впереди стоит не год, а день или даже месяц.
• И т.д.

4.2. Почему в Конверторе надо самому указывать введенный формат

Встречаются порой очень сложные случаи, которые программа не может распознать самостоятельно.

Например, американкие биржы выдают даты в американском формате мм/дд/гггг, а европейкие биржи в европейском формате дд/мм/гггг. В результате, очень трудно понять, что например, означает дата 03/07/2022. Это 3-е июля или 7-е марта.

Или, например, объемы торгов могут быть очень похожими на цены, быть примерно такими же. А сама колонка объемов может стоять не после колонок цен, а перед ними. Поэтому объемы можно легко спутать с ценами.

Есть еще и другие случаи, которые могут запутать программу автоматического распознавания формата данных, введенных пользователем.

Вот поэтому будет лучше, если пользователь сам укажет программе конвертации, что из ссебя представляют его данные, какой имеют формат.

5. Инcтрукция использования Конвертора

В настройках Конвертора есть подсказки, которые появляются на желтом фоне перед кнопкой "Конвертировать!", когда вы кликаете мышкой те или иные настройки. Тем не менее, приведем здесь более подробную инструкцию по применению Конвертора. И рассмотрим типичные трудности, с которыми может столкнуться пользователь.

Обратите внимание, что по умолчанию, когда вы первый раз заходите на страницу Конвертора, настройки стоят в таких позициях, которые сответствуют формату MetaTrader-4. Если ваши данные не в формате MT-4, то вам надо хоть что-то изменить в настройках.

А если вы ничего не меняете в настройках, и Конвертор срабатывает без сообщений об ошибках и выдает новые данные, которые ничем не отличаются от введенных вами, то это означает, что вы ввели данные уже в формате МТ-4. То есть для ваших данных Конвертор не нужен.

5.1. Разделитель столбцов

Здесь надо выбрать, чем разделяются у вас столбцы. Всего 5 вариантов:

• Запятая
• Точка с запятой
• Пробел
• Табулятор
• Точка

Трудности у пользователя, обычно, бывают с определением того, что его колонки разделены табулятором, а не пробелом. Табулятор выглядит как несколько пробелов. А курсор проскакивает табулятор за один раз, не за несколько раз, когда курсор перемещается по нескольким пробелам, которые стоят друг за другом.

Разделитель в качестве точки применяется очень редко. Поэтому, если вам кажется, что у вас разделитель в виде точки, то проверьте всё ещё раз. Возможно, на самом деле, точка у вас, это разделитель целой и дробной частей числа в ценах и объеме.

5.2. Номера колонок

Нумерация колонок идет, как обычно, слева направо, и начинается с единицы.

Все номера колонок должны быть разными. Встречаются такие торговые платформы, которые выдают данные, где дата и время находятся в одной колонке и не разделены разделителем. Но это экзотика.

Если брокер уважает своих трейдеров, то он такие фокусы не делает. Или такой брокер дает трейдерам возможность дополнительно скачать данные в другом варианте с разделенными колонками даты и времени. Вам нужно просто внимательно посмотреть страницу скачивания данных и найти там соответствующий пункт меню.

Ели в ваших данных нет колонки объемов, то для номера колонки объема выбирайте пункт "Нет". Если вы выбрали такой пункт настроек, то все настройки формата колонки объема будут игнорироваться. А в результирующую колонку объема будут везде поставлены числа 1.

Обратите внимание, что даже если в ваших данных есть колонка объема, то вы можете всё равно в настройках указать, что колонки объема нет. В результат тоже будут поставлены единичные объемы. Но при этом вам будут недоступны некоторые вычисления в наших калькуляторах. Например, вы не сможете посмотреть спектр колебаний объемов и их производных.

5.3. Формат колонок

Выбор форматов даты и времени достаточно легкий.

Для цен и объемов надо указать, чем отделяется целая и дробная части, точкой или запятой.

Обратите внимание, что целая и дробная части не могут разделятья тем же символом, каким разделяются колонки. Ессли колонки разделяются запятыми, то дробная часть может отделяться только точкой (как в МТ-4). А если колонки разделяются точками, то дробная часть может отделяться только запятой.

Иногда для удобства чтения чисел с большим числом знаков применяют разделители разрядности. Например, если дробная часть отделяется точкой, то вместо 1234567.89 пишут 1'234'567.89 или пишут 1 234 567.89, или даже 1,234,567.89. А если дробная часть отделяется запятой, то вместо 1234567,89 пишут 1'234'567,89 или пишут 1 234 567,89, или даже 1.234.567,89.

Вам надо понять, применяются ли у вас разделители разрядности для цен и объемов и указать это в настройках. Для этого внимательно смотрим на идущие подряд 4 цифры, разделены они чем-то или нет. Обратите внимание, что в большинстве случаев разделители разрядов встречаются в целой части числа. Но бывает, что они встречаются и в дробной части числа. Особенно, нужно хорошо посмотреть не применяется ли в качестве разделителя знак пробела, так как пробел порой бывает еле заметен.

Также обратите внимание, что если дробную часть числа от целой отделяет точка, то точка не может быть разделителем разрядов. А если дробную часть числа от целой отделяет запятая, то, соответственно, запятая не может быть разделителем разрядов.

Так как разделители разрядов просто удаляются из записи числа, то если число не имеет разделителей разрядов, а вы по ошибке выбрали какой-то разделитель разрядов, то будет всё нормально. Но если разделители разрядов присутствуют, а вы не указали это или указали неправильный разделитель, то Конвертор выдаст сообщение об ошибке.

5.4. Удаление строк

Если первая строка, это какая-то служебная строка, например, с названием того, какие у вас данные, или с указанием расшифровки того, что находится в колонках, то эту строку надо обязательно удалить. Для этого в разделе "Удаление строк" ставим галочку в пункте "Заголовок".

Если последняя строка, это текущий ещё не закрытый фрейм (несформированная свеча), то её тоже надо удалить, так как в ней правильная только цена открытия. А цена закрытия, максимальная и минимальная цены еще неизвестны.

Если вы собираетесь прогнозировать цену закрытия этого текущего фрейма, то этот фрейм должен быть удален. Иначе нейросети будут считать, что этот фрейм уже сфермировался и надо делать прогноз следующего фрейма, который получится в будущем после несформировавшегося фрейма. Понятно, что такой прогноз будет очень сильно неправильным, так как прогнозируется по неправильным последним данным.

Для удаления последней строки ваших данных, надо в разделе "Удаление строк" поставить галочку в пункте "Последняя строка".

Если вам надо удалить первую строку, то её надо удалить обязательно. Иначе будет сообщение об ошибке.

А если вам надо удалить последнюю строку, то её можно в Конверторе не удалять. Тогда просто не надо забывать её удалять при внесении конвертированных данных в какой-нибудь калькулятор или при внеении данных в нейросети.

5.5. Результат

Итак, вы указали все настройки и нажали на кнопку "Конвертировать!".

5.5.1. Если что-то пошло не так

Если будет ошибка, которая препятствует процессу завершения конвертации, то вместо конвертированных данных вам будет выдано сообщение об ошибке. У вас есть 2 варианта:

1. Запомните сообщение об ощибке и вернутесь на предыдущую страницу браузера для иправления ошибки. Все ваши настройки будут сразу же стоять такими же, какими они были при нажатии кнопки "Конвертировать!". Исправьте ошибку и снова нажмите на кнопку "Конвертировать!".
2. Не возвращайтесь назад, а исправляйте ошибку на той странице браузера, где находитесь. Все ваши настройки здесь уже стоят такими же, какими они были при нажатии кнопки "Конвертировать!". Исправьте ошибку и снова нажмите на кнопку "Конвертировать!". Только сначала уберите все галочки с пунктов удаления первой и последней строк, так как на этой странице у ваших данных в окне ввода данных уже удалены эти строки, если вы заказывали их удаление. Поэтому галочки нужно убрать, чтобы не были удалены нужные строки.

5.5.2. Если формально всё правильно

Если все настройки были указаны правильно, а ваши данные формально соответствуют этим настройкам, то под формой ввода Конвертора появится окно с полученными данными в формате МетаТрейдер-4. Сначала убедитесь, что эти данные действительно соответствуют формату MetaTrader-4. Если всё правильно, то можно выделить их (или их часть) и копировать их с помощью клавиш CTRL-C (для операционной системы Windows на вашем компьютере).

Если данные формально конвертировались, но в них что-то не так (например, переставлены местами колонка объема с какой-нибудь колонкой цены, и т.п.), то значит, вы где-то неправильно указали настройки Конвертора. Посмотрите еще раз в форму ввода Конвертора, там будут ваши данные. А в настройках Конвертора будут стоять ваши настройки.