Список форумов AmiSite.ru AmiSite.ru
Форум по Ами
 FAQ  •  Поиск  •  Пользователи  •  Группы   •  Регистрация  •  Профиль  •  Войти и проверить личные сообщения  •  Вход
 Стабильность работы Ами с большими базами Следующая тема
Предыдущая тема
Начать новую тему  Ответить на тему
Автор Сообщение
Mechanic



Зарегистрирован: 10.06.2008
Сообщения: 359

СообщениеДобавлено: Вт Май 28, 2013 7:21 pm Ответить с цитатой Вернуться к началу

Есть валютная база с минутками с 2004 года. Примерно 3.5 млн. баров на символ. Предел в настройках базы - 5 млн. баров. Ами с ней работает через пень-колоду - то стабильно, то вылет за вылетом. Причём заметил, что вылетает, в основном, когда последовательно просчитываешь несколько символов. Например, нужно добавить несколько композитов (такой же длины - 3.5 млн. баров) - создаёт 3-4 композита и вылетает. То ли памяти ему не хватает... Хотя, один бар в базе Ами весит 40 байт, т.е. 3.5 млн. баров - это всего 135 Мб. Не так уж и много, даже если кешировать в памяти 4-5 инструментов. Хорошо хоть сохраниться позволяет при вылете. Версия 32-битная.

Кто-нибудь ещё работает с такими большими базами? Как у вас со стабильностью? Мне интересно, в чём причина - действительно ли Ами нестабилен с такими объёмами, или, может быть, проблема в моём компе? И если проблема действительно в Ами, то исправляет ли ситуацию 64-битная версия?
Посмотреть профиль Отправить личное сообщение ICQ Number
spitfire



Зарегистрирован: 29.04.2010
Сообщения: 729
Откуда: Moscow

СообщениеДобавлено: Вт Май 28, 2013 10:49 pm Ответить с цитатой Вернуться к началу

У меня база размером 311 метров - минутки всяких фьючей. Ничего не вылетает, гоняю форвардные тесты длительностью 24 часа без перерыва и запущенными одновременно 7ю копиями Ами, работающими с 1 базой - вылетов не было.
Я бы ковырял оперативную память - может что-то с ней. Год назад у меня были проблемы с такими тестами - через некоторое время венда показывала синюю морду и сдыхала. Помогли танцы с бубнами - поигрался с планками оперативки, переставляя их в разные слоты и протирка контактов.
Венда7 х64, Ами 5.60.2
Посмотреть профиль Отправить личное сообщение ICQ Number
Mechanic



Зарегистрирован: 10.06.2008
Сообщения: 359

СообщениеДобавлено: Ср Май 29, 2013 12:46 am Ответить с цитатой Вернуться к началу

А количество баров на инструмент у тебя какое самое большое? И какой предел длины базы в её свойствах? Проблема-то, скорее всего, именно в этом, а не в объёме базы. Какая разница, сколько метров занимают инструменты, к которым Ами в данный момент не обращается? И с другими базами, где в настройках стоит ограничение 500 тыс. баров, у меня всё ОК.

С памятью у меня всё в порядке - во всяком случае, ни один тест не выявляет ошибок, да и винда не вылетает и не глючит. А вот у ЦП одно из ядер некоторые тесты заваливает.
Посмотреть профиль Отправить личное сообщение ICQ Number
spitfire



Зарегистрирован: 29.04.2010
Сообщения: 729
Откуда: Moscow

СообщениеДобавлено: Ср Май 29, 2013 10:00 am Ответить с цитатой Вернуться к началу

А как глянуть число баров на символе? Я смотрю просто сколько весит файл с данными символа - самый большой это 52 метра. В настройке базы указан макс размер - 2млн баров.
С памятью я тоже думал что все в порядке - тесты тоже ничего не показали, да и венда работала стабильно. НО при запуске кучи копий Ами оператива засиралась под 80%, и тогда то и начинались синие экраны..
Насчет ядра - могет действительно проблема в нем.
Посмотреть профиль Отправить личное сообщение ICQ Number
Astrobiolog



Зарегистрирован: 27.01.2013
Сообщения: 60

СообщениеДобавлено: Ср Май 29, 2013 2:27 pm Ответить с цитатой Вернуться к началу

Mechanic писал(а):
Есть валютная база с минутками с 2004 года. Примерно 3.5 млн. баров на символ. Предел в настройках базы - 5 млн. баров. Ами с ней работает через пень-колоду - то стабильно, то вылет за вылетом. Причём заметил, что вылетает, в основном, когда последовательно просчитываешь несколько символов. Например, нужно добавить несколько композитов (такой же длины - 3.5 млн. баров) - создаёт 3-4 композита и вылетает. То ли памяти ему не хватает... Хотя, один бар в базе Ами весит 40 байт, т.е. 3.5 млн. баров - это всего 135 Мб. Не так уж и много, даже если кешировать в памяти 4-5 инструментов. Хорошо хоть сохраниться позволяет при вылете. Версия 32-битная.

Кто-нибудь ещё работает с такими большими базами? Как у вас со стабильностью? Мне интересно, в чём причина - действительно ли Ами нестабилен с такими объёмами, или, может быть, проблема в моём компе? И если проблема действительно в Ами, то исправляет ли ситуацию 64-битная версия?

У меня есть эта же проблема. Ами 32 бит. База тиковая. Примерно 300-700 тыс. баров на тикер. При портфельном тесте более нескольких десятков тикеров - вылет в рекавери окно.
Посмотреть профиль Отправить личное сообщение
Mechanic



Зарегистрирован: 10.06.2008
Сообщения: 359

СообщениеДобавлено: Ср Май 29, 2013 4:40 pm Ответить с цитатой Вернуться к началу

Ага, значит всё-таки я не один. Симптомы похожи.

spitfire, 52 метра - это не очень много, это где-то 1.3 млн. баров. И, судя по тому, что ты запускаешь много копий, речь идёт об индивидуальной оптимизации, т.е. работаешь только с одним этим символом, верно? Проблемы же начинаются, когда начинаешь работать с большими объёмами данных - у меня это 4-5 символов по 3.5 млн. баров каждый, у Astrobiolog - несколько десятков более коротких тикеров... Видать, и правда Ами с большими объёмами справляется плохо. Засада... Остаётся только надежда на х64 версию, надо будет проверить. Вот только не знаю, получится ли проверить, триал ведь ничего не пишет в базу и не открывает готовые базы.
Посмотреть профиль Отправить личное сообщение ICQ Number
yser



Зарегистрирован: 30.11.2011
Сообщения: 76

СообщениеДобавлено: Ср Май 29, 2013 5:30 pm Ответить с цитатой Вернуться к началу

Mechanic писал(а):
...Остаётся только надежда на х64 версию, надо будет проверить. Вот только не знаю, получится ли проверить, триал ведь ничего не пишет в базу и не открывает готовые базы.


Почему не открывает, еще как открывает. Делал так - в 32-битной версии создавал базу и закачал данные, а в 64-битной окрывал базу и работал с ней (правда базы были не такие большие как у тебя).
Посмотреть профиль Отправить личное сообщение
Mechanic



Зарегистрирован: 10.06.2008
Сообщения: 359

СообщениеДобавлено: Ср Май 29, 2013 5:33 pm Ответить с цитатой Вернуться к началу

yser писал(а):
Почему не открывает, еще как открывает. Делал так - в 32-битной версии создавал базу и закачал данные, а в 64-битной окрывал базу и работал с ней.

Триал??? Я пробовал, не получилось. Сейчас ещё раз попробую.
Посмотреть профиль Отправить личное сообщение ICQ Number
yser



Зарегистрирован: 30.11.2011
Сообщения: 76

СообщениеДобавлено: Ср Май 29, 2013 5:55 pm Ответить с цитатой Вернуться к началу

Mechanic писал(а):
yser писал(а):
Почему не открывает, еще как открывает. Делал так - в 32-битной версии создавал базу и закачал данные, а в 64-битной окрывал базу и работал с ней.

Триал??? Я пробовал, не получилось. Сейчас ещё раз попробую.


да, триал 64-битная, причем в его настройках указал базу по умолчанию на нужную мне, и при запуске она стразу же открывается.
Посмотреть профиль Отправить личное сообщение
Mechanic



Зарегистрирован: 10.06.2008
Сообщения: 359

СообщениеДобавлено: Ср Май 29, 2013 6:10 pm Ответить с цитатой Вернуться к началу

Да, уже проверил, всё в порядке. Не знаю, почему в первый раз не получилось. Надо будет погонять.
Посмотреть профиль Отправить личное сообщение ICQ Number
spitfire



Зарегистрирован: 29.04.2010
Сообщения: 729
Откуда: Moscow

СообщениеДобавлено: Ср Май 29, 2013 8:43 pm Ответить с цитатой Вернуться к началу

Ага, оптимизировал все на одном символе.. Мужики, если составите грамотное письмо на аглицком Томашу с подробным описанием, могу завести тикет на амиброкере - поглядим на ответ.
Посмотреть профиль Отправить личное сообщение ICQ Number
Astrobiolog



Зарегистрирован: 27.01.2013
Сообщения: 60

СообщениеДобавлено: Чт Май 30, 2013 1:39 am Ответить с цитатой Вернуться к началу

Еще хинт. Если я делаю так:
Astrobiolog писал(а):

У меня есть эта же проблема. Ами 32 бит. База тиковая. Примерно 300-700 тыс. баров на тикер. При портфельном тесте более нескольких десятков тикеров - вылет в рекавери окно.

Но если при неизменных этих я меняю только таймфрейм на более старший - работает, не вылетает.
Посмотреть профиль Отправить личное сообщение
Mechanic



Зарегистрирован: 10.06.2008
Сообщения: 359

СообщениеДобавлено: Чт Май 30, 2013 2:15 pm Ответить с цитатой Вернуться к началу

Astrobiolog писал(а):
Но если при неизменных этих я меняю только таймфрейм на более старший - работает, не вылетает.

Толку-то от этого, если мне нужно обсчитать минимальный таймфрейм...


Последний раз редактировалось: Mechanic (Чт Май 30, 2013 2:57 pm), всего редактировалось 1 раз
Посмотреть профиль Отправить личное сообщение ICQ Number
Mechanic



Зарегистрирован: 10.06.2008
Сообщения: 359

СообщениеДобавлено: Чт Май 30, 2013 2:23 pm Ответить с цитатой Вернуться к началу

spitfire писал(а):
Мужики, если составите грамотное письмо на аглицком Томашу с подробным описанием, могу завести тикет на амиброкере - поглядим на ответ.

Я не знаю, что писать. Повторяемости нет. Иногда нормально работает, иногда вылетает... Разработчикам-то нужна чёткая последовательность действий, которая приводит к вылету, чтобы они смогли у себя воспроизвести. Если получится её найти, тогда так и сделаем.
Посмотреть профиль Отправить личное сообщение ICQ Number
Mechanic



Зарегистрирован: 10.06.2008
Сообщения: 359

СообщениеДобавлено: Пт Май 31, 2013 2:19 pm Ответить с цитатой Вернуться к началу

Нашёл, в чём причина. 32-битная версия вылетает при достижении объёма используемой прогой памяти 3 Гб. Для проверки специально создал новую локальную (чтобы исключить влияние плагина) базу минуток, импортировал в неё данные из текстовиков. Всего 22 инструмента, большинство из которых по 3-3.5 млн. баров, несколько прочих - поменьше, где-то по 1.5 млн. Потом на этой базе запустил примитивный тест по всем символам и всем данным:

Buy = C > O;
Sell = C < O;

В 32-битной версии прогресс доходит примерно до 70%, использование памяти процессом - до 3 Гб, и прога вылетает. А 64-битная версия долго-долго жуёт жёсткий диск (у меня на этом компе всего 4 гига оперативки, поэтому идёт обмен со своп-файлом), но всё просчитывает и выдаёт результат, не вылетает. Для достоверности запускал и ту, и другую версию несколько раз, результат каждый раз был одинаковым.

Так что для больших баз - только х64.


Последний раз редактировалось: Mechanic (Чт Авг 22, 2013 2:20 am), всего редактировалось 1 раз
Посмотреть профиль Отправить личное сообщение ICQ Number
Показать сообщения:      
Начать новую тему  Ответить на тему


 Перейти:   



Следующая тема
Предыдущая тема
Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете голосовать в опросах
Вы не можете вкладывать файлы
Вы не можете скачивать файлы


Powered by phpBB © 2001, 2002 phpBB Group :: FI Theme :: Часовой пояс: GMT + 3

File Attachment © by Meik Sievertsen