Текущее время: Вс, июл 20 2025, 21:38

Часовой пояс: UTC + 3 часа




Начать новую тему Ответить на тему  [ Сообщений: 8 ] 
Автор Сообщение
 Заголовок сообщения: Помогите загрузить данные в ODS и уложиться хотя бы в 2 часа???
СообщениеДобавлено: Вс, июл 20 2008, 20:53 
Ассистент
Ассистент

Зарегистрирован:
Вс, июл 20 2008, 16:04
Сообщения: 36
Вопрос в следующем.
Данные из одного Ods прогружаются в следующий Ods. В правилах обновления накрученная логика. Создается много внутренних таблиц куда выбираются данные еще из 2 Ods. Все это колбасится, сопоставляется, сравнивается и так далее. В итоге загрузка заканчивалась ошибкой по таймауту, увеличил параметр - теперь фоновые режимы могут висеть хоть двое суток. И все равно загрузка части пакетов заканчивается ошибкой. Ощущение такое что кому-то, где-то опять чего-то не хватает? Вообще есть ли параметр отвечающий за время существования временной таблицы? Или может есть еще какие параметры полезные? В каком направлении лучше копать данный вопрос?.
Сразу сообщу что данные корректны. Правила обновления оптимизированы до максимума. При меньшем объеме данные загрузка хоть и длится часов 5 но заканчивается успешно.


Принять этот ответ
Вернуться к началу
 Профиль  
 
 Заголовок сообщения:
СообщениеДобавлено: Пн, июл 21 2008, 11:42 
Младший специалист
Младший специалист

Зарегистрирован:
Вт, янв 10 2006, 12:01
Сообщения: 89
тут, конечно, не видя всего, не поможешь.
Но почему-то кажется, что все дело в том что АБАП программы в правилах обновления долго отрабатывают, а не во временных таблицах (они должны существовать пока есть сессия).
Ну и как одно из предположений: может индексов не хватает на таблицы активных данных ОДС с которыми работаете?


Принять этот ответ
Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: Помогите загрузить данные в ODS и уложиться хотя бы в 2 часа???
СообщениеДобавлено: Пн, июл 21 2008, 12:07 
Почетный гуру
Почетный гуру
Аватара пользователя

Зарегистрирован:
Вт, авг 17 2004, 09:59
Сообщения: 1097
Откуда: Moscow
Пол: Мужской
Gennadiy написал(а):
Вопрос в следующем.
Данные из одного Ods прогружаются в следующий Ods. В правилах обновления накрученная логика. Создается много внутренних таблиц куда выбираются данные еще из 2 Ods. Все это колбасится, сопоставляется, сравнивается и так далее. В итоге загрузка заканчивалась ошибкой по таймауту, увеличил параметр - теперь фоновые режимы могут висеть хоть двое суток. И все равно загрузка части пакетов заканчивается ошибкой. Ощущение такое что кому-то, где-то опять чего-то не хватает? Вообще есть ли параметр отвечающий за время существования временной таблицы? Или может есть еще какие параметры полезные? В каком направлении лучше копать данный вопрос?.
Сразу сообщу что данные корректны. Правила обновления оптимизированы до максимума. При меньшем объеме данные загрузка хоть и длится часов 5 но заканчивается успешно.


попробуйте уменьшить размер пакета при перегрузке внутри BW. если циклы вложенные, то рост размера пакета экспонцениально вызывает рост количества итераций в цикле ... например пакет 20 000 записей. для каждой нужно пробежать по копии выборке (те же 20 тыс ) , что то проссумировать и сделать чтение из других ODS. получаем 20 тыс * 20 тыс итераций...

а если разбить на 2 пакета, то получим 2*10тыс*10 тыс... вот тут это серьезно может вам помочь.

_________________
In SAP we trust !


Принять этот ответ
Вернуться к началу
 Профиль  
 
 Заголовок сообщения:
СообщениеДобавлено: Пн, июл 21 2008, 13:09 
Менеджер
Менеджер
Аватара пользователя

Зарегистрирован:
Чт, май 26 2005, 11:36
Сообщения: 651
Откуда: Киев-Москва
Включите трассировщик st05 и поохоттесь за "красными" SQL запросами. Попробуйте не для каждой записи делать SQL, а для набора. Используйте избыточность в данных.
Путей много, факторов много и необходимо по-одному исправлять. А лучше вернуться к изначальному проектированию задачи.

_________________
Рисую потоки данных.


Принять этот ответ
Вернуться к началу
 Профиль  
 
 Заголовок сообщения: /
СообщениеДобавлено: Пн, июл 21 2008, 15:39 
Менеджер
Менеджер
Аватара пользователя

Зарегистрирован:
Вт, сен 13 2005, 10:41
Сообщения: 558
Откуда: Гондурас (округ Москвы)
Пол: Мужской
надо посмотреть, на что тратит система время, на SQL или действительно abap. если все палает по таймауту, то не может быть все оптимально и хорошо... сколько миллионов записей грузите ?


Принять этот ответ
Вернуться к началу
 Профиль  
 
 Заголовок сообщения:
СообщениеДобавлено: Пн, июл 21 2008, 16:11 
Ассистент
Ассистент

Зарегистрирован:
Вс, июл 20 2008, 16:04
Сообщения: 36
akula84 написал(а):
тут, конечно, не видя всего, не поможешь.
Но почему-то кажется, что все дело в том что АБАП программы в правилах обновления долго отрабатывают, а не во временных таблицах (они должны существовать пока есть сессия).
Ну и как одно из предположений: может индексов не хватает на таблицы активных данных ОДС с которыми работаете?


А как понять хватает индексов или нет?


Принять этот ответ
Вернуться к началу
 Профиль  
 
 Заголовок сообщения:
СообщениеДобавлено: Вт, июл 22 2008, 08:46 
Менеджер
Менеджер
Аватара пользователя

Зарегистрирован:
Чт, май 26 2005, 11:36
Сообщения: 651
Откуда: Киев-Москва
Gennadiy написал(а):
А как понять хватает индексов или нет?
Опять же st05, необходимо поймать обращение к таблицам и посмотреть на план запросов. Если FULL SСAN - то это не совсем хорошо.

_________________
Рисую потоки данных.


Принять этот ответ
Вернуться к началу
 Профиль  
 
 Заголовок сообщения:
СообщениеДобавлено: Вт, июл 22 2008, 16:34 
Младший специалист
Младший специалист

Зарегистрирован:
Вт, янв 10 2006, 12:01
Сообщения: 89
тут еще хотелось бы сказать, что если вы в своей программе работаете с таблицей новых данных, то индексы создаваемые через изменение ОДС на нее не распространяются, надо индексы делать через АБАП-словарь.


Принять этот ответ
Вернуться к началу
 Профиль  
 
Показать сообщения за:  Поле сортировки  
Начать новую тему Ответить на тему  [ Сообщений: 8 ] 

Часовой пояс: UTC + 3 часа


Кто сейчас на конференции

Сейчас этот форум просматривают: Google [Bot]


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Перейти:  
cron
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group
Русская поддержка phpBB