Текущее время: Вс, июл 20 2025, 22:51

Часовой пояс: UTC + 3 часа




Начать новую тему Ответить на тему  [ Сообщений: 8 ] 
Автор Сообщение
 Заголовок сообщения: Помогите загрузить данные в ODS и уложиться хотя бы в 2 часа???
СообщениеДобавлено: Вс, июл 20 2008, 20:53 
Ассистент
Ассистент

Зарегистрирован:
Вс, июл 20 2008, 16:04
Сообщения: 36
Вопрос в следующем.
Данные из одного Ods прогружаются в следующий Ods. В правилах обновления накрученная логика. Создается много внутренних таблиц куда выбираются данные еще из 2 Ods. Все это колбасится, сопоставляется, сравнивается и так далее. В итоге загрузка заканчивалась ошибкой по таймауту, увеличил параметр - теперь фоновые режимы могут висеть хоть двое суток. И все равно загрузка части пакетов заканчивается ошибкой. Ощущение такое что кому-то, где-то опять чего-то не хватает? Вообще есть ли параметр отвечающий за время существования временной таблицы? Или может есть еще какие параметры полезные? В каком направлении лучше копать данный вопрос?.
Сразу сообщу что данные корректны. Правила обновления оптимизированы до максимума. При меньшем объеме данные загрузка хоть и длится часов 5 но заканчивается успешно.


Принять этот ответ
Вернуться к началу
 Профиль  
 
 Заголовок сообщения:
СообщениеДобавлено: Пн, июл 21 2008, 11:42 
Младший специалист
Младший специалист

Зарегистрирован:
Вт, янв 10 2006, 12:01
Сообщения: 89
тут, конечно, не видя всего, не поможешь.
Но почему-то кажется, что все дело в том что АБАП программы в правилах обновления долго отрабатывают, а не во временных таблицах (они должны существовать пока есть сессия).
Ну и как одно из предположений: может индексов не хватает на таблицы активных данных ОДС с которыми работаете?


Принять этот ответ
Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: Помогите загрузить данные в ODS и уложиться хотя бы в 2 часа???
СообщениеДобавлено: Пн, июл 21 2008, 12:07 
Почетный гуру
Почетный гуру
Аватара пользователя

Зарегистрирован:
Вт, авг 17 2004, 09:59
Сообщения: 1097
Откуда: Moscow
Пол: Мужской
Gennadiy написал(а):
Вопрос в следующем.
Данные из одного Ods прогружаются в следующий Ods. В правилах обновления накрученная логика. Создается много внутренних таблиц куда выбираются данные еще из 2 Ods. Все это колбасится, сопоставляется, сравнивается и так далее. В итоге загрузка заканчивалась ошибкой по таймауту, увеличил параметр - теперь фоновые режимы могут висеть хоть двое суток. И все равно загрузка части пакетов заканчивается ошибкой. Ощущение такое что кому-то, где-то опять чего-то не хватает? Вообще есть ли параметр отвечающий за время существования временной таблицы? Или может есть еще какие параметры полезные? В каком направлении лучше копать данный вопрос?.
Сразу сообщу что данные корректны. Правила обновления оптимизированы до максимума. При меньшем объеме данные загрузка хоть и длится часов 5 но заканчивается успешно.


попробуйте уменьшить размер пакета при перегрузке внутри BW. если циклы вложенные, то рост размера пакета экспонцениально вызывает рост количества итераций в цикле ... например пакет 20 000 записей. для каждой нужно пробежать по копии выборке (те же 20 тыс ) , что то проссумировать и сделать чтение из других ODS. получаем 20 тыс * 20 тыс итераций...

а если разбить на 2 пакета, то получим 2*10тыс*10 тыс... вот тут это серьезно может вам помочь.

_________________
In SAP we trust !


Принять этот ответ
Вернуться к началу
 Профиль  
 
 Заголовок сообщения:
СообщениеДобавлено: Пн, июл 21 2008, 13:09 
Менеджер
Менеджер
Аватара пользователя

Зарегистрирован:
Чт, май 26 2005, 11:36
Сообщения: 651
Откуда: Киев-Москва
Включите трассировщик st05 и поохоттесь за "красными" SQL запросами. Попробуйте не для каждой записи делать SQL, а для набора. Используйте избыточность в данных.
Путей много, факторов много и необходимо по-одному исправлять. А лучше вернуться к изначальному проектированию задачи.

_________________
Рисую потоки данных.


Принять этот ответ
Вернуться к началу
 Профиль  
 
 Заголовок сообщения: /
СообщениеДобавлено: Пн, июл 21 2008, 15:39 
Менеджер
Менеджер
Аватара пользователя

Зарегистрирован:
Вт, сен 13 2005, 10:41
Сообщения: 558
Откуда: Гондурас (округ Москвы)
Пол: Мужской
надо посмотреть, на что тратит система время, на SQL или действительно abap. если все палает по таймауту, то не может быть все оптимально и хорошо... сколько миллионов записей грузите ?


Принять этот ответ
Вернуться к началу
 Профиль  
 
 Заголовок сообщения:
СообщениеДобавлено: Пн, июл 21 2008, 16:11 
Ассистент
Ассистент

Зарегистрирован:
Вс, июл 20 2008, 16:04
Сообщения: 36
akula84 написал(а):
тут, конечно, не видя всего, не поможешь.
Но почему-то кажется, что все дело в том что АБАП программы в правилах обновления долго отрабатывают, а не во временных таблицах (они должны существовать пока есть сессия).
Ну и как одно из предположений: может индексов не хватает на таблицы активных данных ОДС с которыми работаете?


А как понять хватает индексов или нет?


Принять этот ответ
Вернуться к началу
 Профиль  
 
 Заголовок сообщения:
СообщениеДобавлено: Вт, июл 22 2008, 08:46 
Менеджер
Менеджер
Аватара пользователя

Зарегистрирован:
Чт, май 26 2005, 11:36
Сообщения: 651
Откуда: Киев-Москва
Gennadiy написал(а):
А как понять хватает индексов или нет?
Опять же st05, необходимо поймать обращение к таблицам и посмотреть на план запросов. Если FULL SСAN - то это не совсем хорошо.

_________________
Рисую потоки данных.


Принять этот ответ
Вернуться к началу
 Профиль  
 
 Заголовок сообщения:
СообщениеДобавлено: Вт, июл 22 2008, 16:34 
Младший специалист
Младший специалист

Зарегистрирован:
Вт, янв 10 2006, 12:01
Сообщения: 89
тут еще хотелось бы сказать, что если вы в своей программе работаете с таблицей новых данных, то индексы создаваемые через изменение ОДС на нее не распространяются, надо индексы делать через АБАП-словарь.


Принять этот ответ
Вернуться к началу
 Профиль  
 
Показать сообщения за:  Поле сортировки  
Начать новую тему Ответить на тему  [ Сообщений: 8 ] 

Часовой пояс: UTC + 3 часа


Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Перейти:  
cron
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group
Русская поддержка phpBB