Текущее время: Пт, ноя 01 2024, 02:51

Часовой пояс: UTC + 3 часа




Начать новую тему Ответить на тему  [ Сообщений: 9 ] 
Автор Сообщение
 Заголовок сообщения: Ускорение загрузки в куб
СообщениеДобавлено: Чт, авг 17 2017, 15:26 
Специалист
Специалист

Зарегистрирован:
Пн, окт 03 2011, 17:24
Сообщения: 153
Добрый день.

Подскажите плиз методики ускорения загрузки данных в куб.

Условия:
Дельта загрузка из ДСО в Куб - паралельность 4, размер пакета 50к.
Есть фильтр на отборе данных, семантические группы не проставлены.
Преобразование 1 к 1... только ДСО в 1,5 раза шире, создание SIDов во время активации.
В кубе 153 поля, из которых порядка 123 признаки и 30 показатели.
BW 7.4 MsSQL.

Дельта в 800к строк загружается 5-6 часов.
В кубе 3 млн строк.
Индекс сноситься.

Про что почитать, где посмотреть?

_________________
Нас всех отчислят... как это мило


Принять этот ответ
Вернуться к началу
 Профиль Отправить email  
 
 Заголовок сообщения: Re: Ускорение загрузки в куб
СообщениеДобавлено: Пт, авг 18 2017, 10:22 
Начинающий
Начинающий

Зарегистрирован:
Пт, авг 18 2017, 10:14
Сообщения: 1
Посмотрите в мониторе загрузки DTP какой именно процесс занимает дольше всего времени: Экстракция, Трансформация (преобразование) или Обновление?
У нас например долго висел процесс выбора данных из исходной DSO, так как также как у вас были фильтры на выбор данных. Помогло создание индекса на DSO на фильтруемых инфо-объектах.
Загрузка с 8 часов сократилась до 30 минут.


Принять этот ответ
Вернуться к началу
 Профиль Отправить email  
 
 Заголовок сообщения: Re: Ускорение загрузки в куб
СообщениеДобавлено: Пт, авг 18 2017, 10:50 
Специалист
Специалист

Зарегистрирован:
Пн, окт 03 2011, 17:24
Сообщения: 153
"Определить или отозвать ИдОД" (Find or Take SIDs) - 20 минут для 17к записей.

Выборка - моментная, преобразования - моментные, запись - моментная.

_________________
Нас всех отчислят... как это мило


Последний раз редактировалось Gek Пт, авг 18 2017, 11:25, всего редактировалось 1 раз.

Принять этот ответ
Вернуться к началу
 Профиль Отправить email  
 
 Заголовок сообщения: Re: Ускорение загрузки в куб
СообщениеДобавлено: Пт, авг 18 2017, 11:18 
Почетный гуру
Почетный гуру

Зарегистрирован:
Чт, фев 03 2005, 10:18
Сообщения: 503
В RSRV прогоните тесты для всех признаков входящих в состав DSO.


Принять этот ответ
Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: Ускорение загрузки в куб
СообщениеДобавлено: Пт, авг 18 2017, 13:52 
Специалист
Специалист

Зарегистрирован:
Пн, окт 03 2011, 17:24
Сообщения: 153
RSRV вообще проблем не нашел.
Прогнал RSDMD_CHECKPRG_ALL (насколько я понимаю это аналог RSRV), выявил ошибку в признаке 0DOC_NUMBER - 500 значений.
Поправил, посмотрю ускорилась ли загрузка.

_________________
Нас всех отчислят... как это мило


Принять этот ответ
Вернуться к началу
 Профиль Отправить email  
 
 Заголовок сообщения: Re: Ускорение загрузки в куб
СообщениеДобавлено: Пн, авг 21 2017, 15:15 
Директор
Директор

Зарегистрирован:
Чт, апр 16 2009, 13:30
Сообщения: 784
Пол: Мужской
добрый день!
в DTP заходили в настройки менеджера партий? там можно увеличить число параллельных процессов при загрузке
иногда это помогает
результаты можно отслеживать через обзор фоновых заданий


Принять этот ответ
Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: Ускорение загрузки в куб
СообщениеДобавлено: Вт, авг 22 2017, 11:54 
Специалист
Специалист

Зарегистрирован:
Пн, окт 03 2011, 17:24
Сообщения: 153
Заходили, у нас 4 CPU и стоит паралельность 4 потока.
Это может увеличить скорость обработки общей.. но как снизить обработку одной сессии?

_________________
Нас всех отчислят... как это мило


Принять этот ответ
Вернуться к началу
 Профиль Отправить email  
 
 Заголовок сообщения: Re: Ускорение загрузки в куб
СообщениеДобавлено: Вт, авг 22 2017, 14:11 
Директор
Директор

Зарегистрирован:
Чт, апр 16 2009, 13:30
Сообщения: 784
Пол: Мужской
попробуйте поставить 7 или 10.
потом посмотрите фоновые задания, если они распараллелятся, то должно быть ускорение.
я так понял, что Вам надо увеличить общую скорость загрузки.
посмотрите может быть в сторону оптимизации структуры куба, если есть такая возможность.
если в фильтре на DTP есть исключения, попробуйте заменить их ограничениями. тоже может помочь.
в интернете есть отдельные how to по оптимизации быстродействия bw, почитайте их, там могут быть подходящие варианты.


Принять этот ответ
Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: Ускорение загрузки в куб
СообщениеДобавлено: Пт, окт 20 2017, 14:42 
Старший специалист
Старший специалист

Зарегистрирован:
Вт, авг 17 2004, 08:49
Сообщения: 319
Откуда: Мариуполь
А какие индексы используются? rowindex или columnindex?


Принять этот ответ
Вернуться к началу
 Профиль  
 
Показать сообщения за:  Поле сортировки  
Начать новую тему Ответить на тему  [ Сообщений: 9 ] 

Часовой пояс: UTC + 3 часа


Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Перейти:  
cron
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group
Русская поддержка phpBB