Текущее время: Чт, мар 28 2024, 19:42

Часовой пояс: UTC + 3 часа




Начать новую тему Ответить на тему  [ Сообщений: 5 ] 
Автор Сообщение
 Заголовок сообщения: Долгое формирование индексов
СообщениеДобавлено: Чт, авг 11 2016, 08:07 
Начинающий
Начинающий

Зарегистрирован:
Ср, апр 02 2014, 17:27
Сообщения: 14
Добрый день!

Возникла следующая проблема: цепочки процессов перестали успевать отрабатывать за ночь и соответственно к началу рабочего дня данные были не готовы. Анализ журналов показал, что большую часть времени(примерно 4 часа) занимает процесс формирования индексов в инфо-кубе. Процесс загрузки данных в куб построен таким образом, что перед запуском DTP индексы удаляются, а после загрузки формируются заново. Количество записей в таблице фактов 45 млн записей, максимальное количество записей в таблицах измерений 600 тыс., т.е. чуть больше 1%. Есть ли у кого-нибудь советы или предложения по данной проблеме ?


Пометить тему как нерешенную
Вернуться к началу
 Профиль Отправить email  
 
 Заголовок сообщения: Re: Долгое формирование индексов  Тема решена
СообщениеДобавлено: Чт, авг 11 2016, 11:37 
Ассистент
Ассистент

Зарегистрирован:
Вт, сен 05 2006, 00:33
Сообщения: 36
Откуда: Москва
Сжатие кубов нужно делать.


Пометить тему как нерешенную
Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: Долгое формирование индексов
СообщениеДобавлено: Чт, авг 11 2016, 12:28 
Начинающий
Начинающий

Зарегистрирован:
Пт, апр 27 2007, 12:13
Сообщения: 14
данные грузятся дельтой? какое кол-во записей приходит в куб за одну загрузку? (я к тому что если записей относительно немного, то может быстрее будет не удалять и не пересчитывать индекс)


Пометить тему как нерешенную
Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: Долгое формирование индексов
СообщениеДобавлено: Чт, авг 11 2016, 13:05 
Начинающий
Начинающий

Зарегистрирован:
Ср, апр 02 2014, 17:27
Сообщения: 14
Данные загружаются за последние 2 месяца, а это порядка 4 млн записей, поэтому индексы нужно удалять, иначе может упасть в ошибку при загрузке. Сейчас по совету DenL делаю сжатие, посмотрю завтра на время формирования индексов.


Пометить тему как нерешенную
Вернуться к началу
 Профиль Отправить email  
 
 Заголовок сообщения: Re: Долгое формирование индексов
СообщениеДобавлено: Пт, авг 12 2016, 07:11 
Начинающий
Начинающий

Зарегистрирован:
Ср, апр 02 2014, 17:27
Сообщения: 14
DenL написал(а):
Сжатие кубов нужно делать.


DenL спасибо, это оказалось правильным решением. После сжатия время формирования индексов снизилось с 4 часов до 4 минут!


Пометить тему как нерешенную
Вернуться к началу
 Профиль Отправить email  
 
Показать сообщения за:  Поле сортировки  
Начать новую тему Ответить на тему  [ Сообщений: 5 ] 

Часовой пояс: UTC + 3 часа


Кто сейчас на конференции

Сейчас этот форум просматривают: SL@m


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Перейти:  
cron
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group
Русская поддержка phpBB