Текущее время: Чт, мар 28 2024, 19:53

Часовой пояс: UTC + 3 часа




Начать новую тему Ответить на тему  [ Сообщений: 5 ] 
Автор Сообщение
 Заголовок сообщения: Долгое формирование индексов
СообщениеДобавлено: Чт, авг 11 2016, 08:07 
Начинающий
Начинающий

Зарегистрирован:
Ср, апр 02 2014, 17:27
Сообщения: 14
Добрый день!

Возникла следующая проблема: цепочки процессов перестали успевать отрабатывать за ночь и соответственно к началу рабочего дня данные были не готовы. Анализ журналов показал, что большую часть времени(примерно 4 часа) занимает процесс формирования индексов в инфо-кубе. Процесс загрузки данных в куб построен таким образом, что перед запуском DTP индексы удаляются, а после загрузки формируются заново. Количество записей в таблице фактов 45 млн записей, максимальное количество записей в таблицах измерений 600 тыс., т.е. чуть больше 1%. Есть ли у кого-нибудь советы или предложения по данной проблеме ?


Пометить тему как нерешенную
Вернуться к началу
 Профиль Отправить email  
 
 Заголовок сообщения: Re: Долгое формирование индексов  Тема решена
СообщениеДобавлено: Чт, авг 11 2016, 11:37 
Ассистент
Ассистент

Зарегистрирован:
Вт, сен 05 2006, 00:33
Сообщения: 36
Откуда: Москва
Сжатие кубов нужно делать.


Пометить тему как нерешенную
Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: Долгое формирование индексов
СообщениеДобавлено: Чт, авг 11 2016, 12:28 
Начинающий
Начинающий

Зарегистрирован:
Пт, апр 27 2007, 12:13
Сообщения: 14
данные грузятся дельтой? какое кол-во записей приходит в куб за одну загрузку? (я к тому что если записей относительно немного, то может быстрее будет не удалять и не пересчитывать индекс)


Пометить тему как нерешенную
Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: Долгое формирование индексов
СообщениеДобавлено: Чт, авг 11 2016, 13:05 
Начинающий
Начинающий

Зарегистрирован:
Ср, апр 02 2014, 17:27
Сообщения: 14
Данные загружаются за последние 2 месяца, а это порядка 4 млн записей, поэтому индексы нужно удалять, иначе может упасть в ошибку при загрузке. Сейчас по совету DenL делаю сжатие, посмотрю завтра на время формирования индексов.


Пометить тему как нерешенную
Вернуться к началу
 Профиль Отправить email  
 
 Заголовок сообщения: Re: Долгое формирование индексов
СообщениеДобавлено: Пт, авг 12 2016, 07:11 
Начинающий
Начинающий

Зарегистрирован:
Ср, апр 02 2014, 17:27
Сообщения: 14
DenL написал(а):
Сжатие кубов нужно делать.


DenL спасибо, это оказалось правильным решением. После сжатия время формирования индексов снизилось с 4 часов до 4 минут!


Пометить тему как нерешенную
Вернуться к началу
 Профиль Отправить email  
 
Показать сообщения за:  Поле сортировки  
Начать новую тему Ответить на тему  [ Сообщений: 5 ] 

Часовой пояс: UTC + 3 часа


Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Перейти:  
cron
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group
Русская поддержка phpBB