Текущее время: Пт, авг 15 2025, 09:37

Часовой пояс: UTC + 3 часа




Начать новую тему Ответить на тему  [ Сообщений: 4 ] 
Автор Сообщение
 Заголовок сообщения: Архитектура ОДС для экстракции данных во внешную систему
СообщениеДобавлено: Чт, июн 14 2012, 10:03 
Специалист
Специалист

Зарегистрирован:
Пн, окт 03 2011, 17:24
Сообщения: 153
Добрый день, есть задача "построить хранилище данных для экспорта во внешную систему напрямую из базы".
Есть поток данных - параметры товаров (заливаются ежедневно, на текущую дату, не меняются исторически, из 2х источников - поставляющих разные части).
Примерно 60 млн. строк в месяц.
Данные будут забираться напрямую из Оракла во внешную систему, ежедневно за последний день.
BW 7,0,

Сейчас взвешиваем варианты:
1) Строить простой ОДС и разбивать его помесячно
2) Строить простой ОДС и разбивать его по годам
3) Попытаться построить ОДС с инкрементальным обновлением и разбивать его по месяцам/годам

Есть ряд вопросов:
Что посоветуете?
1) На каком объеме данных ОДС будут крутиться - 720 млн строк в год будут нормально заливаться и активироваться или лучше разбить на месяцы.
2) Возможно ли тут создавать ОДС с инкрментальным обновлением/имеет ли смысл?

_________________
Нас всех отчислят... как это мило


Принять этот ответ
Вернуться к началу
 Профиль Отправить email  
 
 Заголовок сообщения: Re: Архитектура ОДС для экстракции данных во внешную систему
СообщениеДобавлено: Чт, июн 14 2012, 13:25 
Гуру-эксперт
Гуру-эксперт
Аватара пользователя

Зарегистрирован:
Вс, янв 11 2009, 14:41
Сообщения: 902
Откуда: Москва
Пол: Мужской
Цель этого грандиозного хранилища "залить в ODS"?! И все?!
Ну тогда заливать по 60 / 22 (если только по рабочим дням) = 2,7 млн в день в ODS, оптимизированный для записи, а если потребуется обычный ODS, тогда в настройках указать без создания SID-ов, чтобы активация быстрее проходила


Принять этот ответ
Вернуться к началу
 Профиль Отправить email  
 
 Заголовок сообщения: Re: Архитектура ОДС для экстракции данных во внешную систему
СообщениеДобавлено: Чт, июн 14 2012, 13:44 
Специалист
Специалист

Зарегистрирован:
Пн, окт 03 2011, 17:24
Сообщения: 153
Цель - использовать BW как хранилище... соответсвенно думаем что для этого оптимально подойдет ОДС (так как есть только одна таблица +- строяться доп индексы)... только вот какого вида?

Правильно ли я понимаю, что если ОДС будет использоваться во внешней системе, то можно убрать галку по формированию SIDов - в таком случае загрузка будет быстрей, но будет утеряна проверка признаков на консистентность со справочниками?

Ну сейчас в ОДС 2 млн записей заливаются за час (каждый день, в том числе и выходной). В самом BW данные не будут использоваться.

_________________
Нас всех отчислят... как это мило


Принять этот ответ
Вернуться к началу
 Профиль Отправить email  
 
 Заголовок сообщения: Re: Архитектура ОДС для экстракции данных во внешную систему
СообщениеДобавлено: Чт, июн 14 2012, 16:04 
Начинающий
Начинающий
Аватара пользователя

Зарегистрирован:
Пт, авг 24 2007, 09:44
Сообщения: 15
Галочка "отключить генерация SID" ускорит не загрузку, а активацию данных, на консистентность данных это не влияет. SID в ODS нужны в основном для системы отчетности, если SID'ов нет , то при построении запросов, они будут генерироваться. Вывод: если не планируете строить отчетность средствами BEx, тогда SID можно выключать.


Принять этот ответ
Вернуться к началу
 Профиль  
 
Показать сообщения за:  Поле сортировки  
Начать новую тему Ответить на тему  [ Сообщений: 4 ] 

Часовой пояс: UTC + 3 часа


Кто сейчас на конференции

Сейчас этот форум просматривают: Google [Bot]


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Перейти:  
cron
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group
Русская поддержка phpBB