Дайте, пожалуйста, наводку - в какую сторону рыть, чтобы посчитать IOPS на машине с базой данных?
На каком уровне они их можно померять:
- утилитами на уровне операционной системы,
- утилитами БД Oracle,
- утилитами, встроенными в SAP?

- утилитами на уровне операционной системы (sar/iostat | Perfmon)
- утилитами БД Oracle (EM)

посчитать SAPS можно не вводите людей в заблуждение, просто результат будет весьма абстрактным и использовать его для точного определения производительности железа нельзя.

Путаете людей.
посчитать и посмотреть - это разные вещи.
sar Вам IOPS не посчитает а покажет статистику. Т.е. без нагрузочных тестов вы ничего посчитать не сможете.

Про то как высчитывать IOPS была отличная статья
http://habrahabr.ru/post/164325/

Понятие ИОПСов относится к блочным устройствам, поэтому их измерять разумно именно для них (диски, системы хранения). Небольшое ИМХО к этой статье: я бы не советовал мерить ИОПСы всякими iometer'ами (под никсами она лукавила) и похожими программами. fio дает куда больше информации и в целом корректнее.

Для более высоких уровней (база данных, SAP) лучше измерять более релевантные показатели. Хотя всё равно на практике все утыкается в скорость дисков

Что вы имеете в виду, говоря блочные устройства?
IOPS - это сумма операций записи и чтения в секунду.
Если у нас RAID массивы ты мы олучаем пенальти на запись\чтение, если у нас 1 диск то IOPS будтет зависить в первую очередь от:
1. Скорости вращения шпинделя
2. Того как кэшируется информация.

для SSD дисков все несколько иначе. )))


В общем целом задача всегда одна:
Понять сколько IOPS требуется, а затем рассчитать количество дисков для реализации.
или расчитать теоретический IOPS для текущей системы и сравнить с измерениями (например пользуясь iostat -d -x)