ulimit задает значения в килобайтах, поэтому у меня итак стоят максимальные. Весь левый софт остановлен, чтобы память не кушать. Я не вижу логики между памятью и отсутствием файла.

По поводу параметров - согласен. С HP-UX мы работали мало )
Но:
1) Похожая ситуация, с той же самой ошибкой, была на AIX и решилась ulimit -d unlimited ulimit -s unlimited
Тоже долго искали файлы и логи, которых просто не было, так как процесс инсталляции слетает с ошибкой сразу и бесповоротно.
2) Сейчас лимиты параметров стоят в один гиг для data и 8 мег для стэка. Если все-таки посмотреть в ноту 172747, то можно увидеть там другое значение для 'maxdsiz_64bit'

Возможно действительно дело не в параметрах. Хотя установка data size в 4 гига вряд ли повредит, ибо и SAP так советует.
Не тот регистр у SAPINST тоже вещь странная. А если запустить тот sapinst, который не с тем регистром?

Более 1 гига data size не дает установить сам хпукс (SAM) на старом сервере, на новом дает установить такой размер памяти, но ошибка все равно возникает.

Если запустить sapinst ручками, то он сразу ругается на отсутствие xml файлов (keydb, messages, contrl) и все равно вылетает.

сап уроды :( две недели потерял из-за того, что у них диск неправильно был записан. У них весь компакт записан в верхнем регистре. Если при монтировании указать нижний, то все файлы и каталоги будут в нижнем, инсталлятор опять не найдет нужные файлы. Только после копирования на винт в нижнем регистре и переименования всех каталогов ручками в верхний ОНО СОИЗВОЛИЛО. Слов нет.

предпоследние три параметра ставишь в unlim
последний - 2000
первые три unlim
core остается как есть

пямяти у меня было всего 2Gb и все заработало правда OS AIX 5.3

я же говорю, что проблема была в кривом диске. Файлы записаны в разных регистрах.