в сапнете:
SAP Software Distribution Center -> Installations and Upgrades -> SAP KERNEL 64-BIT -> SAP KERNEL 4.6D_EXT 64-BIT -> LINUX -> ORACLE
Инсталяция: 51020565 CD 4.6D EXT Kernel ORACLE Tru64,LNX,SOL (471759 кб)
в этой инсталяции 32-битное ядро, 1668 patchlevel

потом скачиваешь апдейт ядра:
SAP Software Distribution Center -> Support Packages and Patches -> SAP KERNEL 64-BIT -> Linux on x86_64 64bit -> #Database independent и ORACLE
ядро: SAPEXEDB_2228-20001676.SAR Kernel Part II for Q1/2006
SAPEXE_2228-20001675.SAR Kernel Part I for Q1/2006

Дополнительно необходимо скачать 64-бит. клиент оракла (если нету и если ставишь только диалоговую инстанцию) лежит в Database Patches на сапнете.

В итоге получаешь полностью 64-битное ядро под линукс (2228 patchlevel)

Спасибо за наводку. Всё работает. Увеличить общий объём памяти для одной транзакции всё равно не получилось (это ограничение версии 4.6С, см. ноту 548845), но теперь heap перестал использоваться при увеличении ztta/roll_extension свыше 2Г (это превышает допустимый максимум, который указывает rz10, но система стартует и всё работает, единственное неудобство - в некоторых мониторах неправильно показывается объём памяти).