Можно ли уменьшить значение параметра abap/heaplimit ?
Сейчас значение = 40000000.
Дело в том, что во время сильной загрузки системы, процессы вылетают в PRIV-режим, и так и висят, занятые пользователем.
Если уменьшить этот параметр, может ли это помочь? или это вызовет какие-то другие побочные явления?

Это от PRIV не спасет...

а разве после превышения этого heaplimit рабочий процесс не перезапуститься, тем самым сбросив PRIV-блокировку?

Фишка в том, что процесс, попадает в PRIV режим из-за отсутствия достаточной extended памяти. Надо в sm04 вычислить процесс отжирающий память и разобраться в первую очередь именно с ним - почему он так много кушает.
А так есть нота 79435 Automatic resetting from PRIV mode

Может стоит посмотреть на workload статистику - может самоделаные отчеты переписать? или разбивать систему на несколько инстанций ...

или увеличить extended memory

некуда уже расширять, кончилась оперативная память

Можно добавить отдельный сервер приложений и перевести часть пользователей туда.

есть еще несколько вариантов
- научить пользователей отчеты (особенно с большими выборками) запускать в бэкграунде
- установить параметр rdisp/gui_auto_logout - ну например часа на 4 - если еще не установлен (тоже помочь может)
- мультилогины запретить (тоже немножко поможет)

Обрати внимание на проги и транзакции (особенно самописки), которые используют ALV.
В качестве примера могу описать такую ситуацию:
консультанты обожают смотреть содержимое таблиц через SE16 в виде ALV-grid с минимумом ограничений (типа - хочу видеть всЁ!!!)... так вот - такие режимы обычно просто пожирают память. Бывает так, что такой режим у консультанта болтается целый день. А если их несколько, то режим PRIV у обычных пользователей возникает на самых простых и стандартных транзакциях.

№1: как найти ("вычислить") такие проги и транзакции, которые используют ALV?

В момент, когда процессы находятся в PRIV режиме, запусти SM04: потом goto->memory и отсортируй по mem(total). Все кто будут находится во главе списка - потенциальные кандидаты на "разборку": запущенные проги можно увидеть по двойному клику на "кандидате"...