В OS Catalina не пробовал (выше High Sierra не ставиться на мой Mac Mini 2011).

Посидел, подумал, попробуйте первый запуск Roon из Application делать не двойным кликом на программу, а щелкнуть правой кнопкой на программе и в контекстном меню выбрать "Открыть". Появиться дополнительное окно, где надо подтвердить, что хотите запустить программу. Это надо сделать только при первом запуске, потом должна запускаться и при двойном клике. Попробуйте.

А вот на счет rkm_mac проверьте:
rkm_mac имеет флаг исполняемости файла?
Попробуйте дать команду: sudo chmod 755 rkm_mac При этом надо находиться в папке с этим файлом или указывать полный путь к файлу.

Поставил себе на Mac Mini (High Sierra), весьма удивился музыкальной подаче звука. До этого пользовал на Mac Audirvana. Думал это потолок для Mac платформы. Roon оказался более достойным по звуку. Audirvana снес.

Более того. Сейчас экспериментирую, для вывода звука засетапил на PC компьютере Linux Debian rt ядром. И поставил Roon Bridge (на удивление установка прошла легко и без проблем) и сам USB DAC уже подключаю к Roon Bridge, а база Roon и управление с Mac Mini. Mac Mini и Roon Bridge соединены напрямую кабелем Ethernet (без коммутатора). Надо время, оценить качество в таком варианте.