Resposta:
Não existe um limite para o tamanho do ficheiro do programa se estiver a utilizar o sistema de 64 bits e a versão de 64 bits do RFEM 5 ou do RSTAB 8.
O "Limite" é determinado pela configuração do computador.
O que pode acontecer é a memória RAM disponível mais a memória virtual definida no Windows (espaço de memória livre) serem insuficientes. Nesse caso, pode otimizar a configuração do computador (mais memória RAM, mais capacidade disponível no disco rígido).