Я думаю, это из-за использования разрешения 320*200, консоль его криво отображает. В 3DO-версии Doom игровое окошко может быть увеличено максимум до 280*160 (активируется читом, а так только 224*128), что указывает на разрешение 320*200 (для сравнения, в DOS-версии максимальное окошко с HUD — 320*168).
Да не, к разрешению здесь привязки нет. Тем более изначально Doom разрабатывался не для DOS и не для vga, история же тридиошного порта довольно известна, это попытка переноса ягуаровской версии в очень короткие сроки и без достаточного инструментария. А версия Wolfenstein 3D - порт маковского Wolf3D Deluxe, который кстати тоже хайнемайновское детище.
В оригинальном разрешении Феникс, насколько я понимаю, не скриншотит. Ну, попробуй в 4do заскринить, только улучшайзеры в нём включать не надо.
Кстати, аппаратный рендер работает крайне медленно, мой компьютер не вывозит.
Сочувствую конечно, учитывая что высокими требования эмулятора никак не назвать. Уменьши масштабирование FBO... А, к слову, с Думом аппаратный рендер не особо корректно работает. Но вот в NFS картинку улучшает сильно - по слухам такая картинка была бы у него в невышедшем 3DO M2.