Чтобы наглядно показать, записал 2 видоса.
В обоих случаях OpenGL используется, в MAME - DX9, который у вас без проблем. Я писал про RetroArch не чтобы вы играли, а проверили, там можно выбрать графический API. Если хотите узнать проблему, скачайте RetroArch, установите ядро Genesis Plus GX и проверьте игру с Settings > Video > Output > Video: Vulkan, d3d12 (или d11, d10), glcore (можно ещё gl). Если проблемы будут только в OpenGL, то можно сузить причину проблемы.
UPD2: Проверьте "Просмотр событий" Windows, нет ли периодических ошибок.
UPD4: У вас не стоит смены обоев каждую минуту? Придётся обойтись без анимешных девушек каждую минуту

UPD:
- нет поддержки ДХ (только Опенгл)
У меня BizHawk с D3D11, можно выбрать в настройках, там написано Direct3D11 - Best compatibility, поэтому проверяйте снова. Запускается 6 секунд, повторный запуск 2 секунды.
UPD3: Кстати, BizHawk в отличие от RetroArch умеет захватывать видео в отдельные файлы при смене разрешения, поэтому можно получить картинку с квадратными пикселями, в RetroArch получаются прямоугольные пиксели с ужасной прокруткой фона. Если в RetroArch захватывать после фильтров, то не так заметно должно быть, но мне нужна была lossless запись в оригинальном разрешении. Может в RetroArch изменилось, но не думаю, всем плевать. Можно проверить в Splatterhouse 3.