загляни в папку ini, там должен быть mame.ini, если его там еще нет - зайди в Options - Default Game Options и нажми OK, после этого он создастся.
ну и потом найди в mame.ini
"hlsl_enable 0" и исправь 0 на 1,
в "hlsl_preset -1" вместо -1 поставь число от 0 до емнип 4 - это предустановки мониторов разной степени паршивости и посаженности