Uolis
Настройки правильные, только параметры в миллисекундах задаются разные в PlayPcmWin и в APlayer.
В APlayer указывается длительность полного буфера (Output Buffer),
а в PlayPcmWin - периодичность опроса этого буфера, которая там названа Latency.
В коде PlayPcmWin, в файле WasapiUser.cpp, где инициализируется вывод через WASAPI, есть такие строки

Здесь m_latencyMillisec - это та Latency, которая задаётся в настройках PlayPcmWin, а bufferDuration - полный размер буфера, тот Output Buffer, который задаётся в настройках APlayer. Как видите, они связаны множителем periodsPerBuffer, который выше по тексту в PlayPcmWin определён как


То есть, этот множитель равен 4. Соответственно, буфер (bufferDuration / Output Buffer) WASAPI в PlayPcmWin в четыре раза больше, чем Latency.
Поэтому равные с PlayPcmWin условия по настройкам на размер буфера WASAPI будут созданы, если в поле OutputBuffer настроек WASAPI в APlayer указать значение 12 при задании Latency 3 в PlayPcmWin. Периодичность опроса (m_latencyMillisec / bufferPeriodicity) в APlayer задаётся как 1/8 длительности буфера, то есть, в этом случае она будет 1.5.