Никогда не интересовался, как устроен I2S в Малине. Там есть слэйв-режим (I2S тактируется не от своего генератора а от внешнего клока)?
Если есть, то нужно "накрутить" драйвер в этот режим и брать клок с I2S сидюка. Сама собой отпадёт проблема синхронизации.