Это совершенно нормальные погрешности вычислений, любая перекодировка приводит к возникновению погрешности, потому что разрядная сетка не бесконечна, и погрешности накапливаются. Возьмите любой КАД, и с десяток раз перейдите из метрической системы в дюймовую, исходные и конечные размеры детали уже не совпадут (в 4-5 знаке).
Самое правильное, это то, что идет прямо с АЦП только с его погрешностями.