Вам, я так понимаю, надо входной аналоговый тракт + АЦП откалибровать. Но он при максимуме входного сигнала должен давать не +AREF(3FF), а немного ниже, где-нибудь примерно 3E0. Это будет одна точка калибровки. При миниморуме входного сигнала аналоговая часть даст не 00, а повыше, где-нибудь 02A например. Это будет вторая точка калибровки. Ну и дать "ноль" вблизи полопоры где-то 1EE - это будет третья точка.
На Сахаре в исходниках есть пример трехточечной калибровки. Получите float-коэффициенты. При умножении на них диапазон входных сигналов приведется к границам 0...3FF.