полная шкала будет 5В * 4,62 = 23,1В
младший бит будет 23,1В / 1024 = 22,56мВ
т.е. колебания на 10мВ - это 0,5 бита, весьма неплохой результат для меги

Что можно попробовать сделать: во-первых, правильно подключить опору. Во-вторых - увеличить постоянную времени фильтра. Возможно, при этом придётся немного поднять частоту дискретизации

Ну и совет: как можно меньше используйте float, постарайтесь всё сделать с фиксированной точкой, используйте 32-битные целочисленные вычисления. Да и printf тоже разве что на время отладки