1. "но ниче не цеплял на вывод AREF, и вообще я к нему 5 вольт подвел, когда плату разводил, может из-за этого?" - не надо было этого делать...
2. результат измерения при усреднении не нужно масштабировать каждый раз. A*D+B*D+C*D == (A+B+C)*D. зачем загружать контроллер тучей ненужных вычислений? и вообще на атмеге про флоат вспоминать только при крайней необходимости...