Я обычно нормирую сигнал на входе демодулятора так, чтобы несколько старших бит в каждой квадратуре использовать как адрес в таблицах "мягких" решений для каждого бита QAM.
Если нужен "жесткий" демодулятор, то можно обойтись несколькими сравнениями с границами областей, соответствующих тому или иному биту - тоже достаточно быстро будет. Сравнений требуется столько, сколько бит передается в квадратуре (Определяете в какой половине находится точка, затем в какой четверти и тп)