Нужно больше подробностей по модели. Если выход модулятора не квантуется, то скорее всего дело действительно в формирующем фильтре (или в светрке его и канального фильтра приемника). Вобщем, чтобы ISI не было, в ИХ всего тракта от модулятора до демодулятора отсчеты отстоящие на Tsym от среднего должны быть 0.