Если организовать это дело в виде "селектора", то можно обойтись минимумом - самая простейшая железка может оцифровывать сигнал с микрофона в 8 бит PCM + небольшой буферок для "бесшовной склейки" пакетов UDP. При желание оператор могет нажать кноппер и матюгнуться в ответ... (служебные пакеты заюзать для переключения направления и вызова) И никаких монстров для подавления эха, поддержки полного протокола VOIP, постоянного TCP соединения..