Конечно самый низкий поток при прочих равных условиях это H.264, но этот кодек сложен в реализации и требователен к процессору. Едвали у вас получиться сделать достойную реализацию H.264 на одной DSP голове без VICP. Вообще много раз встречал сравнение кодеков, под рукой ссылки нет, только pdf с одной из TIDC конференций, но думаю лучше поискать, чем делать модели кодеков. Если задача сжатия видео является вторичной, то возможно стоит рассмотреть вариант покупки кодера, у нас есть некоторые реализации H.263, MPEG-4 для TI DSP, можно подумать о каких-то усеченных версиях. Самостоятельная реализация кодера может вылиться в большие трудозатраты.

Если вопрос еще актуален, пишите на mail. Постараюсь ответить на вопрос по шире.