.o - это объектный модуль. форматы там известны - ELF, COFF, и т.п., зависит от конкретной платформы. А утилита, чтобы по ф-циям разложить - читайте про иду на тему о создании FLIRT-сигнатурок, их надо по этой либе сгенерить, и потом загрузить в иду.