Поэтапно:
1. Надо определить имя устройства, которое соответствует псевдониму COM#.
Для этого например используем тулзу WinObj: http://technet.microsoft.com/ru-ru/sysinternals/bb896657.aspx

Выбираем слева вкладку GLOBAL??, справа ищем наш СOM#. В столбце SymLink видим настоящее имя устройства. Например у меня 2 ком-порта в системе, один встроенный (COM1), один USB (COM5). Соотвественно, у меня имена такие:
COM1 \Device\Serial0
COM5 \Device\VCP0

2. Определяем процесс, который "держит" порт
Лично я использую удобнейший диспетчер процессов Process Explorer: http://technet.microsoft.com/ru-ru/sysinternals/bb896653.aspx

Выбираем в меню Find/Find Handle or DLL...
Вводим искомое имя девайся (можно усеченное, например Serial0) жмем Search и вуаля! Получаем список процессов, которые держат открытые хендлы на это устройство.