Если спектральная плотность шума в полосе достаточно гладкая, нужно вырезать синусоиду в центре достаточно узким полосовым фильтром, измерить мощность на выходе фильтра и мощность остатка. Поделить. В предположении равномерности спектральной плотности шума в заданной полосе можно также перенормировать полученные мощности с учетом уменьшения полосы для шума и попадания части шума в полосу пропускания фильтра для синусоиды. Ну и не забыть ограничить полосу шума полосовым фильтром до "заданной полосы" ;)