1. Что такое "корреляция" в Вашем случае? И главное, корреляция с чем? А "скалярное произведение" не пойдет?
2. Оптимальность Вы рассматриваете в каком смысле? Какой критерий Вы хотите использовать? Если критерий "идеального наблюдателя", то боюсь, что просто корреляцией, Вы не отделаетесь.
3. А что такое "сигнал в гауссовом шуме"? Гауссовый шум бывает разный - белый, окрашенный... Вам какой?

А вообще, все это описано в докторской диссертации Владимира Александровича Котельникова и перепето Колмогоровым, Андреем Николаевичем.

Ключевые слова: теория потенциальной помехоустойчивости и статистическая радиотехника.