Бутлоадер - основная программа. расположена в первых адресах памяти программ. На нее передается управление при старте.
Трудности были с основной программой. Именно ее нужно разместить с заданного адреса. Перед компиляцией файл Bl.ld копируется в файл procdefs.ld, расположенный в директории проекта. Содержимое Bl.ld ниже.
То есть, если такого файла (procdefs.ld) в директории проекта нет, то берется где-то стандартный. Есть - берутся адреса из него. Сравните адреса из приведенного файла и из стандартного, поправьте как надо.
Да, функции работы с USB не используются в основном проекте, только в бутлоадере, поэтому общими областями памяти программ не заморачивался.