Меньше слушай шелухи, больше шевели мозгой. У тебя кто главный - работающее всегда быстрое SPI-устройство или иногда подключающийся медленный SPI-программатор? Вот то-то - значит, нужно обеспечить устройству скоростную схемотехнику, а от программатора конфликтующие выходы развязать джамперами или отключать SPI-устройство невыбором