обозначить состояния как StateA, StateB, StateC, StateD, которые энкодер проходит последовательно при вращении. Тогда текст будет таким:

void Encoder_Exe(void)
{
  enum { StateA, StateB, StateC, StateD };
  static char entry = StateA;
  static char prev = StateA;
  char cur = 0;
  if(!Pin_ENC_F1) cur  = 1;
  if(!Pin_ENC_F2) cur ^= 3;
  if(cur != prev)
  {
    if(cur != StateC)
    {
      if(prev == StateC && cur != entry)
      {
        if(entry == StateB || cur == StateD)
          Keyboard_SetCode(ENC_DN);
        if(entry == StateD || cur == StateB)
          Keyboard_SetCode(ENC_UP);
        entry = cur;
      }
      else if(cur != StateA)
      {
        entry = cur;
      }
    }
    prev = cur;
  }
}

Обработка такая туманная, что я не могу её даже прокомментировать :(