Скажу как бывший эйчар. 4 года и 2 года - абсолютно нормально. Даже хорошо.
Не везде, правда. Есть упоротые бабки-главбухи, для которых смена работы сотрудником даже раз в 5 лет - это "а какие были причины такой частой смены работ?". Есть школы, там тоже хватает замшелых директрис, считающих приличным увольняться не раньше чем через десяток лет на одном месте.
Но если мы говорим про среднестатистическую работу в офисе, то всё у вас ок.