Сейчас взял для f'(x) = f(x-a) решение в виде f(x) = c*e^(kx) и проверил. Получается, что это является решением только если k*e^(-ka) = 1.
UPD. Как решить полученное уравнение относительно k - не знаю:( Но похоже что действительно экспонента. Хотя, если k - комплексное... Или мнимое. Тогда периодичность получается.