И тут я подумал, что вроде бы путь может быть в аппаратном моделировании, но проблема в до-обучении.
Эх.
так есть же всякие хитрые ПЛИС с, условно, аппаратными сигмоидами (которые обычно нейропроцессорами и называются). Другое дело, что там особой черной магии нет: для обработки сигналов ПЛИС используются очень давно.