"И думать, что это ограничение в случае нейросети исчезает - глупо."

Да не об этом речь
речь о том, что четкая дихотомия хард/софт - плод распространения вполне конкретной архитектуры машин. Местами она не столь уж и четкая, местами не столь уж и дихотомия.