1. "работы Уолперта" - они о нейросетях ЛЮБОЙ конфигурации? То есть, уровень абстракции какой? Если мы введём, допустим, аналог нейромедиаторов или ещё как-то приблизим нейросети к аналогу?
И, да, нам не нужен идеальный, нам нужен ошибающийся реже специально обученного человека.
2. Какой именно части гибкости?
3. Да, но тут есть один хороший факт. Единожды "идеально" обученную нейросеть можно после использовать как программу (или корректней - "прошивку", если нейроны реализованы в железе?) сколько угодно раз.