Матемаг
Тут надо иметь ввиду обстоятельства.
1. "Идеальный ученик" невозможен, см. работы Уолперта - в качестве следствия из теоремы у любой (конфигурации) нейросетки обязательно будет слабое место.
2. "Железные" ограничения - штука любопытная. Нонче обещают (причём уже два подхода всерьёз раскручено до реальных чипов) радикальное увеличение быстродействия и/или ёмкости, хотя и ценой потери части гибкости...
3. Подборки обучающих выборок - это, на самом деле, стремительно "дорожающая" в смысле потребных ресурсов и вложений штука. Причём пока кажется, что для устранения "длинного хвоста" редких ошибок рост объёма/качества потребной выборки происходит как-то быстрее...