Матемаг
> Я думаю, круг уже замкнулся, и нейронки уже учатся на своих же работах

Круг замкнулся, когда для нейронок придумали и реализовали соревновательное обучение. Т.е. например, одна учится рисовать, а другая учится оценивать нарисованное первой, и выхлопы взаимно скармливаются друг другу как весовые функции.