Ну я вот понимаю в общем, в смысле я могу написать минимальную RTOS с нуля или простой процессор в verilog. Процессоры и оперативные системы они понимаемы. У них есть компактное концептуальное ядро.

А вот нейросети это как разведение собак. Эксперты понимают много об этом, у них есть много опыта в этом, но они не знают как работает собака, концептуально.

Есть некоторые попытки в mechanistic interpretability но пока что рудиментарные

К примеру https://www.anthropic.com/research/tracing-thoughts-language-model