Когда-то все писали в машинных кодах, потом все писали на ассемблере, потом начали полагаться на компиляторы. Постепенно AI будет замещать компиляторы. Но не везде.

Marlagram
Это действительно серьезный вопрос. Но с программистскими задачами хотя бы есть тесты.

Это решается либо локальными опенсорсными моделями для богатых корпораций с их секретами, либо просто игнорированием проблемы для всех остальных.

Такого софта на практике раз, два и обчелся. Обычно переписывают или забрасывают раньше, чем настает это время. Да и человек еще не всегда означает гарантию. Например, программисты на Коболе постепенно заканчиваются.

А такого софта на практике ещё меньше. Куайны пишут не для работы. Для работы наоборот пишут так, чтобы экзотики было как можно меньше, а поддерживать было проще.