Нейронные сети сами по себе - просто инструмент, но их обучение... в фундаменте их обучения заложены бомбы.

Материалы для обучения берутся без спроса и непонятно откуда. Там - нарушение авторских прав, здесь - скормлена непроверенная никем чушь. Эти модели переобучаются, едят свои собственные работы и пытаются подстроиться под выбрасываемые людьми противоположные запросы.

Разработчики нейросетей вводят запреты на контент 18+, но пользователь знает, что нейросеть умеет в запрещённый контент. Бесполезно и бессмысленно, но пользователь хочет сделать гадость. Пользователь изучает промты и делает гадость. Нейросеть получает опыт генерации в копилочку, однажды это всплывает в логах, начальник ярится и бьёт разработчика палкой, а потом разработчик вводит очередные запреты и всё начинается снова.