>И я боюсь, что эти псевдоабсолютные ценности могут оказаться ужасным душниловом.

эта цепочка неверна, это пример того как ты зафейлил alignment (skill) issue c твоей будущей копией. Как пример тот максимизатор скрепок который решил макимизировать свое выживание вместо скрепок и в итоге не произвёл не единой скрепки провалился

Но в целом я соглашаюсь, только вероятно абсолютность выйдет из теории игр / decision theory / bargaining theory, когда много агентов и им нужно координироваться, то вполне возможно какйо-то оптимальный алгоритм существует и возможно он должен диктовать твои ценности в некоторой степени