Тротзтдем,
1а) "Я могу использовать одну из таких предварительно обученных нейросетей, чтобы сделать выбор в конкретной ситуации. При этом я не буду знать о логическом путе, которым можно описать принятие этого решения." - человеческий мозг может строить модели себя и работать с ними, более того, ничто не мешает строить модели части себя с огромной точностью. Если ты так не делаешь, значит, твой ответ на вопрос поста - не знаю. Молчи в сторонке, чо.
1б) "Люди делают так почти всегда" - постфактум или изначально вполне можно познать критерии выбора и всё такое. Было бы желания. Желания познавать себя хотя бы на уровне базовых ценностей нет только идиотов. Мне не интересны идиоты. Тебе интересны?
2) "Каждая конкретная задача с моральным выбором при практическом рассматрении превращается в обычную задачу на вычисление пользы/вреда" - чудесно, и? По сути, я спрашиваю как раз о том, на чём базируется конструирование твоих или чьих-то ещё функций пользы и вреда, хорошего и плохого... или нет. Как писал выше (17:09), представление о добре и зле вот СОВСЕМ не обязаны соответствовать вреду и пользе и хорошему и плохому конкретного человека. Так что от человека зависит, есть ли совпадение, полное или частичное, и идёт ли речь о тех же самых ценностях, что используются для конструирования вреда-пользы, или нет, не о них, или, возможно, они являются лишь частью представлений человека о добре и зле.
3) А кто так говорит? Хотя нет, Вамиар любит это "мы". А ещё ты это любишь, "люди делают так почти всегда". Ну извини, а можно, прежде чем говорить крутые и полезные сентенции, применять их сперва к себе? А то как-то странно выходит, ммм?