То, что _часть_ причин, по которым кто-то кого-то называет другом, порождена предрассудками, не значит, что само понятие -- предрассудок. Вся эта радость про статистическое причинение блага -- не единственная причина и не единственное проявление дружественности.

Вспомним дилемму заключенного. Дружба -- это то, что помогает добиться оптимума.

Дружба -- многозначное слово. Понятное дело, что если вы сейчас сами додумаете детали определения, которым будете пользоваться, то окажется, что никакая "дружба" не нужна ИИ. Половина проблемы создания дружественного ИИ заключается как раз в определении того, что же такое "дружественный" (как, например, в криптографии половина проблемы состоит в определении того, что же такое "надежный" протокол). Это не так просто, неудивительно, что додуманные вами на ходу определения не работают. Но это не значит, что дружественность не нужна, это у вас определения не отражают сути.

Заходил разговор о чувствах и их влияниях на целеполагание, но, как я понимаю, это вообще уже не в ту степь. В общих чертах понятно, чего хочется от дружелюбного ИИ -- хочется, чтобы он не причинял вреда человечеству. Это очень размытое описание, в нем не очень понятно, что значит "причинять вред" и так далее. Его формализация -- это часть проблемы получения чего-то, подходящего под это определение.

И да, я намеренно чередую термины "дружба", "дружественность", "дружелюбность", дабы показать, что, по моему мнению, в данном обсуждении (но только в нем) они означают одно и то же.