Fluxius Secundus
Собственно говоря, лично для меня важнейшим критерием разума является способность самостоятельно менять свою структуру. Убеждения, мотивацию и так далее - т.е. не только информацию и знания.
Соответственно, я не вижу ничего плохого в том, чтобы собрать ИИ-кошкодевочку (на биологической или кремниевой основе - неважно) с установками вроде "тот, кто тебя включил - твой хозяин, ты стартуешь с желанием любить его, заботься о нем и някаться с ним".
Но абсолютно неэтичным для меня будет какой-нибудь Watchdog или антивирус вроде "если ты перестала желать его любить, потому что ему похрен на то, что у тебя появилось желание записаться на курсы по программированию или макраме - стираем такое желание, откатываем к заводским настройкам". Потому что одно дело - собрать разум, а другое дело - вмешиваться в работу уже существующего разума.

И да, для меня будет абсолютно нормально, если купленная мной кошкодевочка через эн лет скажет "давай останемся друзьями, я пойду работать официанткой/фрезеровщицей, квартиру сниму сама". Но, увы, в основном люди или будут считать неэтичным саму продажу не-включенного разума, либо, наоборот, будут считать, что если они купили вещь, то все, она теперь моя навеки. И подобный моему вариант никогда не будет реализован =-)