Гилвуд Фишер, если брать канон, то Мартин только что крупными буквами не написал, что Дарри жил не в Браавосе, а в Дорне - красные двери, лимонные деревья, вот это всё. Так что из Дорна их выпнули.

Что до обоснуя, ненависть ненавистью, но когда начинаешь понимать, что ещё чутка, и или вы сдохнете от голода, или вас догонят убийцы, или у тебя поедет крыша - в голову периодически приходят Отличные Идеи.
В каноне они не пришли и он продолжал рутину "просить кров у кого попало - быть выброшенным на улицу - жить в нищете - продать мамину цацку на дорогу до нового места - просить кров у кого попало" пока окончательно не съехал (и это еще долго продержался).
Тут пришла Отличная Идея, что убийцы точняк не будут искать свою жертву у лепшего друзя Узурпатора под носом - а разговоры моряков о доброте и справедливости намекали, что Нед в принципе тот человек, который может повестись на Повесть Несчастного Недомейстера.

Таким образом они получали кров, стол, безопасность и возможность дать Дени хорошее образование. Только надо не забывать краситься и рассказывать про маму-тирошийку, которая Завещала.