Не очень в курсе насчёт демографического состава населения Англии 60-х.
Но может всё быть ещё проще - Тобиас чернокожий. И ничто не мешает ему быть улыбчивым матросом при знакомстве с Эйлин.
А ненависть к жене и сыну - ну, заставили поселиться вдали от моря и устроиться на завод. Улыбаться разучился, стал пить. Как матрос.
Ну и до кучи - он не умер, а инсценировал свою смерть и свалил в море. (Не помню, вроде же там Эйлин сначала не стало, ну и вот - колдовской морок развеялся. )