Поищите про изолированные популяции. Вообще, всё это очень, очень сложный вопрос - и дело не только и не столько конкретно в близкородственном скрещивании. Дело и в размере популяции, и в (условно говоря) стартовых характеристиках.
При этом отдельно надо думать над определением жизнеспособности, ибо оно сильно изменяется. Взять хотя бы мелькающие исследования о, с одной стороны, близкородственном скрещивании в ближневосточных поселениях позднего неолита - а с другой о распространении способности переваривать лактозу во взрослом состоянии. Или современные предположения о размене высокого интеллекта в 14-30 лет на высокую вероятность аллергических заболеваний - первое мы улучшить пока не можем, а вот второе симптоматически лечим, что заметно изменяет условия отбора... И как это накладывается на обменные болячки в 60-90 лет...
Однако большие цифры против инцеста. Особенности генетики человека на данном этапе делают более вероятным успех при максимальном разнообразии генов - за несколькими известными местными исключениями.