Такие сети обучают на больших массивах текстов, среди которых наверняка есть фички, поэтому она в какой-то степени ловит контекст и продолжает текст в тему.