Наличие структуры - не признак порядка. Наличие структуры - это наличие структуры. Представим крайнюю ситуацию: структуры нет вообще. Никакой. Будет ли ситуация, когда ни один момент времени не отличается от другого и ни одна точка пространства от другой - хаосом? Нет. Это будет абсолютный, идеально предсказуемый порядок.
Как раз Ваше представление о хаосе излишне упорядоченно. вы как-то четко отграничиваете его ("нет структур, ничего ни к чему не тяготеет"), а это неверно.
А насчет "стрелы времени и прочего... "мы являемся свидетелями событий такого типа потому, что события иного типа происходят без свидетелей". Разумное существо, попадая в Хаос либо перестраивает часть его таким образом, что может выжить в получившейся псевдореальности и становится Повелителем Хаоса, либо погибает.