А ведь олимпиада - это ограниченное по времени мероприятие.
И я очень сомневаюсь, что у вас там для этих целей есть вычислительный мегакластер, на котором можно было бы нейросетки обучать относительно быстро.

Так что получается, имеет смысл только уже обученные использовать?
Или задачи будут типа "научи нейросеть отличать черный квадрат от красного круга"

Я не удивлюсь, если в задачах вооще не будет ничего, что имеет смысл решать с помощью нейросетей или вообще возможно решить с помощью нейросети.