'А летом мы с детьми ездили в ближайший колхоз на картошку'

Лето было святым временем - у учителей отпуск, у детей каникулы, пионерские лагеря и турбазы с родителями. И - картошка осенью созревает - ну, в Поволжье это конец августа - начало сентября. Вот осенью в начале сентября старшеклассники и студенты и ездили на картошку, недели на две
Если вам нужно, чтобы ваш герой как-то проводил летом время с учениками, то лучше пионерской лагерь использовать, думаю