Это реальный страх, это надо отлавливать в себе и избавляться. Вот это "некогда", "я занята", "отстань", "ты ещё маленький", "ты не поймёшь", и прочая, и прочая.
А они всё видят, иногда чувствуют больше родителей - они не загружены так реалом, у них восприятие свежее! И они делают выводы, а родитель рискует опоздать: поезд уйдёт, время будет упущено. А ещё ребёнок может сделать вывод, что он не нужен. Или что он нитакой.
Вот хорошо, что у вас мальчишки предположили, что взрослые тоже несовершенны, уже полегче как-то.