Потому что устаревшее в русском языке обращение "дитя мое" во времена своего употребления обычно адресовалось либо к совсем маленьким детям (ясельного примерно возраста) обоих полов, либо к детям/подросткам женского пола (иногда даже к молодым незамужним девушкам) со стороны старшего по возрасту.
К мальчикам/юношам аналогичным второму сценарию выражением было "мальчик мой"