Apk-файлы - близкий аналог обычных инсталляторов на ПК, так что плюсую к комментариям выше, после установки приложения можете смело их все удалять.