Вам тут уже наговорили дельных советов.
Но еще как вариант, можно просто прямо сказать, что по объективным причинам не тянете такой объем учеников. И оставляете тех, кому занятия важнее и нужнее и с кем у ас лучше получается. Можете, чтоб ему было не так обидно, сказать, что у вас не получается его дисциплинировать, чтобы он говорил по-английски, и ему нужно поискать учителя с другими подходами.