Матемаг
> я хз, что такое квайн

Это программа, которая выводит саму себя.

> Меня интересует уровень матлогики

Это как раз матлогика, подраздел «теория вычислений». Конкретно обсуждаемая задача — реализация парадокса Карри.

> Проблема в том, что это потребует либо бесконечного алфавита, либо бесконечного размера идентификатора. Или я не понимаю, как обойти.

Use идентификатор рекурсивной операции (Y-комбинатор), Luke!