Для меня "не телефонный разговор" всегда было про что-то тайное и/или долгое.
Нет, не всегда из-за спецслужб, хотя когда обсуждаться будет дача взятки, то и это тоже.
Иногда из-за того, что подстерегают крайне любопытные члены семьи (во времена параллельных телефонов в квартирах было еще веселее).
Разговор на три часа тоже нетелефонный.
А еще так иногда говорят, когда планируют присесть на уши и убеждать. Потому что телефон / письмо помогают отстроиться и не поддаться на убеждения.