Первыми в голову приходят "Хазарский словарь" и "Уникальный роман" Павича

> а есть ли примры художественных книг, которые нужно читаль нелинейно?

https://en.wikipedia.org/wiki/Gamebook

Ну и если именно "обычная проза", то Finnegan's Wake.

+1 к геймбукам

Maggy Lu
+1 к Павичу, тоже его сразу вспомнила.

Еще есть interactive fiction, но это не совсем книги, это жанр игр.
https://en.wikipedia.org/wiki/Interactive_fiction

Вот это обсуждение релевантно теме:
http://lleo.me/dnevnik/2020/04/26

У Павича практически все нелилинейное, не только Хазарский словарь и Уникат. К Уникату, кстати, существует еще "Голубая тетрадь" (если ее переводили на русский), в которой собраны все 100 вариантов окончаний романа.
Но у него не только нелинейность, но еще и своеобразный язык и темы. Чтобы получить представление о его прозе, можно для начала прочесть что-то короткое, например, Стеклянную улитки или Дамаскин.

"Игра в классики" ((Х.Кортасар)
"Бледный огонь" (В.Набоков)

"Дом Листьев" когда-то был, но я его не дочитала, сказать не могу...