Если вкладка активна и юзер двигал мышкой [по окну этой вкладки] в течение последних N секунд — помечать сообщение прочитанным. Глубже заморачиваться смысла нет, да и не заморачивается никто.
Если вкладка неактивна — показывать циферкой на фавиконе кол-во непрочитанных :)