Скорее всего, остатки не сходятся именно потому, что все кроме вас израсходованную цифру "на глазок" записывали. И в половине случаев ничего ни с чем не сверяли.
Главный вопрос: как часто Вам платят? В идеале б договориться на чем чаще, тем лучше.
Я к тому, что ответственность повесить и правда могут.
Но! Если сумма будет внушительной, в вашем случае можно встать и уйти. Оформление по ТК РФ - это не только защита работника. Но и гарантия работодателя. Ибо сейчас, без оформления, вы никто - и вас там нет. Следовательно и обвесить тюбики с краской или потратить их сверх меры вы никак не могли.
Но, если одновременно с этим будет вероятность не получить зарплату за весь месяц - уйти уже сложней