"- Я же не могу просто так сам решить, что я в числе приглашенных.
- [И зря]!
"

наверное, что-то на основе should. But you should do (that), как-то так. "зря" тут в смысле "а стоило бы".