具体情境具体分析。大部分情况下，你选择不去可能会显得不太合适。因为老板邀请你一同参加，通常是为了让你在场提供支持和帮助。比如，老板与经理共进晚餐，这背后可能意味着你需要扮演一些辅助角色，比如跑腿、倒水等。这种情况下，你表现得得体，老板可能会对你留下好印象，并在后续工作中更看重你。
然而，也存在一种特殊情况，你可以拒绝邀请，那就是如果你是女性，并且你感觉到老板对你存在不正当的意图。在这种情况下，拒绝邀请是合理的。在职场中，保持专业和警惕非常重要，确保自己的权益不受侵害。
当然，拒绝邀请需要谨慎处理，避免给老板留下不好的印象。你可以委婉地表达你的不便或有其他安排，同时表达对老板工作的支持和理解。这不仅有助于维护职场关系，也能保护自己的权益。
职场礼仪和职业道德很重要，你需要根据具体情况做出判断。如果感到不安或有任何疑虑，可以寻求同事或朋友的意见，或者咨询人力资源部门，确保自己的权益得到保护。
总而言之，在大多数情况下，接受邀请并表现得体是更为明智的选择。但如果确实存在潜在的不正当意图，拒绝邀请也是可以理解的。
