如果这里的“老公上级”指的是你丈夫的上司，并且他多次到你家中，这可能是一个不合适的情况。在任何情况下，保持专业界限是非常重要的。如果你觉得这种行为让你感到不舒服或认为它超出了正常的职场关系范畴，你应该考虑采取一些措施：

1. 直接沟通：如果可能的话，可以尝试和这位上司直接沟通你的担忧。表达出他的来访让你感到不安。

2. 寻求帮助：向你丈夫或者人力资源部门报告这种情况，确保他们了解这个情况，并采取适当的行动来保护你的权益。

3. 记录细节：记录下每次来访的时间、日期以及具体情况，以便在需要时提供给相关方面作为证据。

4. 法律咨询：如果你认为自己的安全受到了威胁，也可以考虑寻求法律咨询，了解如何更好地保护自己。

请记住，在任何工作场合中，维护个人边界和尊重他人都是基本原则。如果遇到不适当的行为，及时发声并寻求帮助是非常必要的。