这种情况确实挺棘手的，你可以尝试以下几个步骤来处理：

1. 了解情况：首先，了解一下对方失忆的具体情况。他的记忆丧失到了什么程度？他是否记得你们之间过去的矛盾？

2. 沟通交流：找个合适的时机和地点，和对方进行一次坦诚的对话。表达你对他现状的关心，同时也说明你过去的一些经历和感受。

3. 保持距离：如果对方的出现让你感到不适，可以适当地保持一定的距离。但同时也要注意不要显得过于冷淡，以免对方感到被排斥。

4. 寻求帮助：如果情况复杂，可以考虑寻求第三方的帮助，比如共同的朋友或者专业的心理咨询师，他们可能能提供更中肯的建议。

5. 保护自己：在处理这种情况下，一定要注意保护自己的情感和安全。如果感到有任何不舒服或威胁，及时向他人求助。

希望这些建议对你有所帮助！