关于楼下居民说我扰民的相关问题咨询，求问线上的大神们我该怎么办

您好，我家楼下刚搬来居民说我晚上9点以后正常活动影响到他孩子睡觉，可我觉得我是正常走动或者关门的行为，并没有形成噪音扰民，因为我的房子是老楼隔音效果肯定不是很好，但是我在这住了3年多，也没有人说我扰民过，他们刚搬来就说我吵到了他们，天天晚上来敲我家门，并且态度蛮横不讲理。而且擅自打开我家防盗门和我理论，还声称要打架什么的，请问我该怎么办？