古时行军扎营，立牙旗以为军门，称为「牙门」。《后汉书．卷七四上．袁绍传》：「曲义追至界桥，瓒敛兵还战，义复破之，遂到瓒营，拔其牙门。」南朝梁．刘勰《文心雕龙．诏策》：「警郡守以恤隐，勒牙门以御卫。」
旧时官吏办公的地方。《北史．卷二六．宋隐传》：「每日牙门虚寂，无复诉讼者，谓之神门。」宋．钱易《南部新书．庚》：「近俗尚武，是以通呼公府、公门为牙门，字称讹变转为衙。」也作「衙门」。