趙武靈王曾進行軍事改革，胡服騎射，大敗林胡、樓煩的入侵，建立了云中、雁門、代郡。后來，李牧奉命常駐雁門，防備匈奴。為免除匈奴對趙國邊民的襲擾，使匈奴數歲無所得，而趙軍則兵強馬壯，愿為一戰。"大破匈奴十余萬騎。"其后十余年，匈奴不敢寇趙。后人稱李牧為"奇才"，并在雁門關建"靖邊寺"，紀念其戍邊保民的戰功。秦始皇統一六國后，派遣大將蒙恬率兵三十萬，從雁門出塞，"北擊胡，悉收河南之地"(即河套地區)，把匈奴趕到陰山以北，并且修筑了萬里長城。 
漢高祖劉邦時期，匈奴圍韓王信，韓王信投降，匈奴引兵南逾勾注，直驅晉陽(太原)。
漢武帝繼位后，面對匈奴不斷猖 雁門關 狂的南犯，著手反擊。元光五年(前130)，漢武帝下詔發卒整修雁門關。漢朝名將衛青、霍去病、李廣等都曾馳騁在雁門古塞內外，多次大敗匈奴，立下汗馬功勞。"猿臂將軍"李廣在做代郡、雁門、云中太守時，先后與匈奴交戰數十次，被匈奴稱為"飛將軍"。
漢元帝時，王昭君就是從雁門關出塞和親的。從此以后，這一帶出現了"遙城晏閉，牛馬布野，三世無犬吠之警，黎庶無干戈之役"的安定局面。
雁門關之稱，始自唐初。因北方突厥崛起，屢有內犯，唐駐軍于雁門山，于制高點鐵裹門設關城，戍卒防守。《唐書?地理志》描述這里"東西山巖峭拔，中有路，盤旋崎嶇，絕頂置關，謂立西陘關，亦曰雁門關。"
北宋初期，雁門關一帶是宋遼(契丹人)激烈爭奪的戰場。愛國 雁門關將領楊業(又稱楊繼業)及其他楊家將士都曾在這里大顯身手，為國立功。
在宋太平興國四年(979)，楊業任代州刺史兼三交駐泊兵馬都部署以后，曾多次以少勝多，大敗遼兵，當時人們譽楊業為"楊無敵"。
雍熙三年(986)，在雁門附近的戰斗中，楊業陷入重困，最后士卒全部覆沒，在朔州的陳家谷他自己身負重傷為遼兵所執，寧死不屈，終至絕食為國。
后經五代十國、宋、遼、金、元約四百余載。
元朝設千戶所，關城被毀。
明代吉安侯陸享于洪武七年(1374)自監民工筑新關于舊 關東北十里處的要道。南距代城縣四十余里，北鄰廣武古城二十一里，地勢更為險要。
明清以后，關城雖屢有重建。但隨著中國民族統一國家疆域的逐步形成，內長城作為"內邊"的作用已經失去，所屬的雁門雄關也隨之荒廢。關城僅在東門、西門、小北門三個門洞和靖邊寺前的一對石獅，一副石旗桿，明鐫李牧碑石一塊，以及寺后的數株青松。
1937年9月，中國共產黨黨為了團結抗日，派周恩來、彭德懷和 雁門關彭雪楓同志，前來雁門山的太和嶺口與國民黨第二戰區司令長官閻錫山會晤。
1937年10月18日，在閻錫山棄關南撤以后，八路軍一二零師七一六團挺進雁門關大同公路附近，在此伏擊了日軍汽車運輸隊，一舉摧毀敵人汽車四百余輛，贏得了震驚中外的大捷。
2001年6月25日，雁門關作為明朝古建筑，被國務院批準列入第五批全國重點文物保護單位名單。