西漢高帝四年（公元前203年）建縣，名朗陵，縣治在今任店鎮(zhèn)任店村南側(cè)，屬汝南郡。成帝河平四年（公元前25年），于縣西北境置安昌侯國。綏和二年（公元前7年），又于縣東北境置陽安侯國。東漢初年，省安昌入朗陵。西晉初又于縣西南置安昌縣。東晉十六國時(shí)期，縣境先后為后趙、前燕、后秦的南部邊區(qū)。其間公元351年、369年、417年，東晉勢力重返中原，短時(shí)間為其北部邊區(qū)。 
    南北朝時(shí)期成為南北爭奪的地帶。南朝劉宋在縣境置初安郡、綏城郡，初安郡領(lǐng)新懷、懷德二縣；綏城郡領(lǐng)安昌、招遠(yuǎn)二縣。472年，綏城郡并入初安郡，縣境東南部置有白狗縣，東北部置有永陽縣。528年，南梁進(jìn)據(jù)淮北，廢初安郡，僑治陳州，改白狗縣為淮州。北魏復(fù)占后，廢州仍置郡縣。556年，北齊廢初安郡，僑治荊州，置齊興郡。北周于578年，改荊州為威州。

隋初，廢威州改為安昌縣。開皇三年（583年），遷縣治于今處。開皇十八年（598年）改安昌縣為朗山縣。唐朝初年，改為北朗州；貞觀元年（627年），廢州恢復(fù)朗山縣，屬豫州。寶應(yīng)元年（762年），因避代宗李豫諱，豫州改為蔡州，朗山縣屬蔡州，五代相沿未變。 
    北宋大中祥符五年（1012年），因避諱，大朗山改為樂山，朗山縣改為確山縣。金時(shí)屬蔡州鎮(zhèn)南軍，元至元三十年（1294年），蔡州改為汝寧，確山縣屬汝寧府。 
    明朝初年，撤確山縣并入汝陽縣。洪武十四年（1382年）恢復(fù)確山縣，屬汝寧府。成化十一年（1475年），改隸于信陽州。弘治二年（1489年），復(fù)歸汝寧府。清朝沿襲未變。 
    1913年（民國2年）廢府設(shè)南汝光道，后改為汝陽道，道治在信陽，確山屬其轄。1931年（民國20年），改屬河南省第八行政專區(qū)，專治在汝南。1949年，豫南各縣全部解放。1949年4月，人民政權(quán)在駐馬店設(shè)立確山專署，1949年8月，遷改為信陽專署。1965年，信、駐分治，確山縣屬駐馬店地區(qū)。
    2001年3月，駐馬店撤地建市后歸屬駐馬店市管轄。