第一山原名南山，地处盱城中段。自北宋大书法家米芾作《第一山怀古》诗，并挥毫书写“第一山”三个大字以后，人们改称南山为第一山。该山左翠屏峰，右揽凤坡岭，背倚清风山，面向长淮，气势巍峨。山上树木葱郁，楼阁掩映其中，自然风景极佳，尤为诱人的是第一山题刻。
据清光绪《盱眙县志稿》记载：第一山碑刻，包括敬一书院、试院、文庙、瑞岩观、县署的碑刻，正、草、篆、行皆有，具有一定历史和艺术价值。原不题跋88块，记载25块，诗56块，共169块。目前尚有摩崖石刻74块（其中宋代45块），碑刻39块，共113块，山腰间有著名的秀岩、瑞岩、西城寺三座石刻。均系摩岩石刻，及碑刻，多属宋、元、明、清历代名家题留。诗词并茂，字体齐全。
秀岩坐落在第一山中麓，倚山面淮，风景优美，其所在这院落，北宋为普济院，南宋为翠屏堂，元代为崇圣书院，后为淮山书院，清代为敬一书院。院北有魁星亭，亭内有苍劲有力的魁星石碑。身临其院，放眼眺望，山上竹木葱郁，宛如一带翠嶂，环绕山城；西面的淮河，恰象一条又长又宽的玉带呈现眼前，令人心旷神怡，留连忘返。
瑞岩在秀岩西侧，上有南宋及明代石刻20余块，其中有双人全身像石刻，经考证为李东（巡按御史）、张珩两人。
西域寺石刻，多系明代我只题留。其中有李东的“海阔天空”四个隶书大字，苍劲有力。其余历经剥蚀，已无法辩认。
北宋时期，江、淮、荆、浙发运副使蒋之奇，于元丰六年（公元1083年）到泗州察看水运，莅盱游南山，留有题名石刻现仍有残石。次年，名闻海内诗人、书法家苏东坡游南山以小楷题写《引香子》词一首，其曰：“北望百川，野水荒湾。共寻春，飞步孱颜。和风弄袖，香雾萦鬟，正酒酣时，人语笑，白云间，孤鸿落照，相将归去。淡娟娟，玉宇清闲，何人无事，宴坐空山，望长桥上，灯火乱，使君还。”绍圣四年（公元1097年），北宋书法家米芾知涟水军时，从京城汴梁乘船，沿汴河南航赴任。一路千里平川，出汴入淮时，米公纵目南跳，峰峦起伏，逶迤不绝，即景生情，口占七绝一首：“京洛风尘千里还，船头出汴翠屏间，其论衡霍撞星斗，且是东南第一山。”他登临游览时，挥笔题诗，并书“第一山”。诗及字均镌刻于秀岩。诗中的第一山，当时泛指淮河南岸群山，后来，米书“第一山”的石刻所在地，命名为第一山。向东北依次序为二山、三山、四山。“第一山”名称，从此名闻遐迩。四年以后，建中靖国元年（公元1101年），米芾从京官出任发运司属官，第二次至盱，与陈敏同游，留下了题名石刻及关于杏花园、玻璃泉等诗篇。崇宁五年（公元1106年），米芾三游“第一山”，同游者张大亨，题名石刻；并游览了八仙台、清风山、龟山寺等名胜，分别赋诗。米公三游盱眙，流涟三水，挥毫题咏，留下了脍炙人口的十景诗。后人誉之“米芾三游第一山，漫题十景志烟寰。”米芾亲书的“第一山”三个大字及诗句的小字，原刻于旧县署东壁和第一山悬岩。现存的“第一山”碑刻系清代重勒。继米芾之后，游第一山的有贺铸、蔡元长、刘晦叔等，均有题留。
南宋年间，诗人杨万里、国信使郭汝谐等也曾游南山，并起名勒石。元、明、清历代，均有诗人、雅士、名臣在这山登临纵目，题字诗文，勒之于石。
这座风景秀丽，遍及石刻的山，已于1982年3月被江苏省人民政府列为省级文物保护单位。