本市地处五岭中之萌渚岭南麓，境内崇山峻岭，丘陵岗峦星罗棋布。主要山脉北部有绵延丰阳、瑶安一带的簸箕山脉，主峰天堂岭，海拔1712米，为县内最高峰，位于瑶安与湖南省蓝山县交界处：东部横跨潭岭、朝天、西江一带之大东山脉，主峰岩坑山，海拔1604米，为本市次高峰，位于朝天与阳山交界处；西部有大龙山脉，由西北向西南；其余山岭多在1000米以下。本市地形，因东面有大东山脉，山东北向西南；形成西、北、东三面山地，中部稍低，均为丘陵地带。山地占全市总面积的72．2％，丘陵占15．9％。星子、大路边、朝天、麻步等乡镇大部分地区为小盆地；清水、丰阳南部、东陂北部为丘陵盆地；西岸、东陂两乡镇河流两岸为河谷盆地；保安、附城及九陂等乡镇部分地区为连州丘陵盆地。

       连州市主要河流有星子河，发源于大东山脉，发源地近处建有一个大型的潭岭水库。保安河、东陂河发源于北部的簸箕山脉，还有连南瑶族自治县的三江河，流经本市连州镇大墩村附近汇入连江。