连州市历史悠久。三代（夏、商、周）属荆州，春秋战国属楚，秦（公元前 221— 公元前 206）属长沙郡。西汉初年（公元前 206）立县，称桂阳县，含今连州、连南、连山三县（市）。桂阳名来由有二说。一说治之西有桂阳山，故名桂阳。二说因桂水发源于大罗岭（连州与蓝山县的界山）向北而流，古时有水北为阳，故名。属吴芮长沙国。长沙马王堆出土的西汉文帝时绸帛地图，标明有“桂阳县治”。武帝元鼎六年（前 111），以湘南粤北之地置桂阳郡，本县（市）隶属之。自此以后，历经两汉、三国、两晋到南朝宋、齐两朝，桂阳县建制一直未改，仅隶属关系略有变化；三国吴时属始兴郡，晋同吴制。

    南朝的宋高祖（ 420— 422）时置小桂郡，治在桂阳。明帝泰始六年（ 470）析置冈溪县（地在今连州市西北），并置宋安郡，附郭在桂阳，领桂阳、含 洭、阳山、冈溪 4县。泰豫元年（ 472），废宋安郡，改始兴郡为广兴郡，本县（市）属之。南齐复名始兴郡，析桂阳县地置希平县（隋改名熙平县，在今连山县北），并属始兴郡。梁天监七年（ 508），于含 匡置衡州及阳山郡，郡治在含洭。南陈因之。

    隋（ 581— 618）开皇九年（ 589）平陈，隋开皇十年于本县（市）置连州。连州名称的来由有四种说法：①、连州有黄连岭（今属连山）盛产黄连，因物得名。②、连州群山起伏，三面踞险，一水潆环，故有“连万山为一山连众水为一水”之说，因山川得名。③、连州盛产铅锡矿，古语“铅之未炼者曰连”又有“铅锡璞名曰连”之说，因矿产得名。④、连州山岭延绵，河流环绕，但交通阻塞，人们渴望车船畅通。“连”字有车船合并之意，因意愿得名。领桂阳、广泽二县。大业初年（ 605），州废，于本州（市）置熙平郡，领桂阳（含今连州市、连南县，下同）、连山、阳山、宣乐（以梁乐县改名，在今阳山县南）、游安（故治在怀集县西）、熙平（故治在连山县西北）、武化（故治在广西象县西北）、桂岭（故治在贺州市东北）、开建（故治在封开县南丰东）等 9县，此为连州辖区最大时期。唐武德四年（ 621），复置连州；天宝元年（ 742），改连州为连山郡；乾元元年（ 758），复名连州，辖境均只有桂阳、连山、阳山三县。自晚唐光化三年（ 900）至五代，归于马楚。到乾和九年（ 951），改属南汉。自此至两宋，连州、桂阳的州县名称及辖境均无移易。面归属则几经变化：贞观年间属江南西道，天宝年间属岭南道，乾元以后属湖南道，大历三年属广州，两宋属广南东路。至元十三年（ 1276），元兵下岭南。初，在连山置安抚司，直隶行书省。十七年废安抚司，升为连州路总管府，隶湖南道宣抚司。十九年降为散州。其时连州迁出桂阳县城，移治于连山，领连山一县。同时，升桂阳县为散州，称为桂阳州，领桂阳及阳山二县。大德年间 (1297— 1307)，桂阳州、连州一度改隶广东英德路。明洪武二年 (1369)三月，桂阳州省入连州；四月，废连州入连山县，改属韶州府。明洪武三年九月，革连山入阳山，属广州府。十三年十一月，复置连州于桂阳。十四年四月，加领连山、阳山二县，隶于广州府。清袭明制，连州仍属广州府。从明洪武三年 (1370)起，连州成为广州府所辖 1州 15县中唯一以州连置的地方政权。时间长达 359年。雍正七年 (1729)升为直隶州，直属广东布政司，辖境不变。嘉庆二十一年 (1816)，连山升为绥瑶直隶厅，连州只领阳山。咸丰四年 (1854)八月，连州农民起义军配合太平军，攻陷三江镇，进驻连州城，改连州为熙平州，奉行太平天国年号，约近半年。民国元年 (1912)，废州置县，连州改称连县。从以上沿革可见，从唐大历三年 (768)年到民国元年 (1912)一千多年里有五百多年归广州府管辖，成为连州此后誉称“小广州”历史因素。同粤北各县一样，先后属南韶连道、北江善后委员会公署、西北区绥靖委员会公署。其间，民国 17年 (1928)，从连县、连山、阳山三县划出瑶族聚居八排二十四冲， (其中连山五大排，连县三大排 )，设连阳化瑶局，直属省府管辖 (民国 24年，改称连阳安化管理局；民国 35年正式设立连南县 )。抗战时期，民国广东省政府迁连，百业兴旺，一度是粤省政治、经济、文化、军事中心，被称为粤北“小广州”。民国 38年 4月，在本县设广东第五行政督察区，辖连县、连南、连山、阳山 4县。