明朝万历三十五年(1607年)，順德县杏坛镇右滩村人黄士俊高中状元。相传这位黄状元入仕三十年中曾三次辞官歸归故里，  中间一次为侍奉病中老父，另两次因看不惯官场倾轧而独善其身。期间于明朝天启元年(1621年)，在原太艮城(今大良镇)南郊建筑了黄家祠和天章阁、灵阿之阁。这些祠、阁周围都有花园，这便是清晖园早的踪迹。

    到清乾隆年间，黄氏家道中落，上述建筑日渐荒废，故园废址为进士龙应时购得，黄氏仅留黄士俊祖上黄兰圃公祠前座。

    到嘉庆十年，龙应时早将购得的黄家祠等物业析产给其儿子龙廷槐、龙廷梓。龙廷梓获得左右两部庭院后自成一格，将其改建成以居室为主的庭园，分别称为龙太常花园和楚香园。再后来，龙太常花园的继承人家道中落，将园卖与一经营蚕种生意的商人，挂上“广大”的招牌，故其又称作广大园。龙廷槐则获得黄氏故园的中心部分，并在无意复出官场后将继承部分予以拓建，侍奉年迈的母亲入住，旦夕读书其间。并请同榜进士、江苏书法家李兆洛题写“清晖”的园名，意取“谁言寸草心，报得三春晖”，以示筑园奉母是为了报答父母如日光和煦普照之恩。这也是清晖园园名的由来。

    龙氏子孙对园内的建筑物曾多次组织重修、增补和改动，逐步构成完整的建筑体系。从园内原有的一些实物，可以看到后人修建的痕迹。如船厅下面的匾额“绿云深处”是乾隆帝之子成亲王手所书；斗洞旁边的“归习寄庐”是李文田辞官归故里时所题；原先正门之上“清晖园”三字，出自清代湖南大书法家何绍基之手。龙廷槐之子龙元任雇工修建了碧溪草堂这组建筑物。龙氏后一代清晖园主人龙渚惠还带领设计师和工匠远赴苏州园林，  吸取江南的造园精华。花亭曾被大风吹倒，也是龙渚惠于1888年重建。在龙家几代的经营下，清晖园逐渐形成了格局完整的岭南园林风貌。

    1959年3月，广东省委书记陶铸来我县检查工作时特地视察了清晖园，对这座古代庭园给予高度评价和重视，指示应将其作为文物加以保护、重修，并特地拨专款予以补助。修复工程于同年4月动工，省县人民政府分别为此拨出专款，于国庆十周年前夕峻工。重修后的清晖园，把左邻的楚香园，右邻的广大园以及附近的介眉堂(龙宅)、竞勤堂(杨宅)等合并一起，因龙氏兄弟析产而分割一个多世纪的园址，至此复合为一。经解放后的大规模修复、扩建，清晖园面积由原来的六千六百多平方米扩大到九千七百九十五平方米。重修期间，让园内的碧溪草堂、紫洞船厅、惜阴书屋等一系列建筑物恢复了原来的样式，保持了其原有的独特风格。

    进入九十年代，顺德市委市政府及有关部门为进一步开发顺德的旅游资源，投入了大量的人力、物力、财力，进一步修复扩建清晖园，使清晖园的游览面积扩大至二万二千平方米。