杜牧在池州任刺史的两年中，经常出外观赏江南的美景。有一次他到建康的瓦官寺游览。当时，这里到处是莺啼燕语、柳绿花红。瓦官寺更是依山傍水，在春天的微雨中，朦胧隐现。这宜人的风景使得诗人一时兴起，便题写了这首《江南春》：“千里莺啼绿映红，水村山郭酒旗风。南朝四百八十寺，多少楼台烟雨中。”
这座寺院大约建造于东晋时期，当时建寺需要很多钱，僧侣们向朝廷官员和社会名流募捐，但所得资助很有限。
青年画家顾恺之知道此事后，就挺身而出，说他愿捐钱百万。许多人都不相信，认为他这是吹牛。顾恺之却胸有成竹，他要和尚们在大殿上修起了一堵白墙，然后他关起了寺门，在墙壁上精心绘了一幅佛教着名人物“维摩诘居士”像。在画像即将点睛之时，顾恺之让和尚请人来观画捐款。
许多有钱的人闻讯都来观看，第一天观看的人每人捐十万铜钱，第二天观看的人每人捐五万铜钱，第三天观看的人随意捐。
等画像画完后，就打开大门让广大百姓来观看。每天寺院里都挤满了人，大家纷纷捐款，没过多久就捐了百万铜钱。
因为在南朝时，统治者们都崇奉佛教，妄想长生，所以寺庙发展得很快，因此“南朝四百八十寺”并非作者的夸张。
