从东圈门历史街区旁的小巷，或者吴道台府旁的小巷进入，都可以到达故居，你可能很难想象一代文人竟然住在这样的深巷中。这座始建于清代的建筑，是扬州典型的民居“三合院”建筑，透露着浓厚的书卷气。
这里是他居住十多年的地方，这里游客不多，地方也不大，比起扬州高官富商的大宅院，别有一派清雅的面目。经过修葺，故居内依然保存了一些使用过的日用家具、文具，塑像背后是一幅“荷塘月色”图，该图的上方悬挂着匾额。