文游台始建于北宋太平兴国年间，原为东岳庙（即泰山庙），因苏轼过高邮与本地乡贤秦观(秦少游)、孙觉、王巩会集于此，饮酒论文而得名，从此，这座本来依附东岳大帝神韵的庙台便独领风骚，历朝历代名人雅士纷纷登台，一瞻风采。
此台筑于山顶，山南坡有3个平台和石阶。顶上是一座面问5间，进深4间，重檐歇山板瓦顶的二层楼厅。下有一座面阔进深各5间、单檐歇山板瓦顶的殿堂。上二层平台的前侧为花坛，下二层平台上为绿化台。
文游台四壁有名家书法，具有较高的艺术价值。西侧为明代建造的四贤祠，东西两侧博物馆，为了解高邮的历史文化提供了一个窗口。
文游台为两层重檐歇山顶，建筑面积420平方米。下层面阔五间，进深四间。东西山墙嵌有苏轼、秦观墨迹《秦邮续帖》上、下卷石刻共12平方米。