公元135年，以弗所的在任总督为了纪念他已故世的父亲，在古城中心规划建造这座上、下两层的精雕大理石浮雕建筑，并以他父亲的名字“塞尔瑟斯”来命名这座图书馆。当时藏书高达1.2万卷，图书馆正门面墙壁有四个壁龛，摆放着四尊汉白玉人物雕像，分别寓意：智慧、命运、学问、美德；非常可惜的是只剩下一尊是基本完整的。