明代崇祯四年(1631年)由高晋卿等三个太监出资在东磊围屏山前兴建延福观。从此东磊便成为云台山一带道教的主要基地，三四百年间香火旺盛，甚至连围屏山也赋予了一个道教的名称——钟鼎，山上所有的景点都染有浓重的道教色彩。
由于延福观紧靠围屏山，地势险要，又隐蔽于绿色丛林之中，躲过了日本飞机的狂轰滥炸.成为云台山中唯一免遭此劫的庙宇。然而“文革”后期拆毁了保存完好的大殿和玉兰山房，其余设施也全部流散或破坏，剩余的前山门和西配房年久失修，几乎坍塌。山门题额为“敕赐护国延福观”，是典型的明代寺观建筑风格。观前累石起平台，东望海天，极目千里。遥想二三百年前山下还是汪洋一片的大海，明月初升，静影沉璧。那便是云台山的一个名景：平台水月。
东院原为玉兰山房，把古玉兰树围于院中。陶澍巡视云台山时，对这里也进行过大修，并题楹联一副于玉兰山房：“奇石似人花下立，仙人如鹤竹间来”。庙后有温泉一池，隆冬不冰。周围石壁上刻着许多前人的题勒，如钱泳的“登山观海”，无名氏的“小蓬莱”、“天上人间”，也都各具风韵，令人赏心悦目。
延福观周围多南方草木，这里的银杏、格木、黄杨、紫薇等，都是数百年的古物。它倚围屏山而建，山势列如围屏，屏上杂花生树，芳草如茵。石隙间泉水淙淙跌落崖下，状如飞雪散珠，叮咚有声。日久天长，滴水处形成一个圆洼，人称玉女洗头盆。盆侧石壁上有康熙年间海州司训杨廷镇的刻诗一首：“飞流飘洒云山根，泠韵清音听石门。恍如华山来玉女，观看珠落洗头盆。”玉女为道教中的女神，善于弹琴和做游戏，很像西方神话中的艺术女神。云台山有许多关于玉女的景点，如花果山的玉女峰，宿城的玉女窗等，这都与徐淮地区为道教的发源地有关。