北海公园园林是根据我国古代神话故事《西王母传》中描写的仙境建造的，历经辽，金、元、明、清五代，逐步形成了今天的格局。战国时还传说，渤海东面有"蓬菜"、"瀛洲"、"方丈"3座仙山，山上住有神仙，藏有长生不老药。

公元前221年，秦始皇统一中国后，派方士徐福等带童男女数千人，渡海找3座"仙山"，寻长生不老药，未果；便在兰池宫建百里长池，筑土为蓬菜山，刻石为鲸，长200丈。到了汉朝，汉武帝重蹈覆辙，仍未找到仙山，于是降旨在建章宫后挖一个大水池，取名"太液池"。将挖出的泥土的池中堆了3座山，象征蓬菜、瀛洲、方丈3座仙山。

此后历代皇帝都在宫殿附近建"一池三山"，北海林也是继承这个传统而建的。北海和中南还是太液池，琼化岛如"蓬菜"，团城为"瀛洲"，中海犀山台似"方丈"。今天我们不仅能看到琼化岛上的犹如仙境的亭台楼阁，而且还能看到神人庵、吕公洞以及铜仙承露盘等传说中的仙岛景物。

北海不但保留着把神仙宫苑幻想意境用高超的造园艺术实现于历史上高峰期的基本形态，而且还把我国寺庙园林、江南文人园林和宗教名胜艺术的成就融合在整个宫苑之内，其规模之宏大，历史之悠久，艺术成就之高超，确实是中国皇家园林中的精品之作。

北海公园1000年的历史和北京城的发展有着密切的联系。最初这里是永定河故道，河道自然南迁后留下一片原野和池塘。早在辽代，辽太宗耶律德光在会同元年（938年）建都燕京后，就在城东北郊"白莲潭"（即北海）建"瑶屿行宫"，在岛顶建"广寒殿"等。《辽史》记："西城巅有凉殿（即广寒殿），东北隅有燕角楼、坊市、观，盖不胜书"。《洪武北平图经》记"琼华岛辽时为瑶屿"。以上史实均可说明"瑶屿行宫"的存在。

金灭辽后，改燕京为"中都"。金海陵王完颜亮天德二年（1150）扩建"瑶屿行宫"，增建了"瑶光殿"。金大定三年至十九年（1163年--1179年）金世宗仿照了北宗汴梁（今河南开封）艮岳园，建琼华岛，并从"艮岳"御苑运来大量太湖石砌成假山岩洞，在中都的东北郊以瑶屿（即北海）为中心，修建大宁离宫。

从那时起，北海就基本形成了今天皇家宫苑格局。当时把挖"金海"的土扩充成岛屿和环海的小山，岛称"琼华岛"，水称"西华潭"，并重修"广寒殿"等建筑。

公元1264年，元世祖忽必烈决定在旧中都城东北郊选择新址，营建大都。至元元年到至元八年（1264--1271年），忽必烈三次扩建琼华岛，重建广寒殿。广寒殿东西宽120尺，深62尺，高50尺，殿广7间，作为帝王朝会之处。

殿中放置"渎山大玉海"（今北海团城内的大玉瓮），建"玉殿"放"五山珍玉榻"（今在台北），并建有一座玉制假山，殿顶悬挂玉制响铁，殿内另有两个小石笋各有龙头，喷吐着从山后用水车提上来的湖水。可见当时的广寒殿宏伟浩大，构思巧妙，奢华无比。

至元八年（1271年），琼华岛改称"万寿山"（又称"万岁山"）。以琼华岛为中心，又在湖的东西两岸营建宫殿，将北海建成一个颇有气派的皇家御园。

公元1368年明太祖朱元璋定都南京。就在这一年，大将徐达进占大都，大都改称"北平"。朱元璋死后，燕王朱棣发动"靖难之役"，从他侄儿手里夺取了帝位，将都城从南京迁到北平，改名"北京"。

明朝在元朝的基础上，对北海又加以扩充、修葺，但基本上保持了元代北海的格局。到了明代宣德年间，宣宗朱瞻基（1426--1435年），对"万岁山"进行大规模的扩建和修缮在圆坻（今团城）修复了仪天殿，在圆坻南面小岛上的建起了犀山抬圆殿，在团城的东部拆桥填土，将其与陆地相连。

明天顺二年（1458年），在北海北岸（现五龙亭处）建"太素殿"，由于用锡做材料，又称为"锡殿"，也叫"避暑凉殿"。修建此殿役使工匠3000余人，用白银20万两。在东岸建"凝和殿"；在西岸建"迎翠殿"。把团城西面的八孔中断的石桥（原断部有吊桥）改为九孔石桥，称为金鳌玉虫东桥。在新开挖的南海瀛台上的建"昭和殿"等建筑。

明万历七年（1579），"万岁山"上历经四朝600余年风雨战乱的广寒殿坍毁，人间天宫主景建筑从此化为乌有，成为千古憾事。1644年李自成攻进北京，崇祯皇帝自缢，明朝覆灭，清军入关，巧得天下，建都于京。

1651年，为民族和睦，清世祖福临根据西藏喇嘛恼木汗的请求，在广寒殿的废址上建藏式白塔，在塔前建"白塔寺"（正觉殿为山门）。因为岛上建起了喇嘛佛塔，山名也就改称为"白塔山"了。

清高宗弘历乾隆六年至三十六年（1741年--1771年），对北海进行了大规模的修葺和增建，前后连续施工30年之久，建起了许多亭、台、殿、阁。清乾隆自谓"园林之乐，不能忘怀"，于是把江南园林的精华、文人写意、山水园林引进皇家宫苑，先后建成北海的静心斋、画舫斋、濠濮间等"园中之园"。

晚清时期，光绪十一年至十四年（1885年--1888年）那拉氏（慈禧）用海军经费重修"三海"建筑，在西岸和北岸沿湖铺设了中国第一条铁路，在静心斋前修建小火车站，供慈禧乘小火车来园游宴。清光绪二十六年（1900年），八国联军侵入北京，北海掺遭践踏。北岸的澄观堂设立了联军司令部，万佛楼的10000多个金佛及园内其他宝物被洗劫一空。

辛亥革命推翻清王朝后，北海闭园10余年，园林建筑略经修缮后于1925年8月1日才正式开放为公园。1949年中华人民和国成立后，疏浚了湖泊，维修了古建筑，铺设甬道，增设了公共服务设施，方才有如今的北海公园。