龙王岛位于岱山岛东北部，即是古时所谓的蓬莱仙岛。到了清朝时改称衢山岛，有通衢大道之意，这名称一直沿用到现代。
唐代大诗人李白，一生好游名山大川，曾多次从扬州一带出发经海上到天台山，在其东入溟海，求道访仙时，多次经过这片海域，在他的《莹禅师房观山海图》中，曾写下经过东海蓬莱时的印象：“蓬壶来轩窗，瀛海入几案。烟涛争喷薄，岛屿相凌乱。”
衢山岛辖大小岛屿七十九个，其中住人岛屿五个，即是衢山本岛、小衢岛、黄泽岛、鼠浪岛、下三星岛，统称衢山岛。岛域总面积七十三平方公里，其中衢山本岛面积约为六十平方公里，是我国第八大岛。本岛呈西北一东南走向，东西长约十八公里，南北平均宽度四公里。
衢山岛和金庸先生笔下用过的桃花岛属于舟山群岛范围。不过衢山岛比桃花岛大了近二十平方公里，而且桃花岛无论在过去还是现在，都主要是一旅游区域，而衢山岛虽然没太多旅游景点，在军事和政治上的地位却是高了很多。
元朝初年，南宋将领张世杰曾把衢山岛作为抗击元军的最后一块基地；元朝末年，农民起义领袖方匡珍曾占据此片海域，一段时间曾作为起义军的根据地；明朝年间的倭寇之乱就