传说，很早时光，桃花岛还是一个荒岛。
　　秦朝年间，有个名叫安期生的居士，为避战乱，独自划着一只小船，漂流到这个岛屿。他上得岸去一看，岛上无人居住，四面是海，东西两头是山，两山之间是一片平地，气候和暖，风景优美，感到蛮中意，就决定在这个岛上住了下来。设炉炼丹，开垦种植，有空时写写字，画画画，日子过得很快活。
　　每年桃花水涌进港来的时候，乌贼鱼正旺发。潮水冲涌，乌贼鱼也会被冲上滩来。这样一来，有很多内地渔民到了这个季节，都来这里打乌贼鱼，越打越多，后来干脆在岛上搭个茅蓬草舍的，临时住下来，等乌贼渔汛过了再回去。日子一长，有些渔民看看岛上地肥水清好开垦，岙多港深好打鱼，索性在第二年拖儿带女全家搬来定居。没有多长时间，到岛上来定居的渔民越来越多。
　　人一多，就嘈杂，难免发生磕磕碰碰，争争吵吵。安期生生性孤僻，喜欢清静。这样哄哄闹闹的，他很烦，便从岛的东南面搬到岛的西北角山上，找到一个向阳的山洞住了下来，谁知，没过多少日子，到西北角来定居的渔民也多了起来。没办法，安期生打算离开这个岛，另找一僻静的安身之处。
数日后，他雇了只小船，准备离岛。临开船前，他坐在海滩边的一块岩石上，看看山，望望海，十分留恋。想想自己在这个岛上住了几十年，现在要离去，心里有点惘然若失。他触景生情，拿出文房四宝，以酒代水磨好满满一砚浓墨，正想提笔写字题诗，小船老大叫了：“快上船吧！再不开船，潮水要错过了。”安期生没办法，只好端起砚台，将墨汁倾泼在岩石上，依依不舍地走了。过了不久，墨汁泼过的地方呈现出许多花纹，好象一朵朵盛开的桃花，任凭风吹雨淋，不见褪色。
　　直到现在，这岛上的岩石中，还留有桃花形的花纹。安期生泼墨成桃花，桃花岛由此得了名，世代相传至今。