相传，唐太宗李世民的皇后身患重疾，久治不愈，孙思邈被人举荐进宫，医好了皇后。皇帝要为他封官赏金，但孙思邈心怀天下黎民，执意回到民间，临行时将皇帝赏赐他的官服、黄金悄悄放在宫里一块石头上。孙思邈弃官后，继续研究医药学，为百姓诊病开药，许多被病痛折磨的患者经他的救治恢复健康，因而深受群众爱戴。他一边行医，一边采药，广泛搜集单方、验方和药物的使用知识，著有《千金要方》和《千金翼方》等药学经典，被人们尊称为“药王”。

为感恩孙思邈的高超医术和仁爱医德，许多地方都建起了药王庙，祈求药王保佑家人康健。另外，据说孙思邈进宫诊病的地方就在现在的药王洞附近，所以这里也就有了一座药王庙。

得名自药王庙，为何又称为“洞”？“因为当时药王庙的位置是一处低洼，药王像被供奉在一个洞里。”70岁的老住户赵远平回忆说。也有历史研究者分析，“洞”在这里就是庙的意思，因为药王孙思邈常年寻访深山采药，没有固定住所，有时就夜宿在山洞里，此外，“洞”还有洞天的意思，道教中洞天指神仙居住的地方，所以习惯上就有了“药王洞”的说法。