霊亀2年（716）鳳凰飛来の慶事に、元正天皇が行基に命じて創建したと伝わります。造立当初の鮮やかな色彩が残る本尊木造十一面観音菩薩立像は、女帝元正天皇のお姿を写した像として比類なき美しさと気品をたたえています。

「本浄山羽賀寺縁起」には、羽賀寺に残る鳳凰伝説について記されています。 その内容は、716年（霊亀2年）羽賀寺背後の山頂に五彩の羽毛を持つ神鳥が来て、美しい羽根を残して去りました。この羽根を当時の女帝・元正天皇に献上したところ、帝は行基に「何の羽か」と質問し、行基は鳳凰の羽根であると告げました。
すると、「鳳凰の出現は泰平の証」としてその地に寺を建立し、鳳聚山羽賀寺と名付けたというものです。
この時、行基が元正天皇をモデルに造ったのが、本尊十一面観音像です。その顔は心のやすらぎを覚える柔和さで国の重要文化財にも指定されています。
その後、水害や火災に幾度か会いましたが、天暦元年には村上天皇の勅命により再建、また建久元年には源頼朝が三重塔を寄進、文安四年（一四四七）奥州十三湊の安倍康季が諸堂を再建。本堂（重要文化財指定・観音堂）に安置されている本尊の木造十一面観音立像も重要文化財に指定されています。この仏像は一・四六メートルの等身大、彩色も美しく残る平安初期の貞観仏。女帝元正天皇の御影といわれ、えもいわれぬ美しさをたたえておられます。頭上の十一の化仏の面は衆生の十一品の無智をたち切り悟りに至る十一の段階をあらわし、感動的な仏様です。ほかに脇侍の木造千手観音立像（重文）や木造毘沙門天立像（重文）など多くの寺宝を蔵しています。