慶雲二年(七〇五)の文武天皇の御世に大伴古磨によって創立されたと伝えられる丹波でも屈指の古刹です。 庭園は多宝塔を借景にしており、江戸中期から末期にかけての手法をよく表現した名園のひとつです。

宝徳2年（1450年）成立の『穴太寺観音縁起』によれば、慶雲2年（705年）、文武天皇の勅願により大伴古麻呂が開創したとされています。
穴太寺の聖観音像は「身代わり観音」の伝説で知られ、この伝説が『今昔物語集』に取り上げられていることから、平安時代末期には観音霊場として知られていたことがわかります。『今昔物語集』所収の説話によると、昔、丹波国桑田郡の郡司をしていた男が、都の仏師に依頼して聖観音像を造り、仏師に褒美として自分の大切にしていた名馬を与えました。しかし、与えた名馬が惜しくなった男は、家来に命じて仏師を弓矢で射て殺してしまいます。ところが、後で確認すると仏師は健在で、聖観音像の胸に矢が刺さっていたのです。改心した男は仏道を信じるようになったと伝えられています。同様の説話は『扶桑略記』にもありますが、ここでは男の名が「宇治宮成」、仏師の名が「感世」とされています。
応仁の乱の戦火によって伽藍が被害を受け、天正年間（1573年 – 1593年）には、明智光秀の丹波攻めに巻き込まれて焼失。17世紀中頃に行廣上人が再興しますが、享保13年（1728年）に本堂が焼失してしまい、その後享保20年（1735年）に再建されました。明治29年（1896年）には、本堂の天井裏から釈迦涅槃像（撫で仏）が発見されました。