『元享釈書』や寺の縁起によると、760年（天平宝字4）に報恩が建立し、観自在菩薩像と四天王像を安置して子嶋寺としたとされる。そのほか寺の創建に関して諸説あるが、983年（永観元）に興福寺僧都の真興が現在地に観覚寺を建て、真言宗子島流を興した道場が直接の前身とされる。