ภายในถ้ำบรรจุพระเกศาขององค์สมเด็จพระสัมมาสัมพุทธเจ้า ซึ่งบรรจุอยู่ในพระใดจะเสมอเหมือนได้ เพราะเป็นของธรรมชาติ มิใช่มนุษย์ก่อสร้างไว้ ตามตำนานกล่าวว่า ครั้นเมื่อออกพรรษาแล้ว พระพุทธเจ้าจะนำเอาพระภิกษุทั้งออกธุดงค์เผยแพร่คำสั่งสอนผ่านมายังเมืองหริภูญไชย จังหวัดลำพูนแล้วขึ้นมาทางเหนือยังถ้ำดอยศิลาแห่งนี้