ชาวบ้านเห็นว่าบริเวณเหนือวัดเขาขึ้นไป มีต้นทุเรียนจำนวนมาก จึงตั้งชื่อเป็น “วัดเขาทุรียน” ในอดีต “หลวงพ่อปุ้ย” เป็น เจ้าอาวาส ได้ให้ญาติโยมแปรรูปไม้ ทุเรียนป่า มาทำฝากุฏิ และขณะนี้กุฏิซึ่งฝาทำมาจากไม้ทุเรียนป่าหลังนั้น ยังใช้เป็นกุฏิให้พระภิกษุสามเณร จำพรรษา มาจนถึงปัจจุบัน เมื่อทุเรียนป่าจำนวนมากตายลง หลวงพ่อปุ้ยมองการณ์ไกล เห็นว่าต่อไปภายหน้าไม้มีค่าอาจหายาก ท่านจึงปลูกไม้สักขึ้นทดแทนจนเต็มไหล่เขา