ตึกเจ้าพระยาอภัยภูเบศรสร้างขึ้นในปีพ.ศ. 2452 โดยท่านเจ้าพระยาอภัยภูเบศร (ชุ่มอภัยวงศ์) เพื่อใช้รับเสด็จพระบาทสมเด็จพระจุลจอมเกล้าเจ้าอยู่หัวแต่ทรงสิ้นพระชนม์ก่อน ต่อมาตึกหลังนี้ได้ใช้รับเสด็จพระบาทสมเด็จพระมงกุฎเกล้าเจ้าอยู่หัวในปีพ.ศ. 2455 และเชื้อพระวงศ์อีกหลายพระองค์ตึกหลังนี้เป็นมรดกตกทอดมาถึงพระนางเจ้าสุวัทนาพระวรราชเทวี ในรัชกาลที่ 6 และพระองค์ได้มอบตึกหลังนี้ให้แก่ทางราชการในปีพ.ศ. 2482 และได้กลายเป็นตึกผู้ป่วยที่สวยงามที่สุดจนถึงปีพ.ศ. 2512 ในสมัยนายแพทย์สุจินต์พลานุกูล ได้ทำการบูรณะและจะเปิดใช้เฉพาะในโอกาสพิเศษเท่านั้นต่อมาได้มีการบูรณะตึกครั้งใหญ่ในปีพ.ศ. ๒๕๓๗ โดยงบประมาณของจังหวัดปราจีนบุรีจำนวน 2.5 ล้านบาทและคุณป้าจรวยประสมสน บริจาคสมทบอีก 100000 บาทเพื่อจัดทำเป็นพิพิธภัณฑ์การแพทย์แผนไทยอภัยภูเบศร