วัดยมเป็นวัดโบราณ ไม่พบหลักฐานการเริ่มสร้างวัด แต่สันนิษฐานว่าสร้างในสมัยอยุธยาตอนต้น มีเรื่องเล่ากล่าวกันไว้ว่าคำว่า “ยม” ซึ่งเป็นชื่อของวัดนั้นได้มาจากราชทินนามของเจ้าพระยายมราช (สังข์) ซึ่งเป็นผู้สร้าง แต่เดิมเรียกวัดนี้ว่า “วัดยมไทย” เพราะมีวัดยมมอญอยู่ใกล้เคียงกันอีกวัดหนึ่ง แต่ปัจจุบันวัดยมมอญไม่มีแล้ว จึงเรียกเพียง “วัดยม”

ใน พ.ศ. 2224 สมเด็จพระนารายณ์มหาราชทรงปฏิสังขรณ์วัดยม และเสด็จมาทอดพระเนตรการสร้างประดับตกแต่งพระอุโบสถด้วยพระองค์เอง ต่อมาพระอุโบสถที่มีมาแต่เดิมเกิดชำรุด หลังคารั่ว ทำให้ภาพจิตรกรรมฝาผนังเสียหายไปหลายส่วน ในปี พ.ศ. 2440 รัชกาลพระบาทสมเด็จพระจุลจอมเกล้าเจ้าอยู่หัว สมเด็จพระเจ้าบรมวงศ์เธอกรพระยาดำรงราชานุภาพ จึงโปรดให้พระยาโบราณราชธานินทร์จำลองภาพมาเก็บไว้ โดยให้ช่างเขียน 2 คน คือพันเที่ยงกับนายแข คัดลอกลวดลายตามขนาดเดิมและระบายสีเหมือนเดิมทุกประการลงในสมุดไทย ต่อมาใน พ.ศ. 2461 สมเด็จพระเจ้าบรมวงศ์เธอ กรมพระยาดำรงราชานุภาพ ในฐานะประธานกรรมการหอพระสมุดวชิรญาน ทรงมอบหมายให้ขุนประสิทธิ์จิตรกรรม (อยู่ ทรงพันธ์) คัดลอกจากฉบับดั้งเดิมเพิ่มเติมให้ชื่อว่า “สมุดรูปภาพจำลองวัดยมกรุงเก่า” (ต่อด้วยภาพกระบวนพยุหยาตราทางสถลมารคจากสมุดไทย)