หลังสร้างประวัติศาสตร์ให้วงการอวกาศได้เพียง 7 ปี กาการินก็จบชีวิตลง หลังประสบอุบัติเหตุจากซ้อมขับเครื่องบินรบเมื่อวันที่ 27 มี.ค.1968 โดยเครื่องเครื่องบินรบตระกูล มิก (Mig fighter) ที่เขาซ้อมรบร่วมกับครูฝึกคือ วลาดิมีร์ เซอร์ยอกิน (Vladimir Seryogin) ได้ตก ในแคว้นวลาดิมีร์ซึ่งอยู่นอกกรุงมอสโกว์
อุบัติเหตุครั้งนี้ ไม่ได้รับการอธิบายอย่างชัดเจน บ้างว่าอุบัติเหตุดังกล่าวเกิดจากการเปลี่ยนระดับเพดานบินอย่างรวดเร็วเพื่อ หลบหลีกสิ่งกีดขวาง บ้างว่าถูกโจมตีโดยอากาศยานอื่น บ้างก็ว่าขาดออกซิเจนในห้องโดยสาร
นอกจากนี้ยังมีข้อสันนิษฐานว่า อุบัติเหตุดังกล่าวอาจเกิดมีสาเหตุจากนักบินร่วมของเขา หรืออาจเป็นคำสั่งของ เลโอนิด เบรซเนฟ (Leonid Brezhnev) ผู้นำโซเวียตคนใหม่ ที่อิจฉาความโด่งดังของเขา
การเสียชีวิตของกาการิน ได้รับการบันทึกจากคณะกรรมการพรรคคอมมิวนิสต์ของสหภาพโซเวียต และสภารัฐมนตรีในวันที่ 28 พ.ย.1968 ว่าเป็นเรื่อง ลับเฉพาะ ซึ่งเอกสารของคณะกรรมการระบุว่า การซ้อมรบของกาการินและนักบินร่วมนั้น ได้นำเครื่องบินไปเผชิญกับภาวะวิกฤต และการหยุดทำงานกลางคันของเครื่องยนต์ ท่ามกลางสภาพอากาศอันย่ำแย่
มีข้อสันนิษฐานมากมายเกี่ยวกับสาเหตุการตายของกาการิน แต่ทั้งหมดล้วนไม่มีหลักฐานรองรับ แต่ล่าสุดสำนักข่าวเอเอฟพีรายงานว่า ทางการของรัสเซียได้เปิดเผยเอกสารที่ไม่เป็นความลับอีกต่อไป ซึ่งระบุว่า ความตายอันเป็นปริศนาของเขานั้นเกิดการซ้อมรบเพื่อหลบบอลลูนตรวจสภาพอากาศ อย่างฉับพลัน
แม้สหภาพโซเวียตจะล้มสลายไปแล้ว แต่กาการินก็ยังกลายเป็นวีรบุรุษในยุคคอมมิวนิสต์ไม่กี่คน ที่ยังได้รับศรัทธาอย่างไม่เสื่อมคลาย สเปซเดลีรายงานว่า เมื่อปี 2010 ที่ผ่านมากาการินติดอันดับสูงของในการสำรวจบุคคลสำคัญ อันเป็นสัญลักษณ์ประจำชาติแห่งศตวรรษที่ 20 โดยได้รับความนิยมสูงสุดในกลุ่มตัวอย่างอายุระหว่าง 18-24
