Pembukaan upacara Muzium Olimpik Sarajevo diadakan pada 8 Februari 1984, pada hari yang sama ketika Sukan Olimpik Musim Sejuk Sarajevo 1984 dibuka.
Muzium ini didirikan oleh Jawatankuasa Penganjur Olimpik Musim Sejuk ke-14 yang bertujuan untuk mengekalkan ingatan penganjur dan mengadakan Sukan Olimpik secara kekal.
Konsep dan program Museum dimodelkan setelah Muzium Olimpik Antarabangsa di Lausanne, dalam usaha untuk menggabungkan dan menegaskan dua prinsip asas, sukan dan seni. Dari tahun 1984 hingga 1992, Muzium menyiapkan lebih dari 300 program sukan dan seni, menegaskan nilai-nilai universal semangat dan seni Olimpik.
Bangunan asal Muzium Olimpik Bosnia dan Herzegovina yang terletak di Jalan Petrakijina di Sarajevo telah dirancang oleh Karl Paržik pada tahun 1903 dan ditugaskan oleh Nikola Mandić - seorang peguam Sarajevo yang terkenal. Sepanjang sejarah, bangunan ini pernah menempatkan Kedutaan AS untuk sementara waktu, serta Jawatankuasa Bandar Raya Komunis.
Bangunan Muzium ini dibina dalam gaya Ahli Sejarah akhir yang menyerupai rumah besar dan istana bangsawan.
Pada bulan April 1992, pada awal perang di Bosnia dan Herzegovina, Muzium Olimpik dibongkar dan dihancurkan, tetapi berkat usaha para pekerja dan masyarakat setempat, banyak pameran disimpan dan dipindahkan ke tempat yang selamat.