Muzium Diraja Sultan Abu Bakar terletak di Istana Besar. Pada tahun 1864, muzium ini telah dibina khas atas titah perkenan Bapa Johor Moden, Duli Yang Maha Mulia, Sultan Abu Bakar dan menjadi keajaiban seni bina apabila siap pada tahun 1866.

Istana Besar itu dibina menggabungkan beberapa idea kreatif Sultan dalam senibina. Ia dibina dengan gaya Renaissance, dibina oleh artisan tempatan di bawah seliaan juru bina Eropah.

Pada awal tahun 1990-an, pemerintah Johor yang memerintah ketika itu, Kebawah Duli Yang Maha Mulia Sultan Iskandar berhasrat agar orang ramai diberi peluang untuk melihat koleksi Diraja dalam suasana muzium yang sempurna. Baginda berkenan agar Istana Besar ditukarkan menjadi muzium namun masih berfungsi sebagai tempat untuk acara-acara istiadat diraja dan negeri.