1520 yılında At Meydanı’nı sadece dikilitaşlar süslemiyordu. Ön cephesi 140 metre olan bir sarayda görkemiyle süslüyordu. 2. Bayezid döneminde(1481-1512) taştan yapılmış bir saraydı bu. 4 avlusu vardı. Avluyu çevreleyende onlarca odası.

Büyüklüğüyle Topkapı Sarayı’yla yarışan bu sarayı, Sultan Süleyman 1520′de tamir ettirir. Ve sevgisinin bir nişanesi olarak veziri İbrahim Paşa’ya hediye eder.

Siyaset denilen rüzgar İbrahim Paşa’nın tersinden esmeye başlayınca, Sultan Süleyman için paşa’nın katli vacip olur. Ve bir gece İbrahim Paşa’nın boyununa kement dolanıverir. Sonrasında maktülün bütün malına mülküne el koyar Osmanlı.

İbrahim Paşa’nın dillere destan olan sarayı da vezir Zal Mahmut Paşa’ya hediye edilir. Zal Mahmut Paşa ölüncede sadrazam Bosnalı İbrahim Paşa’ya verilir. Sonra da sadrazam Yemişçi Hasan Paşa’ya. Ve nice sadrazamları, Kaptan-ı Deryaları ağırlar saray.

Ama saray bir zaman sonrada gözden düşer. Çünkü 1716′da bir ahır olarak kullanılır. 1725′te de boyahane olarak.

1777′de Hindistan’dan getirilen bir fil buraya konulur. 1827 de İstanbul’u gezen bir seyyah şöyle bir not alır: ”Burada deliler yaşıyor, bazı odalarında da arslanlar.” Yani hem tımarhane hem de hayvanat bahçesi olarak kullanılır. Bir arada defterdarlık olarak.

1983′ten beri de vezirleri,sadrazamları, cariyeleri, delileri arslanları ve filleri ağırlayan odaları, Türk ve İslam tarihinin en güzide eserlerine ev sahipliği yapıyor.
Çünkü Türk-İslam Eserleri Müzesi olarak kullanılıyor.