Beylerbeyi ve çevresinin yerleşim alanı olarak kullanılması tarihte oldukça gerilere, Bizans dönemine kadar gitmektedir. Farklı tarihsel dönemlerde inşa edilen yapıların ardından Sultan II. Mahmud (1808-1839) döneminde yaptırılan ahşap sarayın yanmasıyla Sultan Abdülaziz, 1863-1865 yılları arasında sarayı ve ek binaları yaptırmıştır. Mâbeyn ve Harem bölümlerinden oluşan saray ana binası ziyarete açıktır. Deniz Köşkleri ile üst set bahçelerle büyük havuzun etrafındaki Sarı Köşk, Mermer Köşk ve saltanat atlarını barındırmak amacıyla inşa edilmiş olan Ahır Köşk ise ziyarete kapalıdır.
Beylerbeyi Sarayı yazlık bir saraydır. Özellikle yabancı devlet misafirlerinin ağırlanmasında kullanılmıştır. Avusturya-Macaristan İmparatoru Franz Joseph (1869), Fransız İmparatoriçesi Eugénie (1869), Karadağ Prensi Nikola (1874) ve Alman İmparatoru II. Wilhelm gibi çok sayıda konuk burada ağırlanmıştır. Sultan II. Abdülhamid de tahttan indirildikten sonra hayatının son altı yılını burada geçirmiş ve 1918’de bu sarayda vefat etmiştir.