Beşiktaş, Yıldız ve Nişantaşı yamaçları arasında kalan Ihlamur Vadisi, tarihî kaynaklardan anlaşıldığına göre 18. yüzyıldan 20. yüzyıl başlarına kadar içinden Fulya deresinin aktığı, ıhlamur ve çınar ağaçlarının gölgelediği, yeşillikler içinde bir mesire idi.
Bugün kasırların yer aldığı vadinin ilk bölümü, Sultan III. Ahmed (1703-1730) döneminde tersane eminlerinden Hacı Hüseyin Ağa’ya ait bağ iken, devlet hazinesine katılarak padişaha ait bir hasbahçeye dönüştürülmüştür. Yıldız’a doğru yükselen ikinci bölümünde, Sultan III. Selim (1789-1807) ile Sultan II. Mahmud’un (1808-1839) kemankeşlerle birlikte atış yarışmaları yaptıkları, günümüze ulaşan bazı nişan taşlarından anlaşılmaktadır. Bu nişan taşlarının üzerlerinde, sultanların su dolu testilere yaptıkları atışların mesafeleri, dereceleri ve tarihleri yazılıdır. Sultan Abdülmecid (1839-1861) döneminde, vadinin “Muhabbet Bahçesi” denilen üçüncü bölümü de eklenerek ağaçlandırma ve setli düzenleme çalışmaları yapılmıştır.