M.Ö. 5. yüzyılda bugün kulenin bulunduğu adacıkta bir gümrük noktası oluşturulmuş ve Karadeniz’den gelen gemileri denetlemek ve vergi almak amacıyla bir kule inşa edilmiştir.
12. yüzyılda Doğu Roma İmparatoru I. Manuel Komnenos tarafından adacıkta bir savunma kulesi inşa ettirilmiştir. Bu kule ile Sarayburnu’nda Mangana Manastırı’nın yanında bulunan bir kule arasında (Deniz Surları restorasyonu yapılan bölüm) bir zincir gerilerek gemilerin Boğaz’a giriş çıkışı kontrol altına alınmıştır.
Fetih’ten sonra Fatih Sultan Mehmet buraya yeni bir kale inşa ettirmiştir. Kaleye bir nöbetçi birliği yerleştirmiştir. Her akşam yatsıdan sonra ve seher vakti, kulede mehter nöbet çalmaya başlamıştır. Bayramlarda ve padişahların tahta çıktıkları zaman sahil saraylarını ziyaretlerinde Kız Kulesi’nden top atışı yapılması gelenek haline gelmiştir.
