लाल किले का भी बहुत कीमती खजाना ईरान का नादिरशाह 1799 में लूट चुका था। और इसके आधी सदी बाद 1788 में गर्मी के मौसम में जब ज़फर सिर्फ तेरह बरस के थे तो लुटेरे गुलाम हैदर ने दिल्ली पर हमला किया था और इसको फतह करके ज़फर के दादा शाह आलम द्वितीय को खुद अपने हाथ से अंधा कर दिया था और ज़फर के पिता को, जो तख्त के उत्तराधिकारी थे, अपने सामने नाचने पर मजबूर किया, और फिर उनके जख्मों पर नमक छिड़कने को उनकी दुर्लभ लाइब्रेरी पर कब्ज़ा करके उसकी ज़्यादातर किताबें अवध के नवाब के हाथ बेच दीं। जिसकी वजह से बादशाह के गुस्से की इंतहा नहीं रही। लेकिन जैसा कि आज़ाद ने लिखा है: “वह एक अंधे बादशाह को अपने लुटे हुए किले में हुकूमत करने को छोड़ गया।
शाह आलम द्वितीय की मृत्यु के समय मुगलिया हुकूमत और भी सिकुड़ चुकी थी, लिहाजा ज़फ़र का पालम तक भी कब्ज़ा न था। उनकी हुकूमत अब लाल किले की चारदीवारी तक सीमित थी। जैसे वह अपने वैटिकन सिटी के अंदर एक हिंदुस्तानी पोप हों और किले के भी वह पूरी तरह मालिक न थे। ब्रिटिश रेज़िडेंट सर थॉमस मैटकाफ ज़फर और उनकी रोजमर्रा की जिंदगी पर दोस्ताना लेकिन कड़ी नज़र रखता था और अक्सर उनको ऐसे काम करने से भी रोक देता था जो उनके लिए पवित्र थे ।
यह रेजिडेंट शुरू में गवर्नर जनरल के प्रतिनिधि की हैसियत से मुगल दरबार में भेजा गया था। लेकिन जैसे-जैसे अंग्रेज़ों की ताकत बढ़ती गई और मुगलों की घटती गई, उन्होंने दिल्ली पर हुकूमत करने का और ज़्यादा जिम्मा ले लिया और अपने को दिल्ली का गवर्नर कहने लगे।
