1850 में उर्दू शायरों की जिंदगी का एक शब्दकोश “गुलिस्ताने शायरी” प्रकाशित हुआ था जिसमें कम से कम पचास ज़फ़र के अपने खानदान से थे जिसमें औरतें भी शामिल थीं। बिशप हीबर का कहना था कि ज़फ़र किले में औरतों की शिक्षा पर बहुत ज़ोर देते।
अपनी जवानी में ज़फ़र खुद पुनर्जागरण के दौर की एक मुकम्मल मिसाल । वह न सिर्फ उर्दू, फ़ारसी और अरबी रवानी से बोल सकते थे बल्कि उन्होंने ब्रज भाषा और पंजाबी में भी इतनी महारत हासिल कर ली थी कि इनमें शायरी कर लेते थे।” उन्होंने 33 साल की उम्र में ही न सिर्फ अपनी ग़ज़लों का संकलन प्रकाशित किया था, बल्कि “गुलिस्ताने सादी’ के हर एक शेर की व्याख्या भी लिखी थी। इसके अलावा उन्होंने तीन खंडों में छंदशास्त्र का शब्दकोश और दकनी ज़बान पर एक विस्तृत निबंध भी लिखा था। सिर्फ यह बल्कि जवानी में वह एक माहिर घुड़सवार, तलवारबाज़ और तीरअंदाज थे, और बुढ़ापे तक भी बंदूक के ज़बर्दस्त निशानेबाज़ थे।
सर थॉमस के उदासीन बड़े भाई सर चार्ल्स को भी जो मुगल दरबार के बहुत खिलाफ था. मानना पड़ा कि ज़फ़र एक बहुत सम्मानजनक और पूर्ण शाहजादे थे। एक मुग़ल शहज़ादा जिसने शिक्षा में कोई दिलचस्पी न दिखाई वह था मिर्ज़ा जवांबख़्त। वह अक्सर क्लास छोड़कर अकेले शिकार को निकल जाता लेकिन इसका नतीजा हमेशा अच्छा नहीं होता था। दरबार की डायरी में दर्ज है कि एक बार मिर्ज़ा जवांबख़्त ने एक कबूतर पर निशाना लगाया लेकिन गोली यमुना में नहाते हुए एक आदमी की टांग में लगी। जब ज़फ़र को पता चला तो वह बहुत खफा हुए और ज़ख़्मी आदमी को छह रुपए भिजवाये और महबूब अली खां को हुक्म दिया कि शहजादे की सब बंदूकें, पिस्तौल और तलवारें ज़ब्त करके बादशाह को भिजवा दी जाएं और उनसे कहा जाए कि वह अपनी शिक्षा में ध्यान लगाएं।
किले में अक्सर नाश्ता उस वक़्त होता जब अंग्रेज छावनी में दोपहर के खाने का वक्त होता जिसमें उमूमन एक भुना मुर्ग होता जो बेतहाशा नाश्ते और रात के खाने के मुकाबले में बहुत हल्का था । मैटकाफ हाउस हमेशा सर थॉमस के अपने दस्तूर के मुताबिक चलता था। उसके यहां तीन बजे दोपहर को डिनर लग जाता जो वह समझता था कि उसकी सेहत के लिए अच्छा है। फिर थोड़ी देर वह नैपोलियन गैलरी में जाकर कुछ पढ़ता और बाद में नीचे ठंडे तहखाने में जाकर अकेले बिलियर्ड्स खेलता था, जोकि उसको बहुत पसंद था क्योंकि इससे उसकी वर्जिश भी हो जाती और वह दिन के शदीद गर्मी के वक्त व्यस्त भी रहता।”