जफर की आखरी शादियों में से एक भी एक गाने वाली से हुई थी जिसका नाम मान बाई था जिसे बाद में अख्तर महल का खिताब मिला। यह शादी 1847 में हुई थी जब ज़फर बहत्तर साल के थे। जिन रातों में जफर जल्दी महफिल से उठ जाते, तो कई शाहजादे शहर का रुख करते। कुछ चावड़ी बाजार के कोठों की तरफ जाते जहां झरोखों के पीछे से रोशनी और नाच का मंजर दिखाई देता था और गाने और तबले की आवाजें चांदनी चौक तक से सुनाई देती थीं।
औरतें खूब सज-बनकर सामने आ खड़ी होतीं और दलालों के जरिए या फिर सीधे तौर पर खुद ही मर्दों को ऊपर आने की दावत देतीं। वहां वासना और अय्याशी का समां बन जाता और लोग वहां हर रात आकर मजा उड़ाते।