एक बार अन्तर्राष्ट्रीय श्रम सम्मेलन के लिए कोई डेलीगेट नामांकित करने के अनुरोध के साथ शास्त्री जी के पास केन्या से एक पत्र आया। उन्होंने श्रमिक मामलों के एक जाने-माने कांग्रेस नेता आबिद अली का नाम सुझा दिया। विदेश सचिव राजेश्वर दयाल को यह नाम पसन्द नहीं आया और वे सीधे नेहरू के पास जा पहुंचे। शास्त्री को उनके सुझाए नाम में बदलाव के बारे में औपचारिक कागजों के माध्यम से पता चला और उन्हें बहुत बुरा लगा।
कुलदीप नैयर अपनी किताब में लिखते हैं कि दिन-ब-दिन इस तरह के खट्टे अनुभवों की संख्या बढ़ती जा रही थी। कई बार नेहरू से मिलने का समय लेने के लिए भी उन्हें प्रतीक्षा करनी पड़ती थी। एक बार शास्त्री जी ने कुलदीप नैयर से कहा कि वाे इलाहाबाद लौटने की सोच रहे थे। “उन्होने कहा कि- यहां अब मेरे लिए कुछ भी नहीं बचा है।” उन्होंने उखड़े-से अन्दाज में कहा-“अगर में दिल्ली में रहा तो एक न एक दिन पंडित जी से मेरा टकराव होना तय है। मैं उनसे झगड़ा करने की बजाय राजनीति से रिटायर होना पसन्द करूंगा।” कभी-कभी उनके मन में मंत्री पद से इस्तीफा देने की बात भी आती थी। लेकिन दो कारणों से वे ऐसा नहीं कर पा रहे थे। एक तो यह कि सिंडिकेट केबिनेट में इतनी महत्त्वपूर्ण स्थिति से उनके इस्तीफे के खिलाफ था, भले ही वे चौथे स्थान पर थे। दूसरे वे खुद भी इस प्रभाव को कम नहीं करना चाहते थे कि उन्हें नेहरू का उत्तराधिकारी मानते हुए ही कैबिनेट में वापस लाया गया था।
