Imam Al-Junaid sebelum wafat, tetap beristiqamah melaksanakan ibadah meskipun dalam keadaan susah payah. Di hari Jumaat, di hari wafatnya, Imam Al-Junaid masih berusaha untuk membaca Al-Qur'an, hingga para sahabat beliau termasuk Abu Muhammad Al-Jurair merasa kasihan, dan menyampaikan kepada Al Junaid, "Kasihanilah dirimu sendiri". Imam Al-Junaid pun menjawab, "Aku tidak melihat orang yang lebih memerlukan Al-Qur'an lebih daripada diriku untuk saat ini. Ia lah yang memenuhi lembaran amalanku.
Di saat hendak wafat, Imam Al-Junaid juga berusaha untuk melaksanakan solat dengan duduk, sedangkan kedua kaki beliau bengkak. Melihat betapa susahnya beliau melakukan gerakan solat, para sahabat beliau pun menyampaikan, "Ada apa ini wahai Abu Qasim?!" Imam Al-Junaid pun menjawab, "Ini adalah nikmat dari Allah, Allahu Akbar ..."
Setelah selesai Shalat, Abu Muhammad Al-Jurair menyampaikan, "Anda boleh melakukannya dengan berbaring." Imam Al-Junaid pun menjawab, "Wahai Abu Muhammad, ini adalah waktu mempertanggungjawabkannya."
Saat Ibnu Atha', sahabat Al-Junaid datang dan mengucapkan salam, Imam Al-Junaid tidak langsung menjawabnya, melainkan beberapa saat selepas itu. Kemudian beliau menyampaikan, "Maafkan aku, tadi aku sedang membaca wiridku." Kemudian beliau menghadapkan wajah ke kiblat kemudian wafat. -- al-Fatihah --
Di waktu sebelum wafat, Imam Al-Junaid telah menghatamkan bacaan Al-Qur'an kemudian memulakan lagi membaca Surah Al-Baqarah hingga 70 ayat. (Lihat, Ath Thabaqat Al Auliya, hal. 134)