قال وهب وغيره: حمل يوسف إلى السجن مقيّداً على حمار ، وطِيف به"هذا جزاء من يعصي سيدته"وهو يقول: هذا أيسر من مُقَطَّعات النِّيران ، وسرابيل القَطِران ، وشراب الحميم ، وأكل الزّقوم.
فلما انتهى يوسف إلى السجن وجد فيه قوماً قد انقطع رجاؤهم ، واشتد بلاؤهم ؛ فجعل يقول لهم: اصبروا وأبشروا تؤجروا ؛ فقالوا له: يا فتى! ما أحسن حديثك! لقد بورك لنا في جوارك ، من أنت يا فتى؟ قال: أنا يوسف ابن صفيّ الله يعقوب ، ابن ذبيح الله إسحاق ، ابن خليل الله إبراهيم.
وقال ابن عباس: لما قالت المرأة لزوجها إن هذا العبد العبراني قد فضحني ، وأنا أريد أن تسجنه ، فسجنه في السجن ؛ فكان يُعزّي فيه الحزين ، ويعود فيه المريض ، ويداوي فيه الجريح ، ويصلي الليل كله ، ويبكي حتى تبكي معه جُدُر البيوت وسقفها والأبواب ، وطهر به السجن ، واستأنس به أهل السجن ؛ فكان إذا خرج الرجل من السجن رجع حتى يجلس في السجن مع يوسف ، وأحبه صاحب السجن فوسع عليه فيه ، ثم قال (له) : يا يوسف! لقد أحببتك حبًّا لم أحبّ شيئاً حبك ؛ فقال: أعوذ بالله من حبك ، قال: ولِمَ ذلك؟ فقال: أحبني أبي ففعل بي إخوتي ما فعلوه ، وأحبتني سيدتي فنزل بي ما ترى ، فكان في حبسه حتى غضب الملك على خَبَّازه وصاحب شرابه ، وذلك أن الملك عُمِّر فيهم فملّوه ، فدسّوا إلى خَبّازه وصاحب شرابه أن يَسُمَّاه جميعاً ، فأجاب الخبّاز وأبي صاحب الشَّراب ، فانطلق صاحب الشّراب فأخبر الملك بذلك ، فأمر الملك بحبسهما ، فاستأنسا بيوسف ، فذلك قوله:"وَدَخَلَ مَعَهُ السِّجْنَ فَتَيَانِ"وقد قيل: إن الخبّاز وضع السم في الطعام ، فلما حضر الطعام قال السّاقي: أيها الملك! لا تأكل فإن الطعام مسموم.