وهناك الكثير من الروايات عما تحمَّله يوسف من صعاب قبل الجُبِّ وقبل السجن ، وقيل: إن عمته ابنة إسحاق ، وهي أكبر أولاده ؛ قد استقبلته بعد أن ماتت أمه لترعاه فتعلقت به ؛ ولم تحب أحداً قَدْر محبتها له .
وتاقت نفس يعقوب إلى ولده ؛ فذهب إليها وقال لها: سلِّمي إليَّ يوسف . لكنها قالت: والله ما أقدر أن يغيب عني ساعة ، ولن أتركه .
فلما خرج يعقوب عليه السلام من عندها ، عمدتْ إلى شيء من ميراث إبراهيم عليه السلام يتوارثه أكبر الأبناء ، ووضعته تحت ملابس يوسف .
وكان العُرفُ الجاري أنه إذا سرق أحد شيئاً وتَمَّ ضبطه ؛ تحول من حرٍّ إلى عبد ، وحين كاد يعقوب أن يخرج مع ابنه يوسف عائداً إلى بيته ؛ أعلنت العمة فقدان الشيء الذي أعطاه لها والدها إسحاق ؛ وفتشوا يوسف فوجدوا الشيء المفقود .
فقالت عمته: والله إنه لَسَلْم أي عبد وكان العرف أن مَنْ يسرق شيئاً يتحول إلى عبد عند صاحب الشيء .
وهكذا بقي يوسف مع عمته محروماً من أبيه لفترة ، ولم يستطع الأب استرداده إلا بعد أن ماتت العمَّة .
ثم جاءت حادثة الجُبِّ ، ومن بعدها محاولة امرأة العزيز لِغُوايته ، ورغم تيقُّن العزيز من براءته إلا أنه أُودِع السجن ؛ ويقول الرواة:
"إن يوسف عليه السلام قد عُرف في السجن بالجود ، والأمانة ، وصدق الحديث ، وحُسْن السمت ، وكثرة العبادة ، ومعرفة التعبير أي تأويل الرؤيا والإحسان إلى أهل السجن ."
ولما دخل هذان الفَتيانِ معه السجن ؛ تآلفا به وأحبَّاه حُبّاً شديداً وقالا له: والله لقد أحببناك حباً زائداً . قال: بارك الله فيكما ؛ إنه ما من أحد أحبَّني إلا دخل عليَّ من محبته ضررٌ ، أحبتني عمَّتي فدخل الضرر بسببها ، وأحبَّني أبي فأوذيتُ بسببه ، وأحبَّتني امرأة العزيز فكذلك .
أي: أنه دخل السجن وصار معهما دون ذنب جَنَاه .
قال السجينان: إنا لا نستطيع غير ذلك"."