В преданиях говорится, что узники признались Иосифу, да будет мир с ним, что он с самого начала заинтересовал их и внушил им искреннюю любовь к себе. Иосиф, да будет мир с ним, ответил на это, что лучше бы им не любить его и не выражать своего расположения к нему, ибо дружба и приязнь других людей всегда имели для него плохие последствия, и всякий, кто проникался к нему любовью, так или иначе приносил ему несчастье. Его отец любил его, и за это его бросили в колодец. Его полюбила жена вельможи-царедворца, и, как следствие, он оказался в темнице.

В преданиях можно прочитать, что одной из причин того, что они сочли Иосифа истинно праведным человеком, было то, что в тюрьме он постоянно заботился о больных и нуждающихся в помощи (Аль-Хувайзи. Нур ас-сакалайн).