הרב יוסף לוי נולד בשנת 1943 בעיר מידלט שבמרוקו. למד בישיבה בעיר מקנס במרוקו אצל הרבנים מיכאל פינסקר ויצחק סבג.

בשנת 1962 עלה ארצה במסגרת העלאת יהדות מרוקו, לאחר סיפור הטביעה הטראגי של ספינת המעפילים ממרוקו "אגוז", בינואר 1961.

בעת עלותו ארצה היה אדם נשוי ולקרית מוצקין הגיע עם רעייתו והוריו והתיישב במעברת קרית מוצקין, שבסמוך לפסי הרכבת.

כאיש דתי ואמין החל לעבוד כשוחט מוסמך ולימים היה לרב השכונתי באזור שכונת מגוריו, המעברה.

בשנת 1979 נבחר הרב יוסף לוי לכהן כרבה הספרדי של הקריה. לאחר שנתיים בלבד בשנת 1981 והוא בן 38 נפטר ממחלת לב קשה. השאיר אחריו אלמנה שבע בנות ושני בנים.

כאדם היה איש צנוע ועניו, (מספרים שתמיד נהג להשפיל מבט ולהרכין ראש בפני כל פונה), והיה אהוב ואהוד על אנשי קהילתו הקטנה. משום כך, כאשר עלתה מועמדותו לכהן כרב ראשי (אשכנזים וספרדים), של קרית מוצקין, היה מועמד יחיד. צניעותו הרבה באה לידי ביטוי גם בהיותו הרב הראשי. ראש המועצה דאז משה גושן, הציע להעניק לו ולמשפחתו דירת שרד במוצקין הותיקה כראוי לרב העיר, אך הוא סרב בטענה שמקומו עם קהילתו במעברה. משניסה משה גושן להציע לו ולמשפחתו ברוכת הילדים דירה יותר גדולה בשולי המעברה, ובנויה מאבן ולא מאזבסט כשאר מבני המעברה, סרב בפעם נוספת הפעם בטענה, כי ברצונו לחיות באותה רמה בה חיים רוב בני קהילתו וכי הוא מסתפק במועט שיש לו.

בתקופת כהונתו הקצרה כרב המועצה, היה מקובל מאוד ונערץ על כל התושבים, נאמן ומסור וידוע בתרומתו לזולת, ללא הבדל בין מבקשי העזרה. בשמחה היה נענה לפניות התושבים לקבוע בביתם מזוזות, לסייע בהתקנת שעוני שבת, לרכישת מכונות גילוח חשמליות על מנת שלא יתגלחו בתער, ללא היסוס היה מסייע בפתיחת סתימות ביוב, עבודות אינסטלציה וחשמל, כל זה ללא תשלום. מהמעט שהיה לו תרם לנזקקים ונהג לבקר חולים ולדאוג לצרכיהם.

כאמור נפטר הרב בגיל צעיר ובמפתיע, טכס ההלוויה היה המוני ובמסע ההלוויה השתתפו רבים מתושבי הקריה כולה וגם מהסביבה.

לימים נקרא על שמו רחוב הרב יוסף לוי, המצוי בשכונה חדשה שהוקמה בסמיכות ועל שרידי המעברה בה התגורר.