משפחת הכהן אזוג היא משפחת חכמים, למקור שם המשפחה שלוש אפשרויות: א. אזוגראשי תיבות של "אשה זונה וחללה... גרושה לא ייקח" (ספר ויקרא, פרק כ"א, פסוק ז'), ציווי מקראי לכהנים. ב. "אזוג", בשפה הברברית פירושו גדול, ולכן "הכהן אזוג" = הכהן הגדול. זו הפרשנות המקובלת בקרב בני המשפחה. ג. שיבוש משם האזור במרוקו שבו חיו בני המשפחה, "אגזו נבהמו". ד. על פי מסורת משפחתית, זהו שם של אחת ממשמרות הכהונה.
