אם כי התלמוד הירושלמי מרכיב גם הוא חלקים נרחבים בהלכה היהודית, בעיקר במצוות התלויות בארץ, עקב זה שעל מסכתות רבות במשנה (בעיקר מסדרי זרעים וטהרות) לא נכתב תלמוד בבלי כלל, כיון שלא נהגו למעשה בבבל. כמו כן, הרמב"ם השתמש בתלמוד הירושלמי רבות בספר ההלכה שלו 'היד החזקה' גם בהלכות שאינן קשורות באופן ישיר לארץ ישראל, כפי שהראב"ד מעיר עליו (הלכות קריאת שמע, פרק ג', הלכה ו'): "זה הרב דרכו להיות סומך על הירושלמי" (וכעין זה בביאור הגר"א על יורה דעה, סימן ס"ג, סעיף א', וכן אורח חיים, סימן רל"ה, סעיף ג': "הרמב"ם תמיד נוטה אחר הירושלמי").