הארגון הוקם בעזה ב-1981 בידי ד"ר פתחי שקאקי, רופא מרפיח, והשיח' עבד אל-עזיז עודה, מטיף דת ממחנה הפליטים ג'באליה שברצועת עזה. השניים עמדו בראש קבוצת סטודנטים פלסטינים שהושפעו מהצלחתה של המהפכה האיראנית (1979) ומההקצנה של ארגוני הסטודנטים האסלאמיים המקומיים. פתחי שקאקי חוסל במלטה בידי סוכני המוסד ב- 1995 ובמקומו התמנה ד"ר רמדאן שלח, שנמנה אף הוא עם הגרעין המייסד שלו.
הג'יהאד האסלאמי פלסטיני העמיד במרכז המאבק הלאומי הפלסטיני את הג'יהאד, ואת הגישה הדתית-אסלאמית במקום הגישה הלאומית-חילונית של ה"פתח" ושל ארגוני השמאל. יש הרואים בו את ארגון הטרור הקיצוני ביותר הפועל בזירה הפלסטינית.
הארגון רואה בפלסטין את לב העימות הדתי-היסטורי בין המוסלמים ליהודים ואת מוקד האימפריאליזם המערבי המבקש להשתלט על אדמות המוסלמים. לגישתו, הבעיה הפלסטינית אינה רק בעיה לאומית אלא היא במהותה בעיה אסלאמית, ופתרונה הוא המפתח "לשחרורה ולאיחודה של האומה האסלאמית כולה". לסיכום, מטרותיו של הארגון הן שחרור פלסטין (היכול להתבצע אך ורק בג'יהאד) ותחייה פן-אסלאמית.
לשם השגת יעדיו פעל הארגון, בדומה לחמאס, בשתי רמות: דעווה (הטפה ותעמולה) וג'יהאד. מצד אחד מתן סיוע ושירותי רווחה לנזקקים תוך כדי הפצת תעמולה וגיוס חברים ופעילים לשורות הארגון. במקביל, קובע הארגון כי דרך מאבקם היא זו של הפעילות האלימה בדרך של לוחמת הגרילה והטרור.
האירוע שסימן את כניסת הג'יהאד האסלאמי לשלב המאבק המזוין היה רצח תלמיד הישיבה בחברון באוגוסט 1983. הריגת ארבעה מאנשי הארגון בידי צה"ל ב-10 בדצמבר 1987 חוללה את האינתיפאדה הראשונה. הארגון היה הגורם הפעיל ביותר בפעילות האלימה נגד ישראל בשנים 1986-1987 ונטל חלק פעיל ויוזם בהנעת ההתקוממות העממית מראשיתה.
לאחר הסכם אוסלו אימץ הארגון את פיגועי ההתאבדות והפך אותם לשיטת הפעולה המועדפת עליו תוך שהוא משתמש בנשים גברים וילדים כמתאבדים. עד היום ביצע הארגון למעלה מ- 400 פיגועים והרג ופצע מאות ישראלים. לארגון זרוע הצבאית, גדודי "אל-קודס" (שמה הערבי של ירושלים).
הארגון נהנה מתמיכתה החומרית והרוחנית של איראן המציידת אותו באמצעי לחימה ומממנת אותו כספית.
פעילי הג'יהאד האסלאמי ברצועת עזה משתתפים בירי רקטות קסאם על ישראל לאחר הנסיגה החד צדדית מהרצועה בספטמבר 2005. הארגון הגביר את הירי לדרומה של ישראל וירה גם לראשונה רקטת קטיושה 122 מ"מ לעבר אשקלון.
