בשנת 1943, כחמש שנים לפני שקמה מדינת ישראל, נבנו 16 בתים במקום שבו משתרעת היום שכונת יד אליהו. הבתים נועדו לתושבי יפו שברחו מבתיהם ב"תקופת המאורעות" (בשנים 1936–1939), שבה התרחשו עימותים אלימים קשים בין היהודים והערבים ביפו.
בסוף מלחמת העולם השנייה, בשנת 1945, הגיעו לארץ עולים רבים, וגם החיילים היהודים ששירתו בצבא הבריטי השתחררו משירותם ושבו לארץ, לכן נדרשו מקומות מגורים נוספים רבים. לצורך זה, עיריית תל-אביב אספה כספים מעשירי העיר וכך היא מימנה את המשך הבנייה של השכונה. באותם ימים ניתן לה גם שמה – יד אליהו, על שמו של אליהו גולומב, שהיה מראשי ה"הגנה", ונפטר בשנת 1945.
תחילה נבנו בשכונה בתים ובהם דירות קטנות, בנות חדר אחד בלבד, ומאוחר יותר נבנו גם דירות בנות שני חדרים, שנועדו למשפחות העולים הגדולות. בבתים שנועדו לחיילים המשוחררים נבנו דירות מרווחות יותר, בנות שלושה חדרים!
בשנים שעברו מאז, שופצו והורחבו רבים מן הבתים, נבנו רבי קומות חדשים וכיום מתוכנן פרויקט בנייה חדש בשכונה – פרויקט גליפולי, שיוסיף לשכונה דירות חדשות.
בשכונת יד אליהו יש גינות ציבוריות רבות בין הבתים, ושתי שדרות מרווחות חוצות את השכונה – שדרת החי"ל ושדרת יד לבנים.
שכונת יד אליהו מפורסמת היום גם בזכות היכל הספורט "יד אליהו", ששמו הנוכחי הוא היכל נוקיה. המבנה הזה משמש כאולם הביתי של קבוצת הכדורסל "מכבי תל אביב", ויש בו 11,700 מקומות ישיבה.
