סבי סבתו, מוטילאל נהרו, עמד פעמיים בראש מפלגת הקונגרס הלאומי ההודי. אבי-סבתו, ג'וואהרלל נהרו, עמד בראש מפלגת הקונגרס הלאומי ההודי וכיהן כראש ממשלת הודו הראשון. גם סבתו, אינדירה גנדי, ואביו, רג'יב גנדי, עמדו בראש המפלגה וכיהנו בתפקיד ראש ממשלת הודו. אמו, סוניה גנדי (אלמנתו של רג'יב), משמשת כיום כנשיאת המפלגה.
רהול התחנך במוסדות חינוך יוקרתיים בהודו וכן למד באוניברסיטת הרווארד ואוניברסיטת קיימברידג'.
בשנת 2004 הודיע רהול על כוונתו להתמודד בבחירות לפרלמנט ההודי אשר נערכו במאי אותה שנה. כניסתו של רהול גנדי לפוליטיקה ההודית התפרשה כרצון של מפלגת הקונגרס למשוך את קולות הצעירים בהודו לתמיכה במפלגה. רהול ניצח ברוב גדול ונבחר לפרלמנט. בנוסף לכהונתו כחבר פרלמנט ממלא רהול תפקידים בכירים במפלגת הקונגרס, בעיקר בנשיאות ארגון הצעירים והסטודנטים של המפלגה. רהול טרם נישא. אחותו פְּרִיַנְקָה ודרה, הצעירה ממנו בשנתיים, ומי שנחשבת לדמות היותר כריזמטית והפופולרית במשפחה, סייעה לרהול במהלך מערכות הבחירות בהם התמודד.