Dopo aver frequentato la Park Ridge High School, nel 1979 Gandolfini si iscrive prima al New Brunswick College, poi alla Rutgers University laureandosi in comunicazione. Si avvicina alla recitazione per caso, in giovanissima età, quando, accompagnando un amico per un provino a New York City, viene immediatamente rapito dal mondo del teatro. Così, passerà dalla compagnia del New York Theater al suo debutto a Broadway, avvenuto nel 1992, con un adattamento di "Un tram che si chiama desiderio", accanto a Jessica Lange e Alec Baldwin.
Perfetto caratterista italo-americano, debutta cinematograficamente nel film di Sidney Lumet - che lo vorrà poi in altre pellicole - Una estranea fra noi (1992) con Melanie Griffith, poi diventerà uno degli attori prediletti di Tony Scott che infatti lo imporrà in un piccolo ruolo nel suo film Una vita al massimo (1993) con Dennis Hopper, Brad Pitt, Christopher Walken e Samuel L. Jackson, seguito da Allarme rosso (1995) con Denzel Washington e Gene Hackman.
Nel 1993, dopo Mr. Wonderful con William Hurt, recita accanto a Nastassja Kinski in Terminal Velocity, seguito da Get Shorty (1995) ancora con Hackman, ma anche con John Travolta e Danny DeVito. La sua filmografia si arricchirà poi di parti secondarie in: She's so lovely - Così carina (1997) con Sean Penn, il film tv La parola ai giurati (1997) con Jack Lemmon, Il tocco del male (1998) con Washington, Basta guardare il cielo (1998) con Sharon Stone e A Civil Action (1998) con Travolta, Robert Duvall e Sydney Pollack.
Nel 1998, è accanto a Nicolas Cage nel thriller 8 mm - Delitto a luci rosse (1998), ma il suo anno fortunato è decisamente il 1999 e per due motivi: è l'anno del matrimonio con Marcy Wudarski che gli darà un figlio, Michael Gandolfini, ed è l'anno in cui gli viene affidato il ruolo del boss sotto stress Tony Soprano nel telefilm I Soprano (1999-2007). 87 episodi che lo renderanno uno dei protagonisti più amati del piccolo schermo, nonché vincitore di ben 3 Emmy Award come miglior attore protagonista in una serie televisiva (2000, 2001 e 2003) e un Golden Globe nella stessa categoria. E proprio nel periodo in cui recita nella serie, va persino incontro a un incidente quando sopra la sua Vespa va a sbattere contro un taxi, costringendo la produzione a interrompere gli ultimi episodi del telefilm.
Ma Gandolfini non è solo Tony Soprano, è anche uno dei protagonisti di: The Mexican - Amore senza la sicura (2000) accanto a Brad Pitt e Julia Roberts; Il castello (2001) con Robert Redford e, soprattutto, L'uomo che non c'era (2001) dei fratelli Coen, dove veste con efficacia il ruolo dell'amico di un barbiere, nonché amante di sua moglie.
Provinato da Steven Spielberg per il ruolo che andrà a Tom Hanks in Prova a prendermi (2002), Gandolfini, ormai divorziato dalla moglie, comincia a intrattenere alcune relazioni con l'assistente regista Lora Somoza, Cynthia DeMoss e la modella Deborah Lin. Grande amico del sindaco di New York, Rudolph W. Giuliani, recita il ruolo del protagonista di Romance & Cigarettes (2004), vale a dire quello del marito fedifrago di Susan Sarandon, accanto al buon Walken che balla e canta; poi sarà considerato per il ruolo de La Cosa de I fantastici 4 (2005), ma rifiuta all'ultimo momento, scegliendo la più impegnativa pellicola con Sean Penn e Anthony Hopkins Tutti gli uomini del re (2006) e Lonely Hearts (2006) ancora con Travolta, passando sotto lo sguardo di Spike Lee per Miracle at St. Anna (2008). Nel 2013 lavora con la regista Nicole Holofcener per il film Non dico altro, dove interpreta Albert.
James Gandolfini muore a Roma, probabilmente stroncato da un infarto, il 19 giugno del 2013, a soli 51 anni.
