Lanciato da Martin Scorsese in Toro scatenato (1980), dove interpreta il fratello del pugile Jack La Motta (interpretato da De Niro), è uno dei migliori caratteristi del cinema americano. Abile commediante, raggiunge il successo popolare grazie a due ruoli semicaricaturali: il contabile della mafia Leo Getz dell'action movie Arma letale II (1980) e il ladro sfortunato e pasticcione del film per bambini di grande successo Mamma, ho perso l'aereo (1990), personaggi che riproporrà nei rispettivi sequel, Arma letale III e Mamma, ho riperso l'aereo, entrambi del 1992. A riprova del suo eclettismo, Pesci vince l'Oscar come miglior attore non protagonista per il ruolo violento e drammatico di uno dei gangster di Quei bravi ragazzi (1990), nuovamente diretto dall'amico Scorsese. Fra gli altri suoi film: Mio cugino Vincenzo (1992), Occhio indiscreto (1992), Casinò (1995), Arma letale IV (1998).
. È apparso anche in due film diretti da De Niro: Bronx (1993) e The Good Shepherd - L'ombra del potere (2006). Ha vinto un American Comedy Award come Attore più divertente di un lungometraggio (Mio cugino Vincenzo) e ottenuto candidature ai Golden Globe per i suoi ruoli in Toro scatenato e Quei bravi ragazzi.
Il primo amore di Joe Pesci è la musica, in particolare il jazz. Prima di iniziare la sua carriera di attore è stato per anni musicista. Tutt'oggi continua a esibirsi cantando e suonando la chitarra. Lo si può ascoltare in una bellissima e struggente versione di "Nearness Of You" insieme al deceduto Jimmy Scott nell'album del 2016 "I Go Back Home: Jimmy Scott". Pesci è apparso anche nell'omonimo documentario del 2016. Nel 2019 è diretto ancora una volta da Scorsese in The Irishman.