L'attore, nato nel Bronx, ha frequentato il City College di New York, dove ha studiato ingegneria e fisica. Una fascinazione per il teatro ha convinto Hirsch che il suo futuro fosse nella recitazione. Ha studiato alla American Academy of Dramatic Arts e ha lavorato con una società per azioni in Colorado prima di debuttare a Broadway nel 1966 in A piedi nudi nel parco.
Ha trascorso molti anni nella compagnia del New York's Circle, ed è apparso nella primissima produzione di The Hot L Baltimore di Lanford Wilson. Dopo un'apparizione di buon auspicio nel film per la televisione The Law (1974), Hirsch ha ottenuto il suo primo ingaggio come protagonista in una serie settimanale poliziesca, Delvecchio, dal 1976 al 1977. Dal 1978 al 1983, è stato visto nei panni di Alex Reiger nella popolare commedia d'ensemble Taxi e ha vinto due Emmy. Mentre era occupato con Taxi, Hirsch ha trovato il tempo per recitare off- Broadway, e ha vinto un Obie award per lo spettacolo del 1979 "Talley's Folly". Il decennio successivo, Hirsch è stato premiato con due Tony per le sue interpretazioni a Broadway in "I'm Not Rappaport" e "Conversations With My Father". Dopo aver interpretato Taxi, Hirsch è stato il protagonista della serie televisiva Detective in the House, nel 1985, e ha vinto un Golden Globe per il suo ritratto di John Lacey in Dear John, dal 1988 al 1992.
Più recentemente, Hirsch ha interpretato, insieme a Rob Morrow e David Krumholtz, la serie della CBS Numb3rs. Attualmente appare nella serie della FX Network, acclamata dalla critica, Damages, con Glenn Close. I crediti cinematografici di Hirsch includono la sua interpretazione - per la quale è stato candidato all'Oscar® - nel film, acclamato dalla critica e candidato all'Oscar® Gente comune, con Timothy Hutton, Mary Tyler Moore e Donald Sutherland. Ha anche interpretato il mentore matematico di Russell Crowe in A Beautiful Mind di Ron Howard, ed è stato visto nei panni del padre di Jeff Goldblum nel film blockbuster Independence Day. Più di recente, Hirsch ha recitato accanto a Sean Penn in This Must Be the Place, che ha ricevuto un'ottima accoglienza al Festival di Cannes del 2011, e nella commedia Tower Heist - Colpo ad alto livello, di Brett Ratner.
Ha recitato in Diamanti grezzi, Hollywood Stargirl, e per il suo ruolo in The Fabelmans di Spielberg è candidato al premi Oscar come miglior attore non protagonista.