Nasce a Lincoln - insieme a una sorella gemella che muore alla nascita - da Roy Broadbent, un artista polivalente (scultore, disegnatore e fabbricante di interni) che riuscì a trasformare una chiesa metodista sconsacrata in un teatro, e da Dee, scultrice. I suoi genitori, tra le altre cose, erano anche attori amatoriali e fondarono la troupe Holton Players, prima di essere nominati dalla BBC "obiettori di coscienza che hanno lavorato la terra piuttosto che partecipare alla seconda guerra mondiale".
Jim viene educato alla Leighton Park School, un'istituzione quacchera a Reading. Dopo la brevissima frequentazione di un college artistico passa alla London Academy of Music and Dramatic Art, dove si laurea nel 1972.
Lavora immediatamente per il Royal National Theatre e per la Royal Shakespeare Company, recitando pure nelle epiche dodici ore dell'"Illuminatus" (1976) diretto da Ken Campbell. Frequenta presto le maggiori compagnie teatrali, e i maggiori teatri, d'Inghilterra.
Nel cinema esordisce nel 1978, grazie a Jerzy Skolimowski che lo vuole assolutamente in un piccolo ruolo nel suo enigmatico Il grido; l'anno successivo esordisce anche in televisione. Diventa volto preferito da Stephen Frears, con cui comincia in The Hit, poco visto in Italia, e da Terry Gilliam, che lo esige sia in I banditi del tempo (1981) sia in Brazil (1985). Film dopo film, Broadbent si dimostra attore versatile, capace di passare da ruoli tragici a ruoli comici, da ruoli secondari a protagonisti, non perdendo mai di vista il senso etico della sua professione.
Recita per Neil Jordan, per Mike Leigh, per Baz Luhrmann, per Woody Allen, per Mike Newell, per Martin Scorsese; recita con Anthony Hopkins, con Daniel Day-Lewis, con Robert De Niro, con Miranda Richardson, con Ian McKellen, con Russell Crowe.
Fra una parodia del celebre Doctor Who televisivo e tanti film di successo, vince il BAFTA per Moulin Rouge, il Golden Globe poi, un Oscar infine per il biopic Iris (2001).
Jim Broadbent è sposato con la pittrice ed ex scenografa Anastasia Lewis.