Comincia la sua carriera musicale a Londra come compositore di jingles e tastierista del gruppo The Buggles. La loro canzone "Video Killed the Radio Star" diventa il primo clip musicale trasmesso su MTV nel 1982.
Impara il mestiere di compositore per musiche da film dal suo mentore, Stanley Myers, con cui lavorerà in diversi films, tra cui My Beautiful Laundrette di Stephen Frears nel 1986. Lo stile di Hans Zimmer è facilmente riconoscibile dalla presenza di musiche tradizionali reinterpretate con strumenti moderni.
È con il film Rain Man (1989) di Barry Levinson che lo rende noto al grande pubblico. Il famoso tema musicale che accompagna Tom Cruise e Dustin Hoffman gli vale una nomination agli Oscar.
Viene così ingaggiato dalle grandi produzioni hollywoodiane per film di grande successo come Giorni di tuono (1990), Thelma & Louise (1991), Fuoco assassino (1991) fino alla consacrazione nel 1995 con Il Re Leone, per il quale ottiene l'Oscar per la migliore colonna sonora, insieme ad Elton John.
I suoi successivi lavori ottengono quasi tutti una nomination agli Oscar: Qualcosa è cambiato (1997), Uno sguardo dal cielo, La sottile linea rossa (1998), Il Principe d'Egitto e Il Gladiatore (2000). Quest'ultimo film vede la sua prima collaborazione con la cantante Lisa Gerrard, con cui lavorerà in altri due film: Mission: Impossible-2 e Black Hawk Down (2001).
L'ultimo samurai, nel 2003, rappresenta la sua centesima composizione per il cinema, e da allora partecipa alle grandi saghe hollywoodiane come la trilogia de I Pirati dei Caraibi, Il codice da Vinci, e il Batman di Christopher Nolan.
Nel 2003 fonda l'etichetta musicale Media Ventures e aiuta a lanciare compositori di talento quali Harry Gregson-Williams (Rock, Shrek e Le cronache di Narnia), Nick Glennie-Smith (Bad boys), Klaus Badelt (Equilibrium, Miami vice) e John Powell (Bourne Identity, Happy Feet).