Per la sua interpretazione in Shine di Scott Hicks, è stato candidato agli Academy Award, così come (assieme ai suoi colleghi attori nel film) agli Screen Actors Guild Award.
Mueller-Stahl è nato a Tilsit, nell’allora Prussia orientale, e cresciuto a Berlino est. E’ attore, musicista, pittore, sceneggiatore e regista. Dopo i suoi studi, ha esordito a teatro nel 1952, partecipando a diverse rappresentazioni di classici al Volksbühne di Berlino. In seguito, ha cominciato a lavorare al cinema e in televisione, esordendo sul grande schermo con Heimliche Ehen di Gustav von Wangenheim.
Ha recitato in diverse pellicole di Frank Beyer, tra cui Jacob the Liar (1975), Five Cartridges e Royal Children, mentre ha ottenuto grandi consensi per le sue prove in The Third di Egon Günther e The Flight di Roland Gräf.
Dopo essersi trasferito a Berlino ovest nel 1979, Mueller-Stahl ha lavorato per Rainer Werner Fassbinder in Lola e Veronica Voss (Veronika Voss); in Der Westen leuchtet di Niklaus Schilling; e si è aggiudicato il premio come miglior attore al Montréal World Film Festival del 1985 per la sua prova in Angry Harvest di Agnieszka Holland.
Nella sua filmografia, troviamo L’Homme blessé di Patrice Chéreau; Il colonnello Redl (Colonel Redl) di István Szabó; Music box - prova d'accusa (Music Box) di Costa-Gavras; Avalon di Barry Levinson; Utz di George Sluizer, che gli è valso il riconoscimento di miglior attore al Festival di Berlino del 1992; Tassisti di notte (Night on Earth) di Jim Jarmusch; Delitti e segreti (Kafka) di Steven Soderbergh; X-Files - Il film (The X Files) di Rob Bowman; Jacob il bugiardo (Jakob the Liar (1999) di Peter Kassovitz; Il terzo miracolo (The Third Miracle) di Agnieszka Holland; e Conversation with the Beast, da lui diretto, sceneggiato e interpretato, nel ruolo di Adolf Hitler. Recentemente, ha partecipato a The International, dove ha ritrovato la collega de La promessa dell’assassino (Eastern Promises) Naomi Watts. Ha pubblicato Drehtage (1991), una riflessione sulla sua vita e il suo lavoro; Verordneter Sonntag (1983); Unterwegs nach Hause (1996); In Gedanken an Marie Louise (1998); il racconto Hannah (2004); Venice (2005), che comprendeva brani dal suo diario e schizzi vari; Kettenkarussell (2006); Armin Mueller-Stahl Portraits: Painting and Drawing (2006); e molte altre raccolti di lavori con dipinti, litografie e schizzi.
Ai Lola del 2007, l’equivalente tedesco degli Oscar, è stato celebrato con un premio alla carriera.