Nato in un villaggio della Sassonia da un padre pellicciaio, Mühe lavora inizialmente nell'edilizia, poi svolge il suo servizio militare come guardia di frontiera lungo il Muro di Berlino. Nel 1975 aveva iniziato a frequentare l'Accademia d'arte drammatica "Hans Otto" di Lipsia, intitolata al celebre attore teatrale comunista ucciso dai nazisti e immortalato nel romanzo "Mephisto" di Klaus Mann.
Finita l'accademia, Mühe si afferma come uno degli attori più promettenti della Ddr e dopo aver recitato alla "Volksbuehne" di Berlino est, passa al "Deutsches Theater".
Noto al pubblico internazionale soprattutto per la sua commovente e intensa performance nel film Le vite degli altri, vincitore dell'Oscar, è stato interprete di alcune opere del regista austriaco Michael Haneke, come l'agghiacciante Funny Games, in cui ha recitato insieme alla moglie Susanne Lothar, con la quale ha avuto due figli.
L'attore si è spento nel luglio 2007 dopo evere dichiarato pubblicamente di essere malato di cancro allo stomaco: "Sì, ho un cancro, mi sto sottoponendo alle opportune terapie e spero che presto starò meglio". Lo scorso febbraio, dopo il suo ritorno dalla cerimonia degli Oscar a Los Angeles, Mühe si era sottoposto a un'operazione chirurgica e poi non era più apparso in pubblico.