Fin da giovanissimo studia danza e ben presto diventa un ballerino professionista. Contemporaneamente si iscrive e frequenta le lezioni di recitazione dell'Århus Theatre School. La passione per la recitazione non è certo una novità nella sua famiglia: suo fratello Lars ha recitato in più di trenta film trasmessi dalla televisione danese. Mads è fidanzato con Hanne Jacobsen dal 1987 e dal 2001 sono marito e moglie.
Dopo un paio di ruoli da comparsa in due pellicole trascurabili del 1995 (Café Hector e The Glass House Prisoner) fa il suo esordio sulla scena che conta nel 1996 in Pusher. Diretto da Nicolas Winding Refn, Mikkelsen è il protagonista e la sua interpretazione di Tonny, uno spacciatore senza soldi, è così convincente, realistica e sofferta da farlo diventare all'istante una delle star più celebrate e riconoscibili del cinema danese. Tra il 1998 e il 2001 la sua carriera prosegue con titoli di grande successo in patria, tra i quali si segnalano Wildside, Angel of the Night, Tom Merritt, Bleeder, Flickering Lights, diretto da Thomas Anders Jensen e la serie poliziesca Rejseholdet (Unit 1), vincitrice di un Emmy Award nel 2001. Mads Mikkelsen si segnala al giudizio della critica e agli occhi del grande pubblico per il suo aspetto duro e ruvido, per i suoi occhi glaciali uniti a dei modi eleganti e signorili. È un attore capace di trasmettere una naturale inquietudine ai personaggi che interpreta, e presto anche Hollywood inizierà a sfruttare questo suo talento.
Nel 2001 è il protagonista di Una lei tra di noi, esordio alla regia di Hella Joof mentre nel 2002 recita al fianco di Gerard Depardieu in I am Dina di Ole Bornedal, una pellicola che, grazie alla presenza della superstar francese, permetterà al volto di Mikkelsen di farsi conoscere anche al di fuori dei confini danesi.
Le pellicole che sanciscono il suo riconoscimento internazionale sono il secondo film di Anders Thomas Jensen The Green Butchers e soprattutto Open Hearts di Susanne Bier. Uscito nel 2002, quella della Bier è una pellicola toccante e dolorosa: è la storia di Cecile e Joachim, una coppia felice in attesa di sposarsi; alla vigilia del matrimonio Joachim viene investito ed entra in coma e quando si risveglierà si ritroverà paralizzato. Mikkelsen interpreta il ruolo di Niels, il medico che ha operato Joachim e che finisce per prendersi cura di Cecile al punto che tra i due inizia una vera e propria relazione.
Nel 2003 è la volta di Torremolinos 73 - Ma Tu lo Faresti un Film Porno?, commedia grottesca diretta da Pablo Berger ambientata in Spagna negli anni Settanta, in cui il protagonista, un venditore di enciclopedie, di fronte alla crisi della società per cui lavora, si trova costretto ad accettare la proposta del suo capo di produrre film erotici casalinghi. Una trama bizzarra per un pellicola che è l'ultima esperienza danese di Mikkelsen prima della chiamata hollywoodiana per King Arthur nel 2004. Mads Mikkelsen si trova a recitare al fianco di Clive Owen e Keira Knightley in una super-produzione hollywoodiana, la prima vera ricostruzione della storia di re Artù con Mikkelsen nella parte di un affascinante Tristano. La pellicola riscuote un enorme successo di pubblico e per Mikkelsen rappresenterà la credenziale più importante da presentare alla produzione dell'ultimo capitolo della saga di 007 per la scelta del cattivo. Dopo aver interpretato il ruolo di un prete che deve far ravvedere in prigione un neonazista in Le mele di Adamo, arriva infatti la chiamata da Martin Campbell che finirà per affidargli il ruolo di Le Chiffre in 007 Casino Royale. La storia è quella di 007, un James Bond giovane e palestrato interpretato dall'attore inglese Daniel Craig, le cui indagini lo portano dapprima in Madagascar e alle Bahamas, e poi in contatto con il banchiere di alcune organizzazioni terroristiche Le Chiffre. Bond si dovrà misurare in una partita di poker mozzafiato con Le Chiffre: ovviamente la posta in palio, oltre a una montagna di soldi, sarà la sopravvivenza. Martin Campbell riparte dal doppio zero, ovvero dal primo libro di Jan Fleming in cui James Bond entra in scena per compiere la sua prima missione come spia al servizio della regina per acquisire la celebre licenza di uccidere. La trama si compone di un'azione molto concitata ma credibile, in cui non perdono spazio i caratteri e le vicende intime dei protagonisti. Lo sguardo freddo e glaciale di Mikkelsen è perfetto per il ruolo, soprattutto durante la lunghissima partita a poker i suoi primi piani trasmettono al personaggio quel senso di minaccia e di crudeltà che contribuisce a creare la tensione.
Dopo il successo di Casino Royale ritorna a lavorare in Danimarca come una vera superstar, nuovamente diretto da Susanne Bier in Dopo il matrimonio. Mads è Jacob Petersen, un uomo che ha dedicato la sua vita ad aiutare i ragazzi di strada in India. Quando l'asilo che gestisce rischia di chiudere, riceve un lascito di quattro milioni di dollari a patto che vada a prenderseli in Danimarca, dove il benefattore lo ha invitato al matrimonio della figlia. Una pellicola intimista, un'acuta riflessione sul drammatico contrasto tra libertà e destino e tra ricchezza e povertà, in cui Mikkelsen non fa che confermare il suo talento in una parte tutt'altro che semplice, un personaggio ricco di sfumature e di contraddizioni che riesce a trarre forza dalle imposizioni e dalle costrizioni (primi piani quasi ossessivi e lunghi piani sequenza) del Dogma dettato da Lars von Trier a tutti i registi di scuola danese. In seguito si affiderà a registi emergenti, come il Nicolas Winding Refn di Valhalla Rising (2009), a blockbuster (Scontro tra Titani, I tre moschettieri), passando per Il sospetto del connazionale Vinterberg e il film in costume Royal Affair, fino ad arrivare al western del danese Kristian Levring The Salvation. Nel 2016 si dà alla fantascienza partecipando a Rogue One: A Star Wars Story e Doctor Strange.
Diretto da Julian Schnabel in Van Gogh - Sulla soglia dell'eternità (2019), torna poi a lavorare per Thomas Vinterberg in Un altro giro (2020) e sarà poi nel nuovo capitolo di Indiana Jones.
