Karl Markovics è cresciuto in un piccolo paese nei pressi della capitale austriaca. Conclusi gli studi in teatro e linguistica, dal 1982 al 1985 è membro del Serapionstheater (Mime Theatre) e inizia la sua carriera teatrale con Michael Schottenberg, tra l'altro, con Der Widerspenstigen Zähmung (Magister). Dal 1987 è membro del Wiener Ensemble e porta in scena, fra l'altro, Il talismano (Nestroy) e Finale di partita (Beckett). Contemporaneamente ottiene diverse parti al Wiener Volkstheater e al teatro della Künstlerhaus.
Il primo ruolo cinematografico, Markovics lo ottiene nel 1991 nel film per il cinema Hund und Kats di Michael Sturminger. Il grande successo per Karl Markovics arriva nel 1993 nel ruolo dell'ispettore Stockinger, prima nella serie TV Il commissario Rex e successivamente nella serie spin-off Stockinger. Negli anni successivi, Markovics lavora in diverse produzioni televisive e teatrali, tra l'altro al Theater in der Josefstadt e al Wiener Volkstheater. Seguono diversi ruoli cinematografici, tra cui Late Show di Helmut Dietl (1998) e Born in Absurdistan di Houchang Allahyari (1999). Il ruolo di protagonista come Salomon Sorowitsch nel film Il falsario di Stefan Ruzowitzky (2007), premiato come migliore film straniero in occasione dell'ottantesima edizione degli Oscar, rappresenta il più grande successo internazionale della carriera di Markovics. Nel 2009 prende poi parte a Maga Martina e il libro magico del draghetto. L'attore vive a Vienna con la moglie, l'attrice di teatro Stephanie Taussig, e i loro due figli.