Laureato a Yale in recitazione, Linn-Baker comincia la sua carriera dal palcoscenico. Il suo primo ruolo cinematografico è una piccola apparizione nel capolavoro di Woody Allen, Manhattan, che tuttavia viene quasi completamente tagliato nel montaggio definitivo. Dopo un ruolo in L'ospite d'onore, Linn-Baker interpreta nel 1983 il musical Doonesbury, che l'aveva già visto protagonista sui palchi di Broadway. Nonostante la sua predilezione per il grande schermo e (soprattutto) per la tv, non abbandona mai del tutto l'attività teatrale, comparendo in diversi musical e commedie.

Dal cinema alla tv e ritorno
Guest star in serie cult degli anni '80 come Miami Vice e in Moonlighting, Mark ottiene il ruolo principale nella serie Barki e Larry - due perfetti americani: molto popolare negli Usa, dove viene trasmessa per ben 8 stagioni (dal 1986 al 1993), il telefilm vede Linn-Baker nei panni di un nevrotico ragazzo di Chicago alle prese con lo spaesato cugino di origine greca, totalmente estraneo alla cultura americana. Negli anni '90 appare in 8 sotto un tetto, di cui firma anche un episodio come regista, Ally McBeal e Law&Order; nel 2005 diventa presenza fissa nella serie Twins, cancellata dopo una sola stagione. Nel 2009 appare in un episodio della versione Usa di Life on Mars e torna sul grande schermo con il film Adam.