Nato a Newton, in Massachusetts, figlio di Linda e William Novak (il ghostwriter delle memorie di Nancy Reagan, Magic Johnson e altri personaggi famosi), frequenta la Newton South High School, dove conosce John Krasinski. Successivamente si laurea in letteratura inglese e spagnola all'Università di Harvard, dove lavora anche nella redazione dell'Harvard Lampoon.
In seguito, nel 2001, si trasferisce a Los Angeles, dove lavora come comico in alcuni club, e successivamente inizia a lavorare per la televisione. Lavora come sceneggiatore, per la serie televisiva Raising Dad, e poi partecipa al programma televisivo Punk'd, facendo scherzi a star come Hilary Duff, Usher e Mýa.
Il 2005 è l'anno della la svolta: viene scelto per interpretare il personaggio di Ryan Howard nella serie televisiva The Office, remake dell'omonima serie televisiva britannica. Oltre che come attore, Novak partecipa anche come produttore e ha scritto e diretto alcuni episodi.
Inoltre ha recitato anche per il cinema, ad esempio nei film Reign over Me (2007), Bastardi senza gloria (2009), Il dittatore (2012) e Saving Mr. Banks (2013).