Nasce a New York ma cresce a Evanston, nell'Illinois, la periferia suburbana a nord di Chicago. Si laurea all'Evanston Township High School e frequenta l'Harand Theater Camp in Wisconsin, all'Elkhart Lake. E' ancora un adolescente e interpreta la parte di Bernardo nella rappresentazione locale di "West Side Story".
Sempre in Illinois, segue il Piven Theatre Workshop fondato dai genitori Byrne Piven e Joyce Hiller, entrambi attori e insegnanti di recitazione. Nel 1970 frequenta, con la sorella Shira, il Camp Chi, una comunità ebraica a Lake Delton, nel Wisconsin. Poi frequenta la Drake University a Des Moines, nell'Iowa. Qui diventa membro della fraternità Pi Kappa Alpha.
Comincia a comparire nei film di John Cusack, di Evanston come lui, che conosce, insieme alle sorelle Joan e Ann Cusack, al Piven Theatre Workshop. I due attori fanno amicizia e divideranno lo stesso appartamento. In piccoli ruoli, comincia a comparire spesso: Lucas (1986) è il suo debutto, a fianco di Winona Ryder, poi è il turno di Singles, I protagonisti, Cose molto cattive, Heat, Serendipity, Black Hawk Down.
Dal 1995 al 1998 partecipa alla sitcom Ellen, dove interpreta Spence Kovak, cugino della protagonista interpretata da Ellen DeGeneres. La sua miniera d'oro è invece Entourage, serie televisiva di successo prodotta dalla HBO. Vi interpreta il ruolo dell'agente hollywoodiano Ari Gold. La serie comincia nel 2004 e lui riceve, nel 2005, una nomination per l'Emmy Award e, nel 2006, finalmente il premio stesso.
In lingua originale, la voce di Harv, la macchina-poliziotto del film d'animazione Pixar Cars, è quella di Piven. È poi nel caso di Smokin' Aces. Nel 2007 è la volta di The Kingdom con Jennifer Garner e Jamie Foxx.
Dal 2013 è protagonista della serie televisiva britannica Mr Selfridge, ma partecipa anche a molti film per il cinema, come Sin City - Una donna per cui uccidere (2014), Edge of Tomorrow - Senza domani (2014) e American Night (2022).