Figlio del professore e scrittore Abraham Pais che, per un lungo periodo di tempo fu anche il biografo di Albert Einstein, Josh Pais comincia a recitare ventenne, con un piccolo ruolo nel telefilm I Robinson (1988) di Tony Singletary, accanto a Bill Cosby, Phylicia Rashad e Tempestt Bledsoe.

Nel cast di Law & Order
Dopo un altra minuscola parte in un telefilm - Murphy Brown (1989) - debutta nel grande schermo accanto a Kathy Baker, Ed Harris e Robert De Niro nel drammatico Jacknife (1989) di David Jones, successivamente, sarà uno degli attori non principali, ma più ricorrenti, della serie Law & Order (1990-2002) con Jerry Orbach, Sam Waterston, Carey Lowell, S. Epatha Merkerson, Jill Hennessy, Steven Hill e Chris North, con il ruolo dell'assistente M.E. Borak.

Tartarughe Ninja alla riscossa!
Notevole anche la sua carriera di doppiatore. Infatti, sotto il costume della tartaruga ninja Raffaello in Tartarughe Ninja alla riscossa (1990) si nasconde proprio lui. Spostato con l'attrice Lisa Emery, nel 1990, e divenuto padre dell'attore Zane Pais, nel 1996 recita con Walter Matthau nella pellicola I'm Not Rappaport, ma il cinema è comunque poco fruttuoso nella sua carriera, così decide di spingere l'acceleratore su telefilm come Star Trek (1997-1998), Homicide - Life on the Street (1998) o Sex & the City (1998). Rimangono quasi invisibili le parti per il grande schermo, da Safe Men (1998) a Il giocatore (1998) con John Malkovich, arrivando a A Civil Action (1998) con John Travolta, Robert Duvall e Sydney Pollack, La musica del cuore (1999) con Meryl Streep e Scotland, Pa. (2001) con Christopher Walken.

Nel Duemila
Nel Duemila, è ancora impegnato nel piccolo schermo con le serie Law & Order (2000-2001), Hope & Faith (2004), I Soprano (2006) e Damages (2007) con Glenn Close, mentre al cinema veste il ruolo di un professore di Princeton in A Beautiful Mind (2001) e quello di Barney in Vizio di famiglia (2003) con Michael e Kirk Douglas, senza dimenticare pellicole minori come Innamorarsi a Manhattan (2005), Prova a incastrarmi (2006), Denti (2007) e Assassination of a High School President (2008) con Bruce Willis. Lo stesso anno è nel film di Charlie Kaufman Synecdoche, New York e nel 2009 nelle due commedie Adventureland e Fratelli in erba. Dopo la commedia del 2010 di Jared Hess Gentlemen Broncos, lo troviamo nel 2012 nel thriller di Nicholas Jarecki La frode. Farà poi parte del cast di Ruth & Alex - L'amore cerca casa (2014), e delle commedie My Bakery in Brooklyn - Un pasticcio in cucina e Insospettabili sospetti (2016).