Nato in Michigan, JK Simmons è costretto a trasferirsi in Ohio quando era ancora molto piccolo e da lì, poi, nel Montana. Dopo aver studiato musica alla University of Montana, sogna di diventare un cantante, ma non ha tanta fortuna, così cerca la strada dell'attore iscrivendosi alla Bigfork Summer Playhouse, nel 1977.

A New York in cerca di fortuna
Dopo essere apparso in molti spettacoli teatrali locali e regionali, commedie e drammi (anche shakespeariani), si trasferisce a New York in cerca di fortuna (che poi trova). Notato dal regista Peter Levin, prende parte al film tv Il braccio violento della legge 3, con il nome di Jonathan Simmons, poi passa ai palcoscenici di Broadway e nel 1990 recita in "Bulli e pupe" e "Peter Pan", nel ruolo di Capitan Uncino.
Sposato all'attrice Michelle Schumacher, dalla quale avrà due figli, debutta cinematograficamente nel film C'eravamo tanto odiati (1994) di Ted Demme, accanto a Judy Davis e Kevin Spacey, poi passa a caratterizzazioni militari, di coach sportivi e direttori o presidenti di istituti e associazioni, che trovano vita fertile nella lunga carriera televisiva che intraprende coi telefilm Homicide - Life on the Street (1996), Spin City (1997) e soprattutto Oz (1997-2003). Appare in Il club delle prime mogli (1996) di Hugh Wilson, poi veste i panni del dottore nel thriller Extreme Measures - Soluzioni estreme (1996) di Michael Apted e diventa un agente dell'FBI ne The Jackal (1997) di Michael Caton Jones.

Collaborazioni con registi affermati e impegno nelle serie televisive
Scelto da Woody Allen per una piccola parte in Celebrity (1998), recita anche per Lasse Hallström ne Le regole della casa del sidro (1999), poi arriva l'incontro con Sam Raimi, il regista con il quale collabora più spesso. Raimi lo affianca a Kevin Costner in Gioco d'amore (1999), poi a Cate Blanchett in The Gift (2000) e a Tobey Maguire nella trilogia di Spider Man, nel ruolo del suo borioso e ottuso capo di Peter Parker, J. Jonah Jameson, una delle caratterizzazioni più belle della sua carriera.
Voce dell'M&M giallo degli spot pubblicitari dell'omonima casa di snack, è possibile riconoscere JK Simmons anche in altri telefilm come Camelot - Squadra emergenza (2000), Law & Order - I due volti della legge (2000-2001), Everwood (2003), E.R. - Medici in prima linea (2004), Senza traccia (2004) e Nip/Tuck (2004).

Gli anni recenti
Ma non solo serial nella sua carriera, anche se lo aiutano a consolidare la recitazione, è accanto a Julia Roberts e Brad Pitt in The Mexican - Amore senza la sicura (2000) di Gore Verbinski, poi passa al film tv di John Frankenheimer Path to War (2002) e alla pellicola dei fratelli Coen Ladykillers (2004).
Dopo i telefilm Ti presento i miei (2005), Numb3rs (2005) e The West Wing (2006), recita nella commedia politicamente scorretta Thank You for Smoking (2005) di Jason Reitman, poi passa alla storia di un veterano della guerra del Golfo in Harsh Times - I giorni dell'odio (2005), entrando ufficialmente nel cast del serial The closer come l'assistente capo della polizia Will Pope (2005-2006). L'anno successivo fa parte del cast del thriller Presagio finale di Mark Fergus, che uscirà in Italia solo nel 2010. Il 2007 lo vede impegnato nel terzo capitolo della saga diretta da Sam Raimi, Spider-man 3 e nella fortunata commedia di Jason Reitman, Juno.
Tornerà al servizio dei fratelli Coen nel 2008 per Burn after reading - A prova di spia e l'anno seguente lo ritroviamo nell'horror con protagonista Megan Fox Jennifer's body, nella terza commedia girata con Reitman, Tra le nuvole, con un brillante George Clooney e infine in I love you, man di John Hamburg, in cui riveste il ruolo di Oswlad Klaven. Nel 2012 lo troviamo ancora una volta al servizio di Jason Reitman in Young Adult e nell'action con Mark Wahlberg e Kate Beckinsale Contraband. Nel 2013 lo troviamo nel film horror Dark Skies - Oscure presenze e nel film sulla vita del fondatore di Apple Jobs. Dopo essere stato il temibile insegnante di batteria di Whiplash, interpreta anche il film di Damien Chazelle La La Land. Recita poi in Justice League, The Front Runner - Il vizio del potere di Jason Reitman e in City of Crime. Nel 2020 è invece tra i protagonisti di Palm Springs - Vivi come se non ci Fosse un domani. Nel 2022 è candidato all'Oscar come miglior attore non protagonista per Being the Ricardos di Aaron Sorkin.
È nato per le caratterizzazioni e per intrattenere il pubblico con ritratti di uomini burberi, violenti e sboccati.