James Ellroy è nato a Los Angeles nel 1948. Sua madre era un'infermiera, mentre suo padre, quando lavorava, tra le tante cose era contabile.
Quando i suoi genitori hanno divorziato nel 1954, sua madre ha ottenuto la custodia del figlio e si è trasferita a El Monte. Purtroppo, è stata assassinata in quella zona nel 1958. Il tentativo di Ellroy di risolvere questo omicidio ancora insoluto era l'argomento del suo libro del 1996 I miei luoghi oscuri (My Dark Places). Dopo la morte della madre, andò a vivere con il padre.
Ellroy sostiene di essersi interessato alla fiction poliziesca grazie agli Hardy Boys, una popolare serie di libri di avventura con protagonisti due giovani detective. A dieci anni suo padre gli comprò The Badge di Jack Webb, la storia del LAPD, di cui divenne ossessionato e che studiò ripetutamente. Fu proprio grazie a questo volume che scoprì la Dalia nera, così come i poliziotti e le figure criminali di cui avrebbe parlato più tardi nella Quadrilogia di Los Angeles.
Dopo essere stato espulso dal liceo, Ellroy si arruolò nell'esercito. Preoccupato per suo padre, che aveva appena avuto un infarto, e infelice sotto le armi, Ellroy finse di balbettare e convinse lo psichiatra dell'esercito di non essere in grado di combattere. Dopo tre mesi, venne congedato con disonore.
Tornò a casa a Los Angeles in tempo per vedere suo padre morire. A 18 anni viveva nei parchi grazie al cibo che riceveva nelle mense di beneficenza, bevendo, sperimentando diverse droghe e leggendo centinaia di romanzi criminali. In quel periodo scoprì il Benzedrix, un inalatore. Invece di assumerlo nel modo più corretto, lo inghiottiva per ottenere uno sballo rapido. Questo medicinale lo portò ai limiti della schizofrenia, mentre l'alcool stava distruggendo la sua salute. Soffrì due volte di polmonite e sviluppò quello che il suo dottore definì "sindrome cerebrale post-alcoolica". Temendo per la sua salute mentale, entrò negli alcoolisti anonimi e si ristabilì. Si guadagnava dei soldi regolari facendo il caddy in un campo di golf e iniziò a sviluppare nella sua testa la trama di un giallo, che in seguito sarebbe diventato Prega detective (Brown's Requiem). Scrive molto sui taccuini, piuttosto che su computer, e prepara delle trame elaborate, lunghe centinaia di pagine, per i suoi libri. Tra gli altri lavori di questo scrittore, ricordiamo Clandestino (Clandestine), L'angelo del silenzio (Killer on the Road), la trilogia di Lloyd Hopkins e quella del mondo della malavita americana.
Nel 1987, Ellroy entrò nel mondo del cinema, quando il suo romanzo Indagine ad alto rischio (Cop) venne trasformato in una sceneggiatura. Diversi altri suoi lavori sono stati portati sul grande schermo, tra cui L.A. Confidential, interpretato da Kim Basinger, Kevin Spacey e Russell Crowe, e The Black Dahlia, con protagonisti Aaron Eckhart, Scarlett Johansson e Hilary Swank.
Tra poco, Ellroy realizzerà l'adattamento del romanzo di Nicci French Una stanza nel buio (Land of the Living) con Alessandro Camon alla regia.