Nato a Oakland, in California, è cresciuto nella vicina città di Hayward con i suoi genitori e una famiglia allargata. Ha giocato a basket al St. Mary's College di Moraga, California (a est di Berkeley), dove si è laureato in Comunicazioni di massa. Al terzo anno, ha iniziato a prendere lezioni di recitazione, mentre al quarto e ultimo ha ottenuto un ruolo nella produzione scolastica di Spunk. L'estate dopo la laurea, ha esordito a livello professionale per una stagione con il California Shakespeare Festival a Orinda, California, dove ha anche lavorato come apprendista. Poco dopo, è stato accettato alla scuola di specializzazione della New York University, dove ha ottenuto un master in recitazione. Mentre era alla NYU, è apparso nelle produzioni di Blues for an Alabama Sky, The School for Scandal, A Lie of the Mind, Casa di bambola (A Doll's House), Monkey in the Middle, Il mercante di Venezia , The New Place e Secret Injury, Secret Revenge. Tra i suoi altri lavori a teatro, ricordiamo l'impegno a Washington nell'Arena Stage come protagonista di The Great White Hope, così come in The Long Walk e Jack and Jill. La sua prima apparizione televisiva è avvenuta nei panni del dottor Trey Sanders nel telefilm Crossing Jordan. In seguito, ha partecipato a serie come N.Y.P.D. , Threat Matrix, CSI: Scena del crimine e Fantasmi . Successivamente, ha ricoperto per tre stagioni il ruolo di Richard Tyler nell'acclamato dramma The 4400. Quest'autunno, apparirà nel film per il piccolo schermo The Wronged Man assieme a Julia Ormond, così come nella prima puntata di Law and Order SVU. Nella sua filmografia, figurano anche Il curioso caso di Benjamin Button di David Fincher e Crossing Over di Wayne Kramer con protagonista Harrison Ford.

Mahershala Ali è diventato in poco tempo uno dei volti più freschi e richiesti di Hollywood, grazie alla sua straordinaria versatilità e grande esperienza nel cinema, televisione e teatro. Nel 2016, grazie al film Moonlight, in cui recita accanto a Naomie Harris, si aggiudica la nomination come miglior attore non protagonista ai Golden Globes e il suo primo premio Oscar. E sempre nel 2016, oltre al film di Gary Ross Free State of Jones, Ali appare nel film Kicks, premiato al Festival del Film di Los Angeles, la storia di un ragazzo che crede che le proprie scarpe lo aiuteranno a fuggire dalla realtà della miseria.

Nel 2019 vincerà il suo secondo Oscar come miglior attore non protagonista grazie a Green Book di Peter Farrelly.
Ali è inoltre nel cast della serie tv Luke Cage, nel ruolo di Cornell "Cottonmouth" Stokes. Stokes è invischiato in attività criminali ed è il proprietario di un night di Harlem. Luke cerca di smascherare le sue attività criminali e diventa per questo il suo principale avversario. Nel cast accanto ad Ali troviamo Mike Colter, Rosario Dawson e Alfre Woodard.
Nel 2015 ha interpretato Boggs nel quarto e ultimo episodio della fortunata serie di Hunger Games, accanto a Jennifer Lawrence, Donald Sutherland e Julianne Moore. Boogs, a capo della sicurezza del Distretto 13, guida e protegge Katniss (Lawrence) nelle battaglie finali della rivolta dei distretti contro The Capitol.
Ha partecipato anche a House of Cards, dove interpreta il lobbysta Remy Danton, che arriva a diventare capo dello Staff nella quarta stagione.
I suoi film precedenti includono Come un tuono di Derek Cianfrance con Ryan Gosling e Bradley Cooper, Crossing Over di Wayne Kramer con Harrison Ford, Go for Sisters di John Sayles e Il curioso caso di Benjamin Button di David Fincher.
In Tv è apparso insieme a Julia Ormond in The Wronged Man di Lifetime, per il quale ha ricevuto una nomination come miglior attore per NAACP Awards. Appare in Alphas, così come nel drama The 4400, dove interpreta per 4 stagioni il ruolo di Richard Tyler, un pilota di guerra coreano. A teatro Ali è apparso in molte produzioni: "Blues for an Alabama Sky", "The School for Scandal", "A Lie of the Mind", "A Doll's House", "Monkey in the Middle", "The Merchant of Venice", "The New Place", e "Secret Injury" and "Secret Revenge". Ha lavorato inoltre in "The Great White Hope" rappresentato all'Arena Stage di Washington, in "The Long Walk" e "Jack and Jill". Ha recentemente recitato nello spettacolo off-Broadway "Smart People", per cui ha ricevuto ottime critiche.
Originario di Hayward in California, Ali ha preso il diploma di laurea in Arte al St. Mary's College. Il suo debutto professionale è avvenuto nel California Shakespeare Festival in Orinda, California. Successivamente ha preso un Master in recitazione presso la prestigiosa New York University.