Nato nella città di Dayton, in Ohio, Grimes studia in una scuola religiosa per volere del padre, un pastore pentecostale. Dopo il diploma, però, si trasferisce a New York per studiare presso l'American Academy of Dramatic Arts.
Il ruolo che lo rende famoso è sicuramente quello di Ryan Lafferty nella serie della ABC Brothers & Sisters - Segreti di famiglia. Entra nel cast della serie nel 2009, per poi diventare un personaggio regular nel corso della quarta stagione.
Al cinema lo vediamo al fianco di Bruce Willis e Mischa Barton nel film del 2008 The Assassination - Al centro del complotto e nel 2012 recita con Liam Neeson nel thriller Taken 2 - La vendetta. Nel 2013 entra nel cast della serie True Blood, con il ruolo del vampiro James. Ruolo che viene affidato nella settima stagione a Nathan Parsons, a causa delle divergenze creative che Grimes ha con i creatori della serie. Nel 2014 è protagonista della commedia drammatica Squatters e interpreta Marc Lee nell'ultimo film di Clint Eastwood American Sniper. Nel 2015 interpreterà i fratello di Jamie Dornan/Christian Grey nell'adattamento cinematografico di Cinquanta sfumature di grigio, seguito due anni dopo da Cinquanta sfumature di nero. Fa inoltre parte del cast de I magnifici sette, accanto a Denzel Washington, Chris Pratt, Ethan Hawke e Vincent D'Onofrio.