Da piccolo Roy è un grande appassionato di sport, in particolar modo di baseball e boxe (il naso storto è un ricordo di un colpo che glielo ha rotto durante una gara ai Golden Gloves), ma in seguito appende i guantoni al chiodo quando scopre il teatro e inizia a frequentare i corsi di recitazione sia alla Rutgers University che al Franklin and Marshall College. Dopo aver prestato servizio nell'esercito, Scheider appare al New York Shakespeare Festival e vince l'Obie Award con lo spettacolo "Stephen D".
Nel 1964 esordisce al cinema con l'horror The Curse of the Living Corpse al quale fanno seguito Star! (1968), Paper Lion (1968), Stiletto (1969), Loving, gioco crudele (1970) e Mannequin Frammenti di donna (1970), film che però non lo mettono in luce. Nel 1971 arriva all'attenzione del pubblico con il ruolo di Frank Ligourin in Una squillo per l'ispettore Klute di Alan J. Pakula, con Jane Fonda e Donald Sutherland, e lo stesso anno ottiene una nomination all'Oscar vestendo i panni del detective Buddy 'Cloudy' Russo nel poliziesco Il braccio violento della legge, che gli porta il ruolo del detective Buddy Manucci nel poco apprezzato Squadra speciale (1973). Neanche ne Lo squalo (1975) Scheider si scrollerà di dosso la parte di "uomo della legge"; come capo di polizia della cittadina marittima Amity, Scheider/Martin Brody tornerà anche nel sequel Lo squalo 2 (1978), ma prima di salvare gli abitanti di Amity dall'attacco degli squali, interpreta un agente della CIA ne Il maratoneta (1976), con Dustin Hoffman. Finalmente nel 1979 si allontana dal solito ruolo impersonando Joe Gideon nel semi autobiografico film di Bob Fosse All That Jazz - Lo spettacolo comincia (1979), premiato a Cannes e vincitore di quattro Oscar (montaggio, scenografia, costume, adattamento musicale), che fa guadagnare a Scheider una seconda nomination all'Oscar.
Continua a recitare sia in ruoli da protagonista che di minor rilievo per tutti gli anni '80 e '90 partecipando anche alla serie televisiva SeaQuest DSV per ben 47 episodi tra il 1993 e il 1995. Ha lavorato nella pellicola italiana Texas '46 (2002) di Giorgio Serafini, con Luca Zingaretti.
Il 10 febbraio 2008 è deceduto nell'ospedale dell'Università dell'Arkansas.