Nasce a Marsiglia il 25 settembre 1934 con il nome di Jean de Combault-Roquebrune: il cognome preso dal padre, un marchese francese, rivela le sue nobili origini.
Intraprende gli studi diplomatici all'Ecole Normale Supérieure e si avvicina all'arte per caso, sostituendo in un'opera teatrale un amico attore che si era infortunato. Alla tournée teatrale seguono due anni e mezzo di servizio militare, al termine dei quali Sorel decide di dedicarsi a tempo pieno alla recitazione. Il regista Michel Gast, colpito da una sua fotografia, decide di scritturarlo, e gli offre un ruolo secondario in J'irai cracher sur vos tombes (1954).
Il debutto cinematografico è però con Les Lionceaux di Jacques Bourdon, che gli apre la strada del successo. Sorel lavora con registi del calibro di Luis Bunuel e Sidney Lumet, prosegue la sua carriera in patria, recitando in film di Yves Allégret, Roger Vadim e Jean Aurel, e instaura un legame privilegiato con l'Italia, dove lavorerà continuativamente fino alla fine della sua attività cinematografica.
Ottiene ruoli importanti nei film di cineasti come Dino Risi, Mauro Bolognini e Carlo Lizzani, ma accetta al tempo stesso di recitare in pellicole mediocri, film comici e erotici di scarsa qualità, che non nettono certo in risalto le sue capacità espressive. Sarà un altro italiano, il regista Luchino Visconti, a consacrare il suo nome nel firmamento del cinema, legandolo indissolubilmente alla sconcertante interpretazione del fratello incestuoso in Vaghe stelle dell'orsa (1964).
Negli anni Ottanta inizia a dedicarsi quasi esclusivamente alla televisione, recitando in film per la tv e miniserie. Vive a Parigi con la moglie, l'attrice italiana Anna Maria Ferrero, che ha sposato nel 1962.