Mentre frequenta ancora il corso di recitazione alla Yale University, Robert Klein prende parte a un'audizione che lo fa entrare nel gruppo di teatro Second City di Chicago.
Negli anni '70 partecipa come ospite a diverse serie televisive, come Comedy Tonight, e recita nei film Il gufo e la gattina (1970) di Herbert Ross, Usanze di allora (1971) di Robert Mulligan, Rivali (1972) di Krishna Shah, Lo zingaro (1975) e Il figlio del gangster (1976) di Josè Giovanni, La gang del Parigino (1977) di Jacques Deray, Collo d'acciaio (1978) di Hal Needham e The Bell Jar (1979) di Larry Peerce, adattamento del romanzo semi-autobiografico di Sylvia Plath.
Nel 1979 Klein riceve una nomination al Tony Award come Miglior attore in un musical per They're Playing Our Song. La sua lunga carriera vanta apparizioni in diversi episodi di serie televisive, e in film come Agenzia salvagente (1994) di Nora Ephron, Prossima fermata Wonderland (1998) di Brad Anderson, acclamato al Sundance Festival, I colori della vittoria (1998) di Mike Nichols e Two Weeks Notice - Due settimane per innamorarsi (2002) di Marc Lawrence, dove interpreta il padre di Sandra Bullock.
Nel 2006 l'attore pubblica l'autobiografia The Amorous Busboy of Decatur Avenue: A Child of the Fifties Looks Back.