Nato in una famiglia ebraica nel Bronx, studiò drammaturgia alla New School for Social Research di New York e durante la Seconda Guerra Mondiale servì l'esercito nell'aviazione. Nel 1947 fu selezionato da Elia Kazan e Lee Strasberg per l'Actor's Studio, con cui iniziò una carriera in televisione.
Debuttò poi sul grande schermo a trentaquattro anni in Fronte del porto (1954) di Elia Kazan per poi passare al più impegnativo ruolo di uno dei giudici in La parola ai giurati (1957) di Sidney Lumet. Con il suo fisico tarchiato e la faccia da uomo qualunque, si specializzò in ruoli da poliziotto, tra i quali spicca quello del detective Arbogast in Psyco (1960) di Hitchcock. Tra gli altri film da lui interpretati spiccano Cape Fear (sia l'originale del 1962 sia il remake con De Niro), Colazione da Tiffany e Tora! Tora! Tora!, Tutti gli uomini del presidente di Alan J. Paklula e Il colpo della metropolitana (Un ostaggio al minuto) . Fra le sue ultime interpretazioni c'è anche l'apparizione ne Il silenzio dei prosciutti di Ezio Greggio, in cui parodiava se stesso in Psyco.
Nel 1966 vinse il Premio Oscar come migliore attore non protagonista per la sua interpretazione in L'incredibile Murray - L'uomo che disse no.