Di origine italiana, figlio di John Cazale e Cecilia Holland, John era nato a Revere, in Massachusetts. Studiò teatro alla Boston University e subito dopo essersi trasferito a New York iniziò la sua carriera d'attore a teatro e in televisione. Per mantenersi alternava il lavoro sul palcoscenico a quello sulle piattaforme di petrolio per una famosa compagnia petrolifera. Amico di Al Pacino, Cazale esordì al cinema, conquistando pubblico e critica, nella parte di Fredo Corleone ne Il padrino e Il padrino - Parte II entrambi diretti da Francis Ford Coppola, che lo volle anche in La conversazione, insieme a Gene Hackman. Candidato al Golden Globe per la miglior interpretazione nel 1976 per Quel pomeriggio di un giorno da cani, Al Pacino lo ha sempre ritratto come un attore immenso da cui si poteva solo imparare e che riusciva sempre a nascondere se stesso per far recitare meglio gli altri, mentre Francis Ford Coppola ne parla come il vero autore del personaggio di Fredo. Compagno di Meryl Streep con cui ha recitato ne Il cacciatore nonostante la diagnosi di cancro ai polmoni che lo ha condotto a una morte prematura nel 1978. Recentemente è apparso - immagini d'archivio - nel film documentario di Richard Shepard I Knew It was you, in cui il regista ripercorre le tappe della vita dell'attore, mostrando come, pur rimanendo una figura marginale per il grande pubblico, sia stata una personalità fondamentale all'interno della new Hollywood.