Il premiato attore greco-americano è famoso per il suo ritratto del patriarca della famiglia Gus Portokalos grande consumatore di Vetril nel film di successo Il Mio Grosso Grasso Matrimonio Greco. Prima della sua apparizione in questo film e nella successiva serie televisiva basata sul film, viene affettuosamente ricordato per la sua interpretazione di Principal Seymour Kaufman nella serie Room 222, per la quale ha vinto un Emmy Award per Outstanding Performance by an Actor in a Supporting Role in a Comedy nel 1970. Nel 1971, ha ricevuto una nomination ai Golden Globe come Miglior Attore Non Protagonista-televisivo per lo stesso ruolo.
Nato come Constantine Joanides a Reading, in Pennsylvania, dai genitori greci Andromache (Fotiadou) e Theoharis Ioannides, alla domanda 'da chi ha preso l'accento greco per il film?', ha risposto: "Da mia madre". Nonostante l'accento americano della Pennsylvania, ha interpretato un tedesco, un italiano, un russo, un irlandese e, sorprendentemente, un capo polinesiano ed un Okinawa con un accento giapponese in The Lloyd Bridges Show. L'attore ha debuttato a Broadway come parte del cast dell'opera di successo Inherit the Wind, al National Theatre il 21 aprile del 1955, concluso dopo 806 rappresentazioni. Durante il suo impegno, Constantine è stato scelto dal produttore Herman Shumlin come sostituto della star, Paul Muni. La sua apparizione successiva a Broadway è stata in Compulsion, una drammatizzazione del caso giudiziario Leopold e Loeb, in cui originariamente era stato scelto per il rivenditore clandestino di alcolici Al, l'avvocato difensore Jonathan Wilk e il Dr. Ball. Il giorno antecedente la prima dello spettacolo, la star Frank Conroy ha avuto un attacco di cuore. Constantine, pur non essendo il sostituto di Conroy, decise, in accordo con il produttore, di sostituirlo. Dal 1957 al 1958, lo spettacolo ha avuto una modesta affluenza con 140 spettacoli all'Ambassador Theatre. Il 19 ottobre 1959, Constantine ha fatto parte del cast di apertura serale della famosa opera The Miracle Worker, nel ruolo di Anagnos. Lo spettacolo è andato in scena per 719 repliche al Playhouse Theatre. La corsa a Broadway di Constantine è terminata con la messa in scena di Tony Richardson della meditazione di Bertolt Brecht sull'ascesa di Adolf Hitler, The Resistible Rise of Arturo Ui. Constantine ha interpretato il personaggio Dogsborough a sostegno dell'Arturo Ui di Christopher Plummer.

Il cinema
Ha debuttato sul grande schermo ne Lo Spaccone (The Hustler), interpretato da Paul Newman. E' apparso nelle serie televisive di tipo antologico come Armstrong Circle Theatre e Play of the Week. Ha fatto numerose apparizioni nella serie televisiva The Untouchables. Constantine è stata una presenza fissa nella serie televisive Hey, Landlord. Agli anni di Room 222 sono seguiti un ruolo nella serie di breve durata Sirota's Court, per il quale ha ricevuto la sua seconda nomination ai Golden Globe come Miglior Attore In Una Serie Televisiva-Commedia o Musical nel 1977.
La sua filmografia include: Se è Martedì, Deve Essere Il Belgio, Come ti dirotto il jet, L'assistente sociale, Arrivederci Maggie Cole, Il valzer dei disertori, L'esca, The Night That Panicked America, La setta del terrore, Ricercate Etta Place, Il mio soldato tedesco, L'occhio del male, Il giurato e, nel già citato enorme successo del 2002 Il mio grosso grasso matrimonio greco. Nel 2016, ben quattordici anni dopo il primo, torna al cinema nel sequel Il mio grosso grasso matrimonio greco 2.
Constantine vive a Los Angeles, dove è considerato uno degli attori più rispettati ed amati di Hollywood.