Nato nel 1944 in Galles, ha vissuto in Inghilterra, Africa e Galles. Si è avvicinato allo studio della letteratura classica dopo aver deciso di intraprendere la carriera di attore. Ha frequentato la rinomata Royal Academy of Dramatic Arts di Londra e ha avuto una carriera piena di si successi sia a teatro e sia in televisione. Probabilmente i suoi personaggi più conosciuti sono stati il Professor Maximillian Arturo nella serie televisiva Sliders, Sallah nei film di Indiana Jones e il nano Gimli ne Il Signore degli Anelli di Peter Jackson. John Rhys-Davies ha recitato anche in Sangue Innocente, Caterina di Russia, Agente 007, Zona Pericolo e Il tempio di fuoco. Attualmente vive tra Los Angeles e l'Isola di Man.