Comincia la sua carriera partecipando ad alcune commedie musicali in Scozia. Nel 1916 affronta una tournée negli Stati Uniti e decide di stabilirsi lì, dove comincerà presto a lavorare nel mondo del cinema. Dopo alcune esperienze negli Ince Studios, lavora per Mack Sennett fino al 1923, in film come Married Life (1920), A Small Town Idol (1921) e The Crossroads of New York (1922), nei quali veste spesso il ruolo del riccone elegante e buffo. Nel '23 passa sotto contratto con Hal Roach. Partecipa così a numerosi film comici, come Welcome Home (1925), Ladies' Nigth in a Turkish Bath (1928) e Lady Be Good (1928). Famosi resteranno in seguito i numerosissimi film, sia muti che sonori, che interpreterà accanto a Stan Laurel e Oliver Hardy. Accanto a loro ha sempre interpretato la parte del burbero ometto dagli enormi baffi e dagli occhi strabuzzanti, sempre in lite con i due protagonisti. Fra i tanti ricordiamo i cortometraggi muti Do Detectives Think? (I detectives pensano?, 1927), Sugar Daddies (Ricconi, 1927), The Second Hundred Years (I due galeotti, 1927), Big Business (Grandi affari, 1929), i cortometraggi sonori Men o'War (I due ammiragli, 1929), Another Fine Mess (Un nuovo imbroglio, 1930), Chickens Come Home (I polli tornano a casa, 1931), Me and My Pal (Regalo di nozze, 1933), e i lungometraggi ( ovviamente sonori ) Pardon Us (Muraglie, 1931), The Devil's Brother (Fra Diavolo, 1933), Bonnie Scotland (Allegri eroi, 1935), Way Out West (I fanciulli del West o Allegri vagabondi, 1937), Blockheads (Vent'anni dopo o Stanlio e Ollio teste dure, 1938) e A Chump at Oxford (Noi siamo le colonne, 1940). L'ultima sua apparizione al fianco dei comici in bombetta è del 1940, con Saps at Sea (C'era una volta un piccolo naviglio), film che tra l'altro decreta anche il definitivo divorzio tra la coppia di comici e Hal Roach. Dopo questo film James Finlayson continua a lavorare nel mondo del cinema, interpretando occasionalmente ruoli secondari: la sua ultima interpretazione risale al 1951 in Royal Wedding (Sua altezza si sposa) di Stanley Donen, nel piccolo ruolo di Cabby.