Lasciata la città natale all'età di nove anni, Joseph Evans Brown si unì a una compagnia di acrobati chiamata "Five Marvellous Astons", con la quale andò in tournée negli Stati Uniti sfruttando la propria abilità atletica in spettacoli circensi, e frequentando il circuito del vaudeville. In seguito tornò in Ohio dove si dedicò al baseball, ma un infortunio a una gamba lo costrinse a rinunciare a un contratto con i New York Yankees. Ripresa la carriera artistica, Brown divenne un divo del vaudeville e del genere burlesque, debuttando a Broadway nel 1918 con lo show "Listen Lester", cui seguirono "Jim Jam Jems", che fece di lui un divo del palcoscenico, "Greenwich Village Follies" e "Captain Jinks".
Nel 1928 approdò al cinema e l'anno successivo firmò un contratto con la casa produttrice Warner Bros, dove si specializzò nel genere comico, diventando un caratterista. In seguito a un declino della sua carriera, nel 1956 fece un'apparizione straordinaria ne ll giro del mondo in ottanta giorni, nella parte di un capostazione di una cittadina del Nebraska, e poi interpretò il ruolo per cui è maggiormente ricordato: l'ingenuo milionario Osgood Fielding II che nella celebre commedia A qualcuno piace caldo (1959) di Billy Wilder si innamora di Daphne/Jack Lemmon e scoprendone la vera identità sessuale alla fine del film pronuncerà la celebre frase "Nessuno è perfetto".