Polito actuó en Broadway en 1977 en la primera representación del clásico teatral American Buffalo, así como en Curse of The Aching Heart (1982), y una nueva versión de La Muerte de Un Viajante estrenada en 1984 (televisada al a?o siguiente por el canal CBS).

En 1982 Jon Polito debutó en el cine con The Clairboyant, y en televisión, haciendo el personaje de Tommy Lucchese en la serie The Gangster Chronicles. Polito es conocido por el gran público sobretodo gracias a sus papeles en dos películas de los hermanos Cohen: el de amable pero cruel mafioso Johnny Caspar en Muerte entre Las Flores, y el repugnante Lou Breeze de Barton Fink. 

Entre sus créditos televisivos cabe se?alar Push, Nevada, Hearts are Wild y muchos otros más.

En cuanto a sus apariciones en largometrajes, destacan sus trabajos en El Sastre de Panamá, Las Dos Caras del Asesino, Mimic 2, 29 Palms, Las Aventuras de Rocky y Bullwinkle, Stuart Little, Rocketeer, y otras películas de Joel y Ethan Cohen como El Gran Salto, El Gran Lebowski y El Hombre Que Nunca Estuvo Allí.