Nace el 7 de junio de 1928 en Berkeley (California). Su primera película es Shakespeare Wallah, rodada en 1965.

Enlazando producciones independientes durante los años setenta, James Ivory empieza a explorar su reflexión sobre el choque de las civilizaciones. Su trabajo en Quartet  asegura al cineasta una cierta notoriedad ya que Isabelle Adjani recibe un premio por su papel protagonista en la película. En 1983, Oriente y Occidente es una nueva variación sobre el tema de la confrontación entre este y oeste, pero es con Una Habitación con Vistas cuando el director llega por fin al gran público.

En 1992 y 1993, James Ivory rueda Regreso a Howards End  y Lo que Queda del Día, que reúnen a la pareja formada por Anthony Hopkins y Emma Thompson. Después de Jefferson en París  y Sobrevivir a Picasso, el director vuelve a las evocaciones del pasado que lo han llevado al éxito con La Hija de un Soldado nunca llora  y La Copa de Oro. En la mayoría de sus películas, trabaja con sus dos fieles colaboradores, el productor Ismail Merchant y la guionista Ruth Prawer-Jhabvala.

Lejos de las pantallas desde el año 2000, el director regresa en 2002 con la comedia Le Divorce, protagonizada por Naomi Watts y Kate Hudson y presentada en el festival de Deauville de 2003.