Nació en Chattanooga, Tennessee, hijo de Bill y Ruth Piper. Su padre era un evangelista y plantador de iglesias. Cuando él y su hermana mayor eran aun jóvenes, los Piper se mudaron a Greenville, Carolina del Sur, donde pasó el resto de su juventud y se graduó en la preparatoria Wade Hampton.
Se casó con Noël Henry en 1968, y juntos tienen cuatro hijos, una hija, y doce nietos.
Estudió Literatura y Filosofía en Wheaton College. Después de la Universidad, completó una Licenciatura en Teología en el Seminario Teológico Fuller, en Pasadena California.
Fue a través de Daniel Fuller que descubrió los escritos de Jonathan Edwards.
John Piper hizo un doctorado en Estudios del Nuevo Testamento, en la Universidad de Munich, Alemania.
En 1980, John Piper se convirtió en el Pastor de la Iglesia Bautista de Belén, en Minneapolis, Minnesota dónde ha estado ministrando desde entonces.