Nació en Fontiveros cerca de Ávila, un pueblo de Castilla la Vieja, en España, en 1542. El padre, Gonzalo de Yepes, fue echado de su casa y desheredado por casarse con una pobre tejedora de seda, Catalina Álvarez. Habiendo perdido a su padre a una edad temprana, se vio obligado a mudarse de ciudad en ciudad con su trabajadora y laboriosa madre para poder sobrevivir, teniendo que estudiar y trabajar en lugares siempre diferentes.
En el período comprendido entre 1551 y 1559 tuvo una formación cultural y artesanal en el "Colegio de los doctrinos" de Medina del Campo (hoy provincia de Valladolid), adonde se había mudado con su madre. Posteriormente fue carpintero, sastre, pintor y tallador; luego acólito en la Iglesia de la Magdalena, auxiliar de enfermería en el Hospital de la Concepción.
En 1563 ingresó en la Orden Carmelitana. Entre 1564 y 1568 completó sus estudios teológicos y filosóficos en la Universidad de Salamanca. En 1567 fue ordenado sacerdote.
En octubre 1567, conoció a Teresa de Ávila que estaba realizando una reforma del Carmelo. El 9 de agosto de 1568, tras numerosas conversaciones con Teresa de Ávila, partió hacia Valladolid. Ahí permaneció hasta octubre, informándose en detalle sobre la nueva vida reformada; a principios de octubre se trasladó a Duruelo (Segovia), donde convirtió una alquería en el primer convento de Carmelitas Descalzos. El 28 de noviembre, primer domingo de Adviento, inauguró allí la vida reformada; tomó entonces el nombre de Juan de la Cruz.
Entre 1572 y 1577, fue guía espiritual en el monasterio de la Encarnación de Ávila. El 2 de diciembre de 1577, fue encarcelado en la prisión del convento de los Carmelitas Calzados de Toledo. Estuvo encerrado por más de ocho meses, sometido a maltratos físicos, psicológicos y espirituales, encontrando la inspiración para componer algunos de sus más conocidos poemas místicos. Finalmente logró escapar el 17 de agosto de 1578.
En 1591 fue relevado de sus cargos en la orden. Enfermo, el 28 de septiembre marchó a Úbeda (Jaén), donde pasó los últimos meses de su vida. Ahí murió en la medianoche entre el viernes 13 y el sábado 14 de diciembre de 1591 a la edad de 49 años. Desde 1593 sus restos incorruptos descansan en Segovia.
La ceremonia de beatificación se llevó a cabo en 1675. La solemne ceremonia de canonización el 27 de diciembre de 1726. En 1926 se le concedió el título de "Doctor de la Iglesia".