Né à Fontiveros, près d'Avila, un village de la vieille Castille espagnole, en 1542. Son père Gonzalo de Yepes est chassé par sa famille et déshérité pour avoir épousé une pauvre tisseuse de soie, Catalina Álvarez. Orphelin de père dès son plus jeune âge, il doit se déplacer de ville en ville avec sa mère, active et travailleuse, pour subvenir à leurs besoins. Il est ainsi amené à étudier et à travailler en différents lieux.
Entre 1551 et 1559, il reçoit une formation culturelle et professionnelle au "Colegio de los doctrinos" de Medina del Campo (aujourd'hui dans la province de Valladolid), où sa mère s'était installée. Il exerce les métiers de charpentier, tailleur, peintre et sculpteur, puis acolyte de l'église de la Madeleine, commis et aide-soignant à l'hôpital de la Concepción.
En 1563, il entre dans l'Ordre des Carmes. Entre 1564 et 1568, il fait ses études théologiques et philosophiques à l'Université de Salamanque. En 1567, il est ordonné prêtre.
En octobre 1567, il rencontre Thérèse d'Avila, qui a entrepris une réforme du Carmel. Le 9 août 1568, après de nombreux entretiens avec Thérèse d'Ávila, il part pour Valladolid où Thérèse doit fonder un monastère de Carmélites déchaussées. Il reste là jusqu'en octobre, s'informant en détail sur le nouveau mode de vie de la réforme. Puis, il se rend à Duruelo (Ségovie), où il aménage une ferme en premier couvent de Carmes Déchaux. Le 28 novembre, premier dimanche de l'Avent, il y inaugure le nouveau mode de vie des frères. C'est à cette occasion qu'il prend le nom de Jean de la Croix.
Entre 1572 et 1577, il est confesseur et conseiller spirituel au monastère de l'Incarnation à Ávila. Le 2 décembre 1577, il est emprisonné au couvent des Carmes chaussés de Tolède. Il y demeure enfermé pendant plus de huit mois, soumis à des mauvais traitements physiques, psychologiques et spirituelles. Cependant, c'est là qu'il trouve l'inspiration pour composer certains de ses poèmes mystiques les plus connus. Il parvient à s'échapper dans la nuit du 17 août 1578.
En 1591, il est démis de ses charges dans l'Ordre. Malade, il se rend le 28 septembre à Úbeda (Jaén), où il passera les derniers mois de sa vie. C'est là qu'il meurt à minuit, dans la nuit du vendredi 13 au samedi 14 décembre 1591, à l'âge de 49 ans. Sa dépouille incorrompue repose à Ségovie depuis 1593.
La cérémonie de béatification a eu lieu en 1675 et celle de sa canonisation le 27 décembre 1726. En 1926, il est déclaré Docteur de l'Église.
