Nació en Pisa el 28 de octubre de 1876.
Pronto sus padres se separaron, dejándolo con una profunda nostalgia que se reflejó en toda su vida. Sin embargo, mantuvo contacto con ambos padres y logró reconciliarlos en la víspera de su muerte. Cursó estudios superiores en Pisa, donde conoció al erudito católico Giuseppe Toniolo.
Aunque obstaculizado por su padre, en 1898 ingresó en los frailes Carmelitas Descalzos y emitió sus votos con la profesión religiosa en diciembre de 1899. En 1901 fue ordenado sacerdote.
Fue nombrado consultor del entonces "Santo Oficio" como coadjutor y sucesor del obispo carmelita Mons. Steiaert. A esto siguió el nombramiento de visitador de algunas diócesis y seminarios. El 25 de mayo de 1920 fue consagrado obispo. Fue el Papa Benedicto XV quien lo eligió personalmente como obispo de Volterra. Hizo todo lo posible para declinar el nombramiento recurriendo al mismo Pontífice, aduciendo como dificultad su condición de religioso poco preparado para tan elevada tarea. Sus razones, sin embargo, no sirvieron de nada, frente a la voluntad resuelta del Papa. En la ciudad toscana, la actividad de Rossi se dirigió principalmente al cuidado del seminario y de los nuevos sacerdotes, convencido, como estaba, de la necesidad de sacerdotes preparados para el nuevo siglo.
Trasladado a Roma como asesor del Consistorial, como se llamaba la actual Congregación de Obispos, y nombrado arzobispo titular de Tesalónica, se le asignaron otros cargos delicados: consultor de seminarios de estudio, secretaría de estado, de los religiosos, de los ritos. El Papa Pío XI, tras la conclusión positiva del concordato entre la Santa Sede e Italia, quiso premiarlo en 1930 con la concesión de la púrpura cardenalicia.
A los pocos meses fue nombrado secretario del Consistorial. A pesar de sus funciones en la curia, Rossi se esforzó al máximo por conservar la vida ascética propia de los Carmelitas Descalzos. Los encargos de los Pontífices Pío X, Benedicto XV, Pío XI y Pío XII fueron múltiples y numerosos, en particular la Congregación para las Causas de los Santos. En estos años también se dedicó al cuidado de los emigrantes. Este interés nació, en particular, cuando fue nombrado consejero del Consistorial y tuvo la tarea de seguir la congregación religiosa de los Scalabrinianos fundada por el Beato Giovanni Battista Scalabrini. Este nació dentro de la Iglesia para la formación de misioneros encargados de la asistencia espiritual de los emigrantes en diferentes partes del mundo. La recién nacida congregación scalabriniana sufría cierta crisis y él trató de trabajar para revivirla.
Su intervención fue tan eficaz que se le consideró casi un segundo fundador de la congregación. Esta actividad socio-caritativa se desarrolló durante el período bélico, cuando, a través de los órganos pontificios del POA y la ONARMO, debía ocuparse de la asistencia a los desplazados. Esta intensa actividad caritativa parecía reconciliar a los ojos de la mayoría este hombre ascético de la curia, con la enseñanza de su maestro, el sociólogo Giuseppe Toniolo.
En agosto de 1948, debido al empeoramiento de algunas enfermedades, acudió a Crespano del Grappa a los religiosos scalabrinianos esperando una recuperación general favorecida por el clima y el contacto con la naturaleza.
Murió la noche del 16 y 17 de septiembre de 1948 a la edad de 71 años.
Actualmente el proceso de beatificación y canonización por la "vida, virtud y fama de santidad" está en fase de estudio en la Congregación para las Causas de los Santos.
