Nació en Dalías, Almería el 22 de julio de 1864. Fue el primogénito de doce hermanos. Sobrevivieron cinco. Sus padres, agricultores, llevaron a la práctica ese rasgo de piedad tan fecundo que difundiría el padre Patrick Peyton hacia mediados del siglo XX con el lema: «La familia que reza unida, permanece unida». Anticipándose a este apóstol del santo rosario, la familia Rubio lo rezaba devotamente todos los días. En ese ambiente de tierna devoción a María, el pequeño amasaba los umbrales de una vida santa: humildad, sencillez, amor a Cristo, abnegación, obediencia, espíritu de sacrificio, generosidad. Inclinado a adorar al Santísimo Sacramento si veía la Iglesia cerrada pedía la llave para encontrarse con Cristo. Estudió en los seminarios de Almería, Granada y Madrid. En los dos primeros instado por sendos tíos sacerdotes. Estando en Granada su profesor de teología fundamental, canónigo de la catedral, Joaquín Torres Asensio, percibiendo sus cualidades humanas y espirituales se convirtió en su sombra durante un cuarto de siglo. Persona de fuerte carácter y decisión, muy influyente y con recursos, rigió la vida de José María en todos los aspectos. Éste vivió con discreción y prudencia su ruptura con el prelado granadino por desavenencias, trasladándose a Madrid en 1886 como fiel compañero suyo. Joaquín había ganado allí una canonjía. Entonces el santo se integró en el seminario de la capital.
Se ordenó en 1887. Los destinos a los que partió, como vicario en Chinchón, donde fue capellán de las clarisas dos años, párroco en Estremera, y finalmente su traslado a Madrid, todo fue dirigido por el P. Joaquín. Lo que éste no consiguió es que aprobara las oposiciones a canónigo, pero sí lo colocó como profesor de latín, filosofía y teología pastoral en San Dámaso. La obediencia de José María, que jamás le costó, estaba guiada por la consigna: «hacer lo que Dios quiere, querer lo que Dios hace». La actividad docente le produjo agotamiento. Y su mentor no ahorró esfuerzos para que se repusiera. Lo tuvo en su casa de Segovia, y al no mejorar fue con él a Cerdedilla, Mondariz, termas de Gándara, Troncoso, costas de Portugal y Lourdes. Luego lo situó como notario en el arzobispado y capellán de las Bernardas. Quince años de servicio en estas misiones. Mientras, formaba en las verdades de la fe a los pobres, a los enfermos y se curtía en la confesión de la que fue auténtico maestro. Peregrinaron a Tierra Santa en 1904, pasaron por Roma y vieron a Pío X. En su corazón guardaba celosamente el sentimiento de ser jesuita. Su padre no vio con buenos ojos este deseo. Tampoco Joaquín, quien intervino evitando que el superior de la Orden lo acogiera en Granada, mientras vivieron allí. Temía perder a una persona que juzgaba vital para él por sus dotes naturales y virtud. Así que cuando éste murió en 1906, José María ingresó en el noviciado de Granada. Notificó a su familia la decisión y cedió la cuantiosa herencia que le legó el canónigo al seminario de Teruel, ciudad de la que fue oriundo. Pasó por Sevilla en 1909 coincidiendo con Francisco de Paula Tarín y Tiburcio Arnaiz, y desempeñó diversas misiones, entre otras la confesión y la asistencia a los enfermos. Todas las noches oraba ante el Santísimo junto a integrantes de la Adoración nocturna.
Estaba en Manresa cuando su antiguo maestro de novicios José María Valera, que era el provincial y conocía su grandeza, lo llamó a Madrid. Allí su fama de confesor se afianzó. Los penitentes veían en sus sencillas y claras palabras, desprovistas de afectación, la voz de un hombre de Dios que no hacía concesiones a un bien menor y que no dudaba en exigir a todos la radicalidad evangélica. Se tomaba todo el tiempo que fuera preciso. Les animaba a realizar los ejercicios espirituales, a saborear las bendiciones de la oración, a realizar un examen de conciencia y asumir las contingencias del día a día por amor a Dios. La intensidad de su apostolado se bifurcó en diversas vías: confesión, misiones populares, predicación, catequesis… Los populosos barrios de Cuatro Caminos, Puente de Vallecas, la Ventilla, Entrevías, el Matadero, en particular los jóvenes y los niños, se habían familiarizado con su presencia y acción caritativa. Puso en marcha escuelas dominicales en Mesón de Paredes, y los «traperos» comenzaron a sentir cerca a Cristo.
Sus superiores constataron sus dotes organizativas y le confiaron la Guardia de honor del Sagrado Corazón en el transcurso del Congreso Eucarístico Internacional realizado en Madrid en 1911. Consciente de lo que significa que haya sagrarios abandonados, impulsó las Marías de los Sagrarios, aunque no fue su fundador, y participó en la institución de las Damas Apostólicas del Sagrado Corazón. Quiso crear la Obra de los discípulos de San Juan. Con la Hora Santa suscitó auténticas transformaciones espirituales. Las gentes acudían en masa a escuchar sus sermones. Con su acostumbrada forma de hablar, despojado de todo artificio, dejaba traslucir su gran vida interior. Tuvo que luchar con el juicio de algunos presbíteros que no veían bien sus incursiones en los suburbios de la capital donde moraba la ruina y se aglutinaban toda clase de desechos humanos. Las murmuraciones y envidias pretendían clavarse en su corazón como cuchillos hirientes, pero no lo lograron. Era más fuerte su combate interno. En 1917 atravesó una crisis de escrúpulos que le causó mucho sufrimiento. Ante las humillaciones e incomprensiones, decía: «No sé cómo me ve Dios. Seguro que mal, me temo. Rezad por mí. Camino lleno de confusión al ver el estado de mi alma. Mis amigos conseguirán que Jesús tenga misericordia de mí». Siempre dijo que quería morir un primer jueves de mes. Y Dios se lo concedió. Le habían diagnosticado una angina de pecho, y falleció el 2 de mayo de 1929. Por su acción apostólica imparable fue denominado «padre de los pobres», y tras su fallecimiento «apóstol de Madrid». Juan Pablo II lo beatificó el 6 de octubre de 1985, y lo canonizó el 4 de mayo de 2003.
