Natural de Alfaro, La Rioja, España, vino al mundo el 9 de abril de 1848. Era el segundo varón y tercero de los seis hijos del sastre Félix Moreno y de su esposa Josefa Díaz. En su infancia ya tenía claro que sería fraile, respuesta que dio a la conocida pregunta que acostumbra a formularse a los pequeños acerca de lo que desean ser de mayores. Ocurrente y simpático solventó en un segundo el comentario jocoso que hicieron en alusión a la estatura, que entonces tenía, porque en su inocencia el despierto muchacho ya presuponía que no habría nada que le impidiese cumplir su sueño: «Me pondré un sombrero de copa para ser más alto». Acompañaba a su madre al rosario de la aurora y compartía la piedad del hogar; fue monaguillo y sacristán de las dominicas. Tenía buenas dotes para la música; se le daba bien el canto y el rasgueo de la guitarra. Sobre todo, anteponía a las suyas las necesidades del prójimo.
En 1864, muerto ya su padre y con una difícil situación económica, siguió los pasos de su hermano Eustaquio, ingresando en el convento de los agustinos recoletos de Monteagudo, Navarra; un año más tarde profesó. Después se dispuso a partir como misionero a Filipinas. La expedición formada por 18 religiosos llegó a Manila en 1870. Allí fue ordenado sacerdote en 1871. Recorrió Palawan, Mindoro y Luzón. A Mindoro había ido junto a Eustaquio engrosando el número de los que debían evangelizarla, desempeñando la misión de vicario provincial de la Orden. Desplegó todo su ardor apostólico, como hizo siempre, hasta que la malaria le obligó a regresar a Manila.
En esa fecunda etapa filipina, alentado por su oración (se le ha considerado «gran orante»), la devoción al Sagrado Corazón de Jesús y a María, una trayectoria llena de ayunos y mortificaciones, dando signos inequívocos de su obediencia y abnegación, ejerció su actividad con tal celo apostólico que las gentes sencillas que habían experimentado su cercanía, disponibilidad y edificante testimonio comenzaron a señalarle como un hombre santo. Amaba la vida comunitaria y cuidaba primorosamente todo lo que contribuía a realzarla, teniendo especial atención por la liturgia. En 1885 en el capítulo provincial fue designado prior del noviciado de Monteagudo y volvió a España. Los tres años que pasó allí, además de formar a los novicios en el espíritu que acostumbraba, y continuar predicando de forma incansable, socorrió a los pobres y afectados por sucesivas epidemias de cólera y viruela, muchas veces a costa de privaciones suyas y de sus hermanos.
En 1888 partió como voluntario a Colombia, integrando un nutrido grupo de religiosos, convencido de que Dios le elegía para esa nueva misión. Y jalonó con su virtud otros cinco fértiles años de vida entregada a Cristo. Iba con el empeño prioritario de restaurar los pilares de la observancia de las comunidades de su Orden. A ello se dedicó hasta 1894 sin dejar de enarbolar la bandera de la fe. Fue prelado de Pinara y vicario apostólico de Casanare, lugar inhóspito que evangelizó pasando por encima de dificultades climatológicas y enfermedades, sin escuchar las voces que trataban de disuadirle para que no llegase hasta allí con el fin de evitarle problemas. A falta de vocaciones, se desvivía multiplicándose, urgido por el amor.
Dejó el lugar con la aflicción del apóstol, en obediencia a su nueva responsabilidad como obispo de Pasto en 1895: «Me retiran de Casanare, padre Manuel, donde tantos méritos para el cielo se pueden adquirir […] y me trasladan a Pasto. ¡Hágase la voluntad de Dios! Aquí, en Casanare estaba con vosotros y vivíamos como en comunidad, por lo que todo se me hacía como fácil y llevadero. ¡Pero allá, en Pasto, qué vida tan distinta se me presenta! Voy solito, y sin ninguno de mis hermanos tendré que vivir allí. Me echo en brazos de Nuestro Señor». Esta designación lo sumió en religiosa duda: «¿Me habré hecho indigno de sufrir por Dios, mi Señor?». Pero no era así. Allí apuró otro de los cálices de su dolor. Era un prelado que vertía en sus cartas pastorales, muy seguidas en esa época, la defensa de aquello en lo que creía, con el único fin de poner en claro los compromisos de un católico, por encima de afiliaciones políticas. Puede que su afirmación: «el liberalismo es pecado», haya sido la más controvertida. Desde luego, ha hecho correr ríos de tinta entre sus críticos y detractores. Fue calumniado, perseguido, humillado…, y hasta vivió el desamparo por parte de sus superiores. También monseñor Federico González Suárez, obispo de Ibarra, terció juzgando la injerencia de Ezequiel en asuntos de aquella diócesis.
El último escalón de su incruento martirio fue un terrible cáncer de nariz diagnosticado en 1905. Con ejemplar fe y entereza, confesó: «Me he puesto en manos de Dios. Él hará su santa voluntad. Hay que descansar en lo que Él quiera hacer. ¡Qué consolador es todo esto!». Por él hubiera seguido junto a sus fieles. Pero sus superiores le recomendaron regresar a España para ser intervenido. Sintió mucho separarse de su diócesis. Quiso unirse a Cristo en su Pasión, y tuvo ocasión de mostrarlo cuando incluso debió ser privado de la anestesia porque así parecía convenir en un momento dado a la cirugía. Las sucesivas operaciones a las que fue sometido, de alto riesgo y escalofriante explicación técnica, las sobrellevó de una forma tal que el personal médico quedó impresionado de tan heroica fortaleza.
El último trecho de este calvario tuvo lugar en el convento de Monteagudo, donde eligió pasar el resto de sus días, junto a la Virgen del Camino. En medio de atroces dolores clavaba sus ojos en la cruz, y así murió el 19 de agosto de 1906. Fue beatificado por Pablo VI el 1 de noviembre de 1975, y canonizado en Santo Domingo el 11 de octubre de 1992 por Juan Pablo II, quien lo ensalzó como insigne misionero y pastor, modelo en el V Centenario de la evangelización de América que se celebraba.