Gómez nació en la República Dominicana, en Baní, provincia de Peravia. Originalmente, Gómez habia ido a Cuba como oficial de caballería del Ejército Español pero en Cuba vio cosas que le hicieron cambiar de opinión. El trato que recibían los esclavos y las injusticias cometidas en Cuba le produjeron una impresión tan fuerte que en 1868 se pasó al lado de los rebeldes. Él dio a los mambises su más temida táctica: la carga al machete. Esta táctica se hizo popular muy rápidamente pues los cubanos siempre tenían escasas municiones, normalmente disparaban una vez y con el grito de ¡A degüello! cargaban contra el enemigo.

Gómez fue herido en el cuello en en 1875 mientras cruzaba la línea fortificada conocida como: "La trocha de Júcaro a Morón". Esta trocha se extendía desde Júcaro en el sur hasta Morón en el norte. Después de eso siempre usó un pañuelo en el cuello. Su segunda herida fue en 1896 en las áreas rurales alrededor de La Habana. Recibió dos heridas en 15 años de guerra de guerrillas contra un enemigo muy superior en número y armas. En contraste, su segundo el general Antonio Maceo, fue herido 27 veces en el mismo tiempo (la número 26 fue la herida mortal). En el mismo incidente murió Francisco Gómez Toro (Panchito) el hijo de Gómez mientras trataba de recuperar el cuerpo de Maceo el 7 de diciembre de 1896.

Al final de la guerra del 95, en 1898, Gómez se retiró a una villa fuera de La Habana. Se negó a ser un candidato para las elecciones presidenciales del 1901 pues sentía que, habiendo nacido en la República Dominicana, no tenía derecho a ser el presidente de Cuba.

El Generalísimo, como se le conocía en Cuba, murió en su villa en 1905.