Su historia es conocida por muchos, en especial por su rechazó a recibir sueldo de vicepresidente, porque consideraba que estaba mal cobrar por algo para lo que el pueblo lo había elegido.

El primer registro de su actuación política data en la revolución radical del 4 de Febrero de 1905 cuando intentó derrocar al presidente Manuel Quintana. Fue la primera vez que fue preso.

Electo Hipólito Yrigoyen como presidente de la Nación se desempeñó como ministro de Guerra entre 1916 y 1918 y como jefe de Policía de la Ciudad de Buenos Aires entre 1918 y 1921. En este último año fue elegido presidente de la Unión Cívica Radical.

En 1922 fue elegido vicepresidente de la Nación acompañando a Alvear y en 1928 durante la segunda presidencia de Hipólito Yrigoyen fue ministro del Interior hasta el golpe militar del 6 de septiembre de 1930 y terminó preso por 2 años en la Penitenciaría Nacional.

Ya en libertad las penurias económicas lo acompañaron cada día. Elpidio González llevaba una larga barba blanca, traje oscuro, y recorría comercios amigos entregando anilinas. Vivía en una pensión en la Avenida de Mayo (la misma que había ocupado siendo joven) ya que la habían rematado la casa.

Germán Ortkras, el fundador de Anilinas Colibrí, le ofreció pagarle la jubilación correspondiente a vicepresidente de la República y González se negó enérgicamente, aunque aceptó trabajar para la empresa y puso como condición no ganar más que los jefes.

Al trabajo iba en tranvía y eran usuales las discusiones ya que no le querían cobrar el boleto. La empresa estaba en Álvarez Thomas y Elcano y lo habían nombrado a cargo de la oficina de morosos incobrables.

Fue el presidente de la Nación Agustín P. Justo el que al enterarse de su precaria situación económica, envió a su secretario a entregarle dinero. Elpidio González lo rechazó y contó "Tuve que ponerme muy serio y decirle que no iba a permitir que me ofendiera así el Presidente ni nadie, por más buena voluntad que hubiera de por medio. No esperaba esta recompensa, ni la deseo"

Lo que no pudo evitar fue que el diputado Adrián Escobar elaborase un proyecto de jubilación vitalicia para presidentes y vicepresidentes que en 1938 se aprobó como ley.

Elpidio González se ocupó de enviar una carta al presidente Marcelino Ortiz rechazando esa pensión: "Habiendo sido promulgada la Ley que concede una asignación vitalicia a los ex Presidentes y Vicepresidentes de la Nación, cúmpleme dejar constancia al señor Presidente, en su carácter de 'jefe Supremo de la Nación, que tiene a su cargo la Administración General del País', de mi decisión irrevocable de no acogerme a los beneficios de dicha Ley".

"Al adoptar esta actitud sigo íntimas convicciones de mi espíritu. Entregado desde los albores de mi vida a las inquietudes de la Unión Cívica Radical, persiguiendo anhelos de bien público, jamás me puse a meditar, en la larga trayectoria recorrida, acerca de las contingencias adversas o beneficiosas que los acontecimientos podían depararme. No esperaba, pues, esta recompensa, ni la deseo y, al renunciarla, me complace comprobar que estoy de acuerdo con mis sentimientos más arraigados", siguió.

"Confío en que, Dios mediante, he de poder sobrellevar la vida con mi trabajo, sin acogerme a la ayuda de la República por cuya grandeza he luchado y que, si alguna vez, he recogido amarguras y sinsabores me siento recompensado con creces por la fortuna de haberlo dado todo por la felicidad de mi Patria. Saludo al Señor Presidente", concluyó.

Falleció el 18 de octubre de 1951, fue velado en el comité de la UCR y enterrado en el Panteón de los caídos de la Revolución del '90, junto a su amigo Yrigoyen.