Estudió piano con Vicente Scaramuzza, también maestro de Osvaldo Pugliese. Debutó en 1928 en la orquesta de Alfredo Calabró.
En sus primeros años actuó junto a Miguel Caló, Manuel Buzón y Anselmo Aieta. Fue amigo cercano de otro gran músico del tango, el violinista Alfredo Gobbi (hijo), quien le dedicó un tango que lleva su nombre. En la orquesta de Buzón conoció a Aníbal Troilo, con quien se reencontró en 1936 en la orquesta de Juan Carlos Cobián. En 1937 Goñi influyó decisivamente para que Aníbal Troilo formara la orquesta que lo volvió famoso, en la que se desempeñó él mismo como pianista, e impusiera su estilo moderno y "evolucionista".
Orlando Goñi tocó con Troilo durante seis años y participó en 71 grabaciones. En septiembre de 1943 abandonó la orquesta para formar su propio conjunto.
La Orquesta Típica de Orlando Goñi debutó el 1 de diciembre de 1943 en el café El Nacional, con un extraordinario éxito, que convocó a 25000 personas en dos semanas. El diario El Mundo lo denominó entonces como el Mariscal del Tango y Radio Belgrano lo contrató para actuar para la emisora en 1944. Entre los cantantes de la orquesta de Orlando Goñi se destaca Francisco Fiorentino, uno de los más importantes cantantes de tango de todos los tiempos.
En ese momento, cuando Goñi aparecía como uno de los más importantes representantes de la Edad de Oro del tango, falleció cuando contaba apenas 31 años, como consecuencia de los excesos de la vida bohemia, en Montevideo, el 5 de febrero de 1945, en la casa de su amigo el bandoneonista Juan Esteban Martínez.
Orlando Goñi se destacó, principalmente, por su estilo pianístico, caracterizado por un sonido clarísimo, nervioso y milonguero, con una mano izquierda marcando firme los bajos y una derecha de fraseo delicadísimo, comparable al que desarrolló Troilo en el bandoneón. Según Astor Piazzolla (quien tocó junto a él en la orquesta de Troilo), su forma de tocar el piano marcó el sonido de los primeros años de la orquesta de Troilo.
Algunos cultores del género sostienen que Goñi modernizó el tango, inspirándose en Julio de Caro y utilizando elementos del jazz, como la síncopa y el swing
