Nació en el barrio de Abasto y tenía 4 años cuando la familia se muda al de La Paternal, siempre en la ciudad de Buenos Aires. Le gustó desde chico la música, en especial el piano, pero su padre que era aficionado al tango lo convenció de estudiar bandoneón con un profesor del barrio. Por motivos económicos debió dejar ese estudio y emplearse como obrero, primero en una fábrica de cartón y luego en otra de balancines.

Luego de algunos vaivenes, estudios, formaciones juveniles y hasta el servicio militar, llega un año clave en su carrera: 1944. Osvaldo Pugliese debe reorganizar su orquesta por la partida de los bandoneonistas Enrique Alessio, Quiroga y Osvaldo Roscini y los reemplazó con Caldara, Esteban Enrique Gilardi y Oscar Castagniaro. El mismo Pugliese declaró que la elección de Caldara se debió a su vigorosa personalidad, capaz de arrastrar en la ejecución a los otros bandoneonistas. Con Osvaldo Ruggiero, que ya estaba en la orquesta desde agosto de 1939, Caldara formó una dupla destacada muy apreciada por los seguidores de la orquesta.

​Durante más de 10 años estuvo con Pugliese trabajando en Radio El Mundo, bailes, giras y grabaciones. Entre estas últimas se encontraron sus tangos Patético (1948), Pastoral (1950), Pasional (1951) y Por pecadora (1952). 

A fines de 1954 dejó la orquesta y encaró un nuevo proyecto; había ocurrido que en 1953 mientras estaba ligado a la orquesta de Pugliese fue escuchado tocando en una reunión por la cancionista japonesa Ranko Fujisawa, que además era esposa del la mujer del director de la Orquesta Típica Tokio Shanpei Hayakawa, de visita en Argentina, quien lo invitó a viajar a Japón para formar allá una orquesta. Tras una cuidada selección, la orquesta quedó armada y debutó por Radio Tokio; después actuó en las radioemisoras Nipon, Binca y N.H.K., en el canal de televisión J.O.R.K. y en los teatros Kokusai y Nibiahai e hizo algunas grabaciones, incluyendo los tangos orquestales Lorenzo, de Agustín Bardi y Jueves, de Udelino Toranzo y Rafael Rossi.

Después de un año volvió a Argentina y organizó su propio conjunto, que trabajó entre 1955 y 1960 Debutaron en Radio Splendid iniciando la actuación con el tango El irresistible de Lorenzo Logatti, grabaron en Odeon con las voces de Ledesma y Montalvo y al siguiente año pasaron a actuar en Radio El Mundo.​Sin dejar la dirección de su orquesta, en 1960 integró con el violinista Hugo Baralis, el pianista Armando Cupo y el violinista Kicho Díaz el cuarteto Estrellas de Buenos Aires, que hizo giras por América, actuó en la televisión peruana y realizó algunas grabaciones para Odeon

En la década de 1960 transformó su orquesta asociando a los cantores Ricardo Ruiz y Rodolfo Lesica, pero el primero se separó al poco tiempo no sin antes dejar grabado para la discográfica Music-Hall el tango de Luis Stazo y Federico Silva Mi malacara y yo, cantado a dúo con Lesica, en tanto este registró el tango Mis consejos de Héctor Marcó. El conjunto pasó a llamarse Caldara-Lesica y grabó para la misma discográfica los instrumentales Nochero soy, Mi bandoneón y yo' y La yumba además de los que cantó Lesica: Confesión, Ríe payaso y Por la vuelta.

​Más adelante formó una nueva orquesta con los bandoneonistas Carlos Goliat, Miguel Incardona y Omar Nacir además de él mismo; el contrabajista Fernando Romano; el pianista Rodolfo Mansilla; los violinistas Mario Abramovich, Antonio Agri, Carlos Arnaiz, Mario Grossi, Antonio Magnético, Félix Molino y Fernando Suárez Paz y el violoncelista José Federighi. En 1966 Roberto Echagüe reemplazó a Lesica y durante el año que estuvo antes que lo sustituyera Raúl Funes registró los tangos La novia ausente y Madame Ivonne.

Opina José María Otero que

 “aunque más no fuera por la creación de ese maravilloso tango llamado Patético, tan rico en ecos musicales, su nombre debería estar significado con esa respiración tan especial que tiene el fueye y que inyecta electricidad a los movimientos de bailarines y músicos. Construido alrededor de un tono hímnico, destella por su gran vuelo en el desarrollo melódico. Y es tan intenso en la homilía pugliesana como en aquella sacralidad que imponía el fueye de Pichuco, si escuchamos los registros de sus respectivas orquestas.”

​Por su parte él Julián Centeya escribió sobre Caldara: .

“Su bandoneón dominado en el paréntesis de sus manos, deja de ser una cosa para adquirir toda la propiedad comunicadora de carne y espíritu”.

6 tangos compuestos por jorge Caldara

Pasional

Puglesiando

Pastoral

Paternal

Patetico

Con T de Troilo