Aunque nació en Asturias, en el norte, en 1915, hijo de un socialista convencido, su familia se trasladó pronto a Madrid, donde comenzó su larga andadura política en las Juventudes Socialistas siendo apenas un adolescente.En julio de 1936, se afilió al PCE, y a pesar de su juventud, tuvo un papel destacado en la vida política de la capital española tras el levantamiento militar contra la República, mientras escalaba puestos en el partido.

Como delegado de Orden Público y miembro de la Junta de Defensa de Madrid, desde noviembre de 1936, fue responsabilizado, por diversos historiadores, de la matanza de militares sublevados en Paracuellos, una localidad cercana a Madrid, aunque Carrillo siempre defendió que no ejecutó esas órdenes.

En febrero de 1939, cruzó la frontera francesa y comenzó un exilio de 38 años, que le llevó a la extinta Unión Soviética, EEUU, Argentina, México y Argelia, hasta que fijó su residencia en París. El delfín de la dirigente comunista Dolores Ibárruri, "La Pasionaria", fue elegido secretario general en el VI Congreso del PCE de 1960, cuando ella se alzó con la presidenta. El dirigente comunista ostentó el cargo hasta 1982 y se dedicó a defender la autonomía de los países europeos para buscar su propio camino hacia el socialismo, dentro de la línes del "eurocomunismo".

Desde 1956, en plena dictadura franquista, propició desde el exilio una "política de reconciliación nacional" y tras la muerte de Franco, usó distintas fórmulas de presión para conseguir la legalización del PCE. Finalmente, fue elegido diputado en los primeros comicios democráticos de junio de 1977 y como representante comunista participó en los "pactos de la Moncloa", los acuerdos firmados entre el Gobierno de Adolfo Suárez, los principales partidos con representación parlamentaria, sindicatos y patronal para buscar la estabilización del proceso de transición, luego de años de dictadura franquista y crímenes que aún no fueron investigados.

Tras una grave crisis interna por el nacimiento del movimiento "renovador" en el seno de su partido, acentuada por la derrota sufrida en las elecciones generales de octubre de 1982, en noviembre de ese año presentó su dimisión con secretario general.

En 1985, creó un nuevo grupo político, Partido de los Trabajadores-Unidad Comunista, que en 1991 se integró en el Partido Socialista Obrero Español (PSOE) como una corriente interna, aunque él quedó fuera. Desde entonces, se dedicó a escribir libros y artículos en los medios de comunicación y a dar conferencias. Al margen de la política, Carrillo se consideraba periodista, profesión que comenzó a ejercer a los 16 años, como redactor de "El Socialista".

Estaba casado con Carmen Menéndez, con quien tuvo tres hijos. El veterano político se mostró convencido en su última entrevista concedida a Efe, el pasado 14 de junio, de que sería "imposible" que en la actualidad se repitiera el consenso que hubo en el momento de la transición.