Nacido en Las Palmas de Gran Canaria, Castor Elzo debutó a los 23 años en Primera con el Real Zaragoza en la temporada 1940-1941. Tras el descenso del conjunto aragonés, fichó por el CD Castellón por dos campañas, donde jugó 34 partidos y marcó 11 goles. Sus buenos registros llamaron la atención de los técnicos del Valencia CF, que decidieron ficharlo como refuerzo para el centro del campo en la triunfal Liga de 1944, en la que se proclamó campeón.

Esa temporada, el canario jugó sólo 6 partidos, aportando dos goles contra Granada y Deportivo de la Coruña. Fue uno de los conocidos como calderones, nombre con el que se denominaba a las tropas de refuerzo que aquella temporada resolvían los partidos cuando se les requería. No llegó, sin embargo, a adaptarse al juego del equipo valenciano, principalmente por su costumbre de jugar de espaldas a la portería. Al finalizar la temporada firmó un contrato con el Real Madrid Club por dos temporadas, conquistando en la segunda de ellas una Copa.

Posteriormente fue fichado por el Deportivo de La Coruña, hasta 1948, luego pasó por el CD Málaga, donde permaneció hasta 1950, y finalmente regresó a su tierra natal para jugar con la Unión Deportiva Las Palmas, equipo en el que se retiró en 1952 tras descender a Segunda División. Como curiosidad, Castor ostentó durante 47 años el récord de haber jugado en Primera División con siete equipos diferentes, hasta que Miquel Soler se lo empató.