El castillo de Sarracín, (Castrum Sarracenicum) por su ubicación estratégica ha sido una pieza fundamental para el control de Galicia. Su extraño nombre ya parece darle un halo de misticismo, a lo que contribuye su antigua Historia, lo pintoresco del emplazamiento y su apariencia romántica.
Una leyenda cuenta que los señores de Valcarce se le enfrentaron y defendieron el castillo con cinco estacas de roble, que por ello forman hoy parte del escudo de la villa de Vega de Valcarce. De su hijo, el Conde Sarracino Gatónez (852-855), heredaría el castillo su nombre (Castrum Sarracenicum) y quien sabe si su propia construcción. Desde sus alturas dominó este conde sus vastos dominios en la frontera con el Islam y se rebeló incluso contra su propio rey, Alfonso III.
A partir de estos momentos llega una época oscura en la que a pesar de que la documentación no lo indica claramente es indudable que sus nuevos castellanos serían los caballeros Templarios, que ocuparon también las fortalezas de Ponferrada y Cornatel, con la sagrada misión de salvaguardar el flujo peregrinatorio.
El recinto del castillo, de forma rectangular irregular, se encuentra dividido en varias dependencias. Se conservan dos torres, una de ellas posee saetera abocinada. El acceso al interior del recinto se realiza a través de una puerta con arco de medio punto.