La teoría más defendida sobre el origen del castillo, es actualmente por diferentes estudiosos la correspondencia en su origen con el Castelo de Ulver, del que hacen mención fuentes alto y pleno medievales. Se cree que en su origen fue el lugar en donde vivía un destacamento militar romano, debido a su gran cercanía a las explotaciones auríferas de Las Médulas.
Más tarde, después de que los romanos abandonaran los yacimientos, el papel que realizaba es relegado a un segundo plano durante el dominio visigodo, reapareciendo posteriormente como destacado “castellum” en la España cristiana de los siglos IX y X.
Tras varios años de abandono, se concede la titularidad del castillo a la Junta Vecinal de Villavieja. El castillo de Cornatel fue utilizado para guardar los rebaños de la aldea, contribuyendo más a su deterioro. En el año 2002 el castillo es parcialmente restaurado y se mejora la seguridad del mismo para posibilitar su acceso y visita. Cuenta con un museo donde se reflejan las fases de construcción del castillo y una exposición de armas medievales pertenecientes a la asociación Caballeros de Ulver.
Las excavaciones arqueológicas han sacado a la luz que el basamento que está a la entrada a la derecha es de origen romano, junto con los muros de cuatro metros de grosor que lo cierran por tres lados a excepción del naciente, lo que hace pensar que se trataba de un templo, en este lugar se encontró un ara romana.