Hrad je mezníkem na panoramatu Villena pro svou velikost a vynikající stav uchování. Jeho počátky sahají do 12. století, během islámského období Španělska, a vlastnili jej Arabové, dokud jej v roce 1240 nevzdali křesťanským silám.
Ten okamžik znamenal počátek lordstva a později markýze z Villeny pod Královskou chartou, aby odměnil služby poskytované Koruně různými šlechtici.
Mezi šlechtici patřil slavný spisovatel Don Juan Manuel, který zde na zámku napsal části své knihy o myslivosti Libro de la Caza.
Hlavní konstrukcí je čtyřpodlažní udržovací věž, jejíž první dvě patra sahají až do arabské éry a mají krásné klenuté stropy s prokládanými oblouky, které jsou široce považovány za cenné příklady islámského umění ve Španělsku. Dvě horní patra byla přidána později, v křesťanské éře, konkrétně druhým markýzem, Don Juan Pacheco. Během války o dědictví a nezávislost prošel hrad sérií obléhání a útoků a stále můžete vidět stopy poškození způsobeného budově. V roce 1931 získal hrad status historicko-uměleckého pomníku.