En el castillo de Sax se conservan restos desde el siglo X de la época del Califato de Córdoba, hasta el siglo XVI, hay seiscientos años de historia que se van superponiendo las construcciones, tanta en época islámica y ya luego en época cristiana.
La fortaleza está construida sobre lo que se conoce como “la Peña de Sax”, que es un paraje natural municipal, y que esta habitado como mínimo desde hace 4000 años. En los siglos XIV y XV entre el Reino de Valencia, de la Corona de Aragón, y el Reino de Murcia de la Corona de Castilla, es lo que explica la importancia geoestratégica del Castillo de Sax.
Desde lo alto de la Torre del Homenaje, hay vistas impresionantes donde se divisa todo el valle del Vinalopó, y de todas las fronteras, que en aquellos siglos bajomedievales, la Villa de Sax tenía con el Reino de Valencia.
Lo mas emblemático que tiene el castillo es la Torre del Homenaje o torre maestra. Se trata de una torre cuadrada, con las cuatro esquinas construidas en sillares de piedra, los muros son gigantescos, era de tal forma que con los medios de la época, no se pudiera ni conquistar, ni destruir.
A groso modo, el Castillo tiene dos partes, el recinto inferior y el superior, delimitados por la Torre del Homenaje. En el recinto inferior tendríamos la tercera torre del Castillo y la zona de entrada, y ya en el recinto superior, encontramos otro aljibe y la torre mas antigua de todas, que es la islámica. En el centro tenemos la torre maestra, que tiene distintas partes, un sótano, la sala de armas, la sala principal y la terraza, desde donde hay unas vistas espectaculares de todo el valle y de todo el control.
En la actualidad se puede visitar todo el castillo, empezando por la puerta de entrada en el muro oeste, se empieza el recorrido que en varias de sus partes existen paneles indicativos y explicativos, se puede ver la firma heráldica del apellido Portugal y al final de la escalinata, se puede ver el escudo del marque de Villena, que se conserva en la muralla exterior del aljibe superior.
El Castillo desde hace varios años se puede visitar mediante las visitas guiadas y las teatralizadas, que representan un hecho histórico.
En esta nueva toma de contacto con los visitantes, se llevará a cabo la escenografía que nos situaba en el Sax del siglo XV y la ubicación en la Plaza de San Blas, donde se situaba la ermita de Santa María, la que ahora mismo es la ermita de San Blas. En esta nueva entrega de las visitas guiadas teatralizadas, se recrea la toma de posesión de Diego López Pacheco y Portocarrero, heredero del marquesado de Villena, al cual pertenecía Sax, quien recorrió todo el territorio y en nuestra localidad se fecha el 4 de junio 1468.
Según cuenta la historia, en el año 1445 se logró la concesión por parte de Juan II, a Juan Pacheco con el título de marqués de Villena, este llevó a cabo un importante programa de reformas en la mayoría de las fortalezas de sus nuevos dominios, con el objetivo de mejorar sus defensas, algunas de las cuales ya habían sido intervenidas por los Manuel, y adaptarlas a la realidad bélica del siglo XV. El marquesado, constituido en mayorazgo desde 1459, sería heredado por su hijo Diego López Pacheco, quien tomaría posesión de cada una de las villas y lugares aún en vida de su padre a lo largo de 1468.