El castillo o alcazaba de Ferreira está situado en el centro, junto a la plaza de la iglesia; consta de una torre cuadrada de tapial con 2 metros de lado por 1,25 de espesor y 8.50 metros de altura, disponiendo al sur de un potente contrafuerte de mampostería.

Está rodeada de edificaciones por todos lados, menos por el sur, desde donde se puede acceder a su interior, aunque actualmente está limitado el paso ya que se están realizando obras de restauración para convertirla en un centro de interpretación de la arquitectura musulmana en el Marquesado.

Dispone de un aljibe en su interior y de acceso a la casa palacio, de construcción posterior y que también está siendo restaurada para ser convertida en el edificio del nuevo ayuntamiento. Esta torre nos hace pensar en la existencia de un recinto fortificado de gran extensión cuyos muros deben continuar entre las casas que la rodean.

También se encuentran en la fase de estudios previos a su rehabilitación los baños, localizados a la entrada del pueblo en la calle Pilar. Son de época nazarí con tres naves paralelas, con muros de mampostería y bóveda de lajas de pizarra. Existen la sala vestuario que es trapezoidal, la sala fría y la sala templada; falta, según el arqueólogo Carlos Vilchez, la sala caliente.