Es de planta rectangular, formado por una torre en cada esquina, coronadas en pirámide cuadrangular y entre ambas torres, un tejado de pizarra con pared almenada. Ornamentado en las aristas y ventanas con ladrillo visto rojo. Interiormente su distribución es un gran pasillo central con habitaciones laterales, del cual arranca una amplia escalera con un gran ventanal. Desde esta planta arranca otra escalera para subir a las torres, que era el lugar ocupado por los criados de los marqueses.

Había y hay dos edificios más, dentro del recinto amurallado que rodea al palacio: Una casa grande donde vivieron los administradores, y otra muy pequeña, por la entrada principal, que era del jardinero.

Este palacio fue construido por los condes de Antillón: Dª Mª Josefa Pérez de Herrasti y Vasco y Dº Isidoro Pérez de Herrasti. Antes de su construcción, los condes vivieron en la llamada Casagrande. Al morir los condes, lo heredó su hija Dª Joaquina Pérez de Herrasti y Pérez de Herrasti, que tomó el título de marquesa de Casablanca, al casarse con el marqués Dº Antonio Díez de Rivera y Muro.

Era residencia veraniega, o de descanso, pero no fue residencia habitual. Fue pasando por distintos propietarios, hasta que en 1991 lo compra el Ayuntamiento de Deifontes.