El Castillo del Reloj o Real, se encuentra al final de la subida que la muralla iniciaba en la puerta de Somajas (hoy de Zaragoza). Domina el barrio del Picado y fue palacio, según Labaña. El edificio se adaptó en 1876 para usos militares y después se abandonó. Parece ser que era de estilo mudéjar, de ladrillo y de planta rectangular. La plaza de armas, situada a lo largo del muro norte, es hoy en día una era de propiedad particular.
El edificio actual es una adusta masa de tapial, de planta rectangular, revestida parcialmente de roca natural. En el interior conserva una escalera tallada en la roca, y en algunos tramos rehecha de ladrillo y recientemente restaurada, que permite el acceso a la parte más alta. También se conservan dos habitaciones, excavadas en el terreno, de planta sensiblemente circular, dejando en el centro un soporte de columna, sobre el que se apoya el estrato de yeso que sirve de techo, sistema de construcción similar al utilizado en algunas de las viviendas de las calles Morería, Picado y La Paz. Tiene dos puertas de acceso, la una es la que se utiliza actualmente para acceder a su interior, y la otra, aunque conserva la hoja de madera, se encuentra prácticamente cegada.
En la parte alta, entre dos pilares a modo de espadaña, cuelga la campana que regaló Pedro IV a Calatayud, cuando en 1366 recompensó el heroísmo bilbilitano en la guerra de los dos Pedros, además de otorgarle el título de ciudad, el privilegio de sellar en cera blanca y la custodia de los propios castillos reales. Para colocarla se construyó por orden del rey Alfonso V, una torre, hoy desaparecida pero que todavía podía verse a finales del pasado siglo, obra de Farach el Rubio. La campana, conocida con el nombre de Reloj Tonto, que da nombre al castillo, fue refundida al menos dos veces. Sobre su superficie lleva grabadas sendas inscripciones: la primera de ellas consta de una cruz y el texto "XRUS, VINCIT, XRUS, REGNAT, XRVS, AB OMNI MALO NOS DEFENDAT, ANO 1669", la segunda formada por la frase "REFUNDIDA EN 1860/BALLESTEROS ME FECIT". Esta campana, solamente se hace sonar en los días de las fiestas patronales.
En el castillo se guardan todavía gran cantidad de proyectiles de piedra (bolaños) de la artillería medieval.