Con la conquista cristiana en 1238, la población musulmana será expulsada de la mayoría del territorio, no siendo así en la alquería de Quart que pasará a formar parte del convento hospital de San Vicente de la Roqueta de Valencia, convirtiéndose estos en los señores feudales de la villa. Unos años más tarde, se cede todo al Monasterio de Santa María de Poblet de Tarragona, cambiando así el señorío.
En esta plaza se ubicó el Castillo de la Señoría, edificado sobre una torre andalusí, que tras la conquista fue perdiendo su carácter defensivo en favor de uno más residencial. Debemos entender este castillo, no como una fortaleza, sino como una casona con una agrupación de edificios en la plaza. Tendría varias dependencias como establo, granero, silo, bodega y su propio huerto en la parte trasera.
Tras la desamortización (1837), que supone la desaparición del régimen feudal, queda en abandono. Cuando se derriba en los años 60 del siglo XX, solo queda tras el portal de acceso una mazmorra, la base de la torre y algunas dependencias para la servidumbre. Actualmente se conserva el escudo situado en la puerta del Colegio Purísima Concepción.