La Real Fábrica fue edificada según los planos del aparejador del Real Sitio, Joseph Díaz, alias Gamones, entre 1770 y 1784.