La ville de Castres a conservé dans son intégralité ce jardin du XVIIe siècle dessiné par A. Le Nôtre, ce qui lui donne une très grande valeur historique. Les irrégularités du terrain de forme trapézoïdale, bordé par l'Agout, ont été maîtrisées par le Nôtre en déviant sa composition vers la droite pour lui donner plus de profondeur. C'est un exemple rare de parterre de broderie à quatre compartiments aux arabesques de buis se terminant par des enroulements soutenus et couronnés de palmes et volutes.