Il Castello di Brissac era in origine una fortezza medievale costruita dai conti di Angiò nel XI secolo. Fu ricostruito nel XV secolo da Pierre de Brézé, ministro del re Carlo VII, che lo lasciò in eredità al figlio Jacques, di cui si conosce il triste destino. Sposato con Charlotte de Valois, figlia di Carlo VII e Agnese Sorel, Jacques de Brézé sorprese sua moglie nel letto di un altro uomo: accecato dall’ira, uccise i due amanti con la sua stessa spada. La leggenda racconta che il fantasma di Charlotte aleggi ancora oggi tra le stanze del castello durante i temporali.