Deze priorij, opgericht door de monniken van Sainte Croix de Talmont in de loop van de 11e eeuw, werd tijdens de godsdienstoorlogen geplunderd, gerestaureerd door Richelieu, vervolgens omgebouwd tot fort, wachtlokaal en kruitfabriek van het eind van de 18e tot aan het eind van de 19e eeuw. De Priorij domineert de ingang van de haven en wordt beschut door 2 lange, in de 18e eeuw gebouwde pieren. Naast de Priorij staan zeven kanonnen opgesteld uit de 18e eeuw. Schitterend uitzicht vanuit de Priorij over de baai.

Deze toren maakt deel uit van het verdedigingssysteem van het kasteel Saint-Clair. Het eerste vuur dateert uit 1593. In de 18e eeuw was de toren van La Chaume de enige vuurtoren van de Vendée. De huidige vorm is het resultaat van restauratiewerkzaamheden die dateren uit 1857 - 1858.