La ville d'Auray naît au Moyen Âge en fond de ria, sur la principale voie routière de Bretagne sud.
Le site est propice à l'édification d'un pont, d'un port et d'un château. Les premières fortifications consistent en un simple donjon sur motte, dominant le pont et la rivière. Le duc de Bretagne Arthur Ier aurait construit une forteresse plus imposante en 1201.
Le château est le lieu de séjour des ducs mais c'est aussi une place forte stratégique.
Le duc Jean IV l'assiège à la veille de la bataille d'Auray qui met fin aux prétentions au duché de Bretagne de son adversaire Charles de Blois (1364).
Le château fait l'objet de réparations en 1368 et 1475. Entre-temps les habitants d'Auray participent en 1468 aux corvées de bêchage des douves pour les rendre plus profondes.
En 1487, les troupes françaises le prennent d'assaut. Abandonné, il tombe peu à peu en ruines. Henri II, Roi de France, ordonne en 1558 la vente de l'emplacement et des douves du château. Le tout est divisé en plusieurs lots vendus aux enchères. Les bénéfices sont destinés aux fortifications de Belle-Île-en-Mer.
Aujourd'hui il subsiste quelques vestiges sur la rive droite du Loc'h : une tour ronde dite "tour du Talus" et quatre contreforts qui supportaient le corps du logis du château.