La seigneurie de Goudet est fondamentale dans l’histoire du château de Saint Vidal. La toute première trace écrite concernant les terres de Saint Vidal est attribuée à Adhémare de Goudet, sœur du Seigneur de Goudet, qui, par son testament, lègue ses terres à son époux, Hugues de la Tour qui deviendra en 1288 le premier seigneur de la Tour de Saint Vidal.