Grande famille du Lyonnais qui a tenu un rôle de premier ordre dans la politique du Royaume de France tout au long du XVIème siècle, la famille d’Albon est liée à la maison de Saint-Vidal depuis 1533 grâce à l’union d’Antoine Ier de la Tour de Saint Vidal à Françoise d’Albon qui donneront naissance à Antoine II de la Tour de Saint Vidal, figure emblématique de l’histoire du château et du Velay.