Familia numerosa de Lyonnais que protagonizó la política del Reino de Francia a lo largo del siglo XVI, la familia d'Albon está vinculada a la casa de Saint-Vidal desde 1533 gracias a la unión de Antoine I de la Torre. de San Vidal a Françoise d'Albon que dará a luz a Antoine II de la Torre de San Vidal, figura emblemática de la historia del castillo y del Velay.