Grande famiglia lionese che ebbe un ruolo di primo piano nella politica del Regno di Francia per tutto il XVI secolo, la famiglia d'Albon è legata alla casa di Saint-Vidal dal 1533 grazie all'unione di Antoine I della Torre di Saint Vidal a Françoise d'Albon che darà i natali ad Antoine II della Torre di Saint Vidal, figura emblematica nella storia del castello e del Velay.