Molti sono i castelli che sorgono sulle alture e in cima a poggi scoscesi e isolati, ma nessuno ha raggiunto, per questa caratteristica, la notorietà e la popolarità del castello di Saint Pierre, che a quello di Fénis contende la palma di simbolo dei castelli della valle di Aosta.
Questa (quasi) indiscutibile supremazia di immagine sugli altri suoi pari della Valle, gli deriva indubbiamente dalla posizione dominante, a picco sul paese, ma anche - e questo per i cultori e studiosi di architettura castellana si tratta di un inaccettabile inquinamento stilistico - per il suo aspetto attuale di castello da fiaba, frutto di una libera e ardita interpretazione dell'architettura di castelli valdostani. In realtà gli interventi di ristrutturazione non sono poi stati più radicali e devastatori nei confronti della primitiva costruzione di quanto non siano stati quelli compiuti in altri castelli, per esempio a Sarre e Aymavilles, dove poco o nulla è rimasto dei fabbricati originari. A Saint Pierre però è bastato aggiungere al maschio centrale quattro torrette circolari sporgenti, collegate da un camminamento esterno sorretto da archetti e beccatelli, perché tutta la fisionomia classica dei castelli valdostani fosse rivoluzionaria e l'insieme acquistasse così una scenografia da studio cinematografico, storicamente falsa ma senza dubbio suggestiva e spettacolare.
Il castello è di origine antichissima e già nel 1911 era nominato in alcuni documenti ufficiali. Esso appartenne a varie signorie: da quella de Sancto Petro, che gli diede il nome, ai Quart, Sarriod, Challant, nello loro varie ramificazioni famigliari.
In origine il castello era probabilmente formato da due corpi di fabbrica distinti: la casa-forte e la torre. Poi, con l'aggiunta di altri edifici destinati a usi civili e militari, il complesso divenne unico e occupò l'intera sommità del promontorio sul quale si trovava.