Al centro del paese si trova un complesso di edifici, protetti da mura, testimonianza del castello di Fontaneto, di cui si riconosce chiaramente parte del fossato. I primi documenti risalgono al 908, ma la fortificazione fu modificata e ripristinata più volte dalla famiglia dei Visconti, il cui stemma e motto appaiono dipinti sul cosiddetto “Palazzo Nuovo”. Nel ‘700 con la dominazione sabauda, diverse famiglie iniziarono ad abitare e trasformare il castello, rendendolo la parte più suggestiva, il cuore, del paese di Fontaneto.