Castellero è un antichissimo borgo, sorto ai piedi di una torre per segnalazioni. Nel Trecento il castello venne raso al suolo durante il conflitto tra guelfi e ghibellini. Successivamente fu feudo dei Pietrini e dei Ponte, che lo ricostruirono. La storia del paese appare strettamente legata alle vicende del castello ed ai suoi passaggi di proprietà. I Solaro nel 1312, appoggiati dai Provenzali di Ugo del Balzo, siniscalco di Roberto d'Angiò, occupano il castello di Agliano e, secondo il De Canis, sconfiggono i De Castello a Castellero, dove distruggono la rocca, tenuta dai Ghibellini Pulsavino. Da queste vicende appare evidente che il castello di Castellero rappresentava, durante le lotte civili, una roccaforte anti-guelfa.

Sulle rovine del piccolo castello coinvolto nelle vicende sanguinose del 1312 venne riedificata una fortezza che dalla precedente costruzione demolita prese il nome di Castellero, o “castellaro", termine talvolta usato per indicare un castello distrutto.

Ciò nonostante la ricostruzione è stata talmente accurata che il castello si presenta pieno di fascino e di interesse storico, artistico ed architettonico. Nel tempo, infatti, l’antico maniero è stato completamente rinnovato e in parte accresciuto con complessi costruiti in varie epoche successive: interventi del Seicento e del Settecento, attribuiti in gran parte alla famiglia Ponte, hanno realizzato un’elegante dimora campestre che, come unica memoria di un passato bellicoso, conserva la torre, caratterizzata da una merlatura a coda di rondine, che svetta sull’attuale piazza comunale