Le premier château féodal est plutôt une maison aristocratique. Le village s’installe autour de ce château, sur son éperon rocheux facile à défendre et doté de remparts de la fin XIIIe et du XIVe siècle.
Les portes furent enlevées en 1622 par décision du Duc de Savoie Charles-Emmanuel. Ce dernier ordonne de détruire les remparts et d’enlever les portes en représailles contre le seigneur de Levens César Grimaldi, son vassal.