Cet édifice fut élevé par Pierre de Glandevès, seigneur des lieux, entre 1510 et 1530. De plan rectangulaire, il est flanqué de cinq tours, deux rondes à l'ouest, deux carrées et une hexagonale à l'est. Bien que ce château soit situé en plaine, sa structure trapue illustre encore la persistance de l'architecture défensive du Moyen Age dans les décennies du XVIe siècle. De la toiture formée de tuiles plates vernissées de différentes couleurs s'élançaient de nombreuses gargouilles aujourd'hui mutilées. Percées de plusieurs travées de fenêtres, les façades témoignent de façon éclatante d'une époque de transition. L'art nouveau du XVIe siècle éclate dans la décoration de l'escalier en vis enroulé dans la tour hexagonale. Ce beau colimaçon de pierre constitue la pièce maîtresse du château. Ses seize écoinçons accueillent une belle suite de bustes sculptés représentant des personnages mythologiques ou historiques. Cette galerie de portraits est d'autant plus précieuse que la statuaire civile datant de la Renaissance est très rare en Haute Provence.
Le château de Château-Arnoux est une des plus belles demeures aristocratiques du XVIe siècle.