Au milieu du XVIIe siècle, la liste des lieux habités de la communauté de Castanet le Haut était très différente de celle que nous connaissons aux époques contemporaines. Elle comprenait : 
* le village de Castanet (entouré de châtaigneraies, d'où le nom)
* le Mas de l'Eglise (autour de l'église Notre Dame), aujourd'hui appelé le Mas 
* Moulières ( étymologie : terre humide, "mouillée" ) 
* Pabau. La graphie Pabo, ignorée par les documents anciens, apparaît dans la deuxième moitié du XIXe siècle. L'étymologie reste obscure. 
* Sairet 
* Le moulin d'Olque 
* Barthas (la métairie du) . Un bartas en occitan désigne un buisson. La vieille maison, toujours debout, est un témoin précieux et rare de l'architecture d'une ferme du XVIIe siècle. 
* Canarilles, une métairie proche du Barthas. Canarilles disparaît vers le milieu du XVIIIe siècle; la localisation est inconnue, mais aujourd'hui, on trouve encore un pré de Canarilles. Faut-il chercher les fondations de la métairie sous la route actuelle ? L'étymologie désigne une zone où poussent les roseaux. 
* Sansac, (la métairie de), dont le nom officiel était Sélieusses. Sansac était le nom d'une famille importante de St-Gervais. Le nom de Sélieusses était encore utilisé au début du XIXème siècle. A une époque très ancienne (Moyen Age), la liste comprenait Grateloup et les Rippes. Ces deux masages avaient disparus depuis longtemps au XVIIe siècle. 

La communauté de Castanet avait pour voisine une communauté de St-Gervais Terre. Les masages qui suivent, aujourd'hui situés sur le territoire de Castanet, appartenaient alors à St-Gervais Terre : 
* Req d'Agout (auberge du) (appelée aussi après 1800 l'Espinouse). Le propriétaire a laissé son nom au bois de BETIRAC tout proche. En plus de l'auberge, on y trouvait un maréchal à forge. La source de l'Agout située à quelques centaines de mètres explique le nom de ce lieu. 
* Ginestet (le masage de) (étymologie : mas des "genets" )
* Fagairolles (le masage de) (étymologie : mas des "fougères") 
* St-Amans de Mounis (l'église de) . L'église sera fermée et vendue comme bien national pendant la Révolution. Louis GAYRAUD, propriétaire du Basset, la rachètera peu après. La date de retour au culte n'est pas connue. La vieille église menaçait ruine et a dû fermer ses portes aux paroissiens. Un effort collectif permit la reconstruction de l'église en 1858. Un descendant de Louis GAYRAUD donnera une pièce proche du presbytère pour y installer une école qui sera fréquentée par les enfants du plateau jusqu'à nos jours. 
* Fau (le masage du) (étymologie : mas du "hêtre"). 
* Au tout début du XVIIe existait encore une métairie de Milhas. Aujourd'hui ne subsiste plus près du Fau que le tènement portant le même nom. 
* Dans la deuxième moitié du XVIIe siècle apparaît dans les documents une métairie dite Mas de l'Eglise ou " dels Bassets ". Les métayers (famille ALLIES, précédemment métayers à Milhas) portent le surnom de "Basset". Les origines de cette métairie restent obscures. Etait-elle plus ancienne ? Première mention en 1668. Le nom actuel est le Basset. 
Après 1780, apparaîssent : 
- dans la commune de St-Gervais Terre : 
1°) la Baraque de la Plaine de Fagairolles créée vers 1786 par Jean GAYRAUD de Fagairolles (1751-1823), ep de Elisabeth CHABBERT. Une de ses filles y naît en 1787. Le nom va devenir la Baraquette. 
2°) le Logis de la Coste de la Mouline créé par un autre Jean GAYRAUD, ep de Marie VIALLES. Le nom deviendra la Coste. Une de leur fille y naît en 1837. 

- dans la commune de Castanet 
3°) la Baraque de la Croix de Mounis construite par Pierre BOUISSET (première mention 1821). Cette baraque servait d'auberge. Les descendants de Pierre construiront les différentes maisons que l'on voit aujourd'hui. Un peu au dessus des maisons, une petite croix de pierre (peu visible depuis la route) y marque le souvenir de la mort accidentelle en 1859 d'un des fils, Jacques BOUISSET. 
4°) la baraque de Bel-Air, dite aussi le Bessou, bâtie par François RIVEMALE. François est né à Pabau en 1786 ainsi que sa soeur jumelle Marianne. Rappelons qu'en occitan bessou désigne un jumeau. Un fils de François naît en 1823 à Bel-Air. 

Remarquons que tous ces nouveaux lieux naissent sous forme de " baraques ", ce qui laisse supposer des installations sommaires, avant d'être reconstruites en dur. Toutes ces baraques réparties le long de la route St-Gervais - Lacaune doivent probablement leur existence à l'amélioration de cette voie de communication. L'augmentation du trafic a fait surgir des relais pour les chevaux et des haltes pour les voyageurs. 

Vers 1827 la commune de St-Gervais Terre disparaît, remplacée partiellement par celle de Rosis. 
Castanet-le-Haut s'agrandit de tous les masages cités ci-dessus. Le village compte désormais deux paroisses. 

Autre lieu de culte : la chapelle de Saint-Eutrope perchée sur son piton et but d'un pèlerinage très suivi le 30 avril de chaque année. 

Vers 1830 la ferme du Prat de Cebe voit le jour grâce à Jean BLAYAC de Ginestet. On trouve en 1694 un acte de vente d'un pré voisin de Grateloup à un certain Estienne CEBE originaire de Nages et habitant à Ginestet. Le nom de cet acheteur s'est très probablement transmis jusqu'à nous. Le premier habitant connu du Péras (lieu planté de poiriers) est Jean MAURY forgeron venu de Canac (dont un fils naît au Péras en 1837). 
A peu près en même temps, des ALLIES s'installent aux Sauzes (lieu planté de saules) (première naissance 1837). 
La première mention du Nougayrol (lieu planté de noyers) est également de 1837 (décès de Pierre BRAU). 
Vers 1840 les premiers mineurs s'installent à Sainte-Barbe. D'autre mineurs viendront habiter au Ravin vers 1872. 
Sur le plateau apparaissent au XIXème siècle : 
* vers 1840 la ferme de la Salesse (Jacques GAYRAUD propriétaire). Une école y sera installée au début du XXe siècle. 
* vers 1845 les Clèdes (lieu entouré de claies pour les brebis), maison construite par le couple Jacques RAZIMBAUD x Catherine GAYRAUD. 
* le Devès ( = le côté à l'ombre) dont la première mention est de 1866. Une colonie de vacances s'y établit après la dernière guerre. 
* l'Adrech (= le côté ensoleillé) fondé par Etienne FAGES vers 1860. 
* Bebio (dit aussi le Facteur) créé après 1880 par Pierre FAGES (facteur de son métier). La ruine se dresse près de la route de l'Espinouse. 

Le Moulin du Nougayrol est absent de la carte de Cassini. Il a dû être bâti au début du XIXème siècle. On trouvait par contre deux moulins dans Castanet un au dessus du Mas de l'Eglise, un autre près du pont de Castanet. Ces deux moulins figurent sur la carte Cassini. Sur cette carte figure également une verrerie qui est apparue à la fin du XVIIIème siècle. 
Une étude des matrices cadastrales du XIXe siècle permettrait d'affiner les dates de tous ces lieux habités.

Le pays est magnifique mais le travail y était rude et la terre pauvre. Les mines de charbon sont fermées. Les châtaignes ne sont plus ramassées. La population s'est raréfiée. Aujourd'hui beaucoup de ces maisons sont devenues des résidences secondaires qui retrouvent vie avec les beaux jours. Le Rec d'Agout, les Clèdes et le Fau sont devenus des gîtes d'étape qui accueillent les randonneurs qui parcourent les anciens chemins.