Du XIIe au XVe siècle, on voit les lignages seigneuriaux possesseurs du lieu édifier des tours, des hostels et des murs, constituant ainsi une citadelle dont la fin arrivera avec l’avènement de l'artillerie. En effet, le site pouvait facilement être bombardé des hauteurs avoisinantes.
Au XIVe, Merle comprend sept châteaux, deux chapelles et un village, possédés en indivision par sept seigneurs des familles de Merle, de Carbonnières, de Veyrac, de Pestels.