Etabli sur une hauteur, Caylus s'est formé autour d'un château. En 1211, le village fut incendié lors de la croisade contre les Albigeois, mais après 1226, il s'étendit au-delà de ses murs primitifs.
La place du marché, bordée de couverts tenant lieu de halle, fut créée vers 1247. La halle elle même date de 1505. L'église jusque-là établie près de la place, fut reconstruite au XIVe siècle au centre de l'agglomération. Elle reçut un chevet polygonal entre 1459 et 1470. De 1347 à 1351, une nouvelle enceinte s'éleva pour parer à l'insécurité due à la guerre de Cent ans.
Centre administratif et judiciaire, Caylus bénéficiait d'un fort pouvoir municipal. Les consuls jouèrent un grand rôle dans le développement de la ville au XIIIe siècle. Ils favorisèrent un quadrillage d'ilôts réguliers le long de la Rue Droite et l'est du village, signe d'un urbanisme concentré.
Cité active au Moyen Age, Caylus conserve de riches maisons des XIIIe-XVIe siècles, en particulier à la Maison des Loups, bâtie vers 1350.