Etabli sur une hauteur, Caylus s'est formé autour d'un château. En 1211, le village fut incendié lors de la croisade contre les Albigeois, mais après 1226, il s'étendit au-delà de ses murs primitifs.
La place du marché, bordée de galeries tenant lieu de halle (celle-ci date de 1505), fut créée vers 1247 et l'église, jusque-là établie près de la place, fut reconstruite au XIVe siècle au centre de l'agglomération. Elle reçut un chevet polygonal entre 1459 et 1470. De 1347 à 1351, une nouvelle enceinte s'éleva pour parer à l'insécurité due à la guerre de Cent Ans.
Centre administratif et judiciaire, Caylus bénéficiait d'un fort pouvoir municipal. Les consuls jouèrent un grand rôle dans le développement de la ville au XIIIe siècle. Ils favorisèrent un quadrillage d'ilôts réguliers le long de la rue Droite et à l'est du village, signe d'un urbanisme concerté.
Cité active au Moyen-Age, Caylus conserve de riches maisons des XIIIe-XVIe siècles, en particulier la maison des loups, bâtie vers 1350.
A Caylus, l'église Saint Jean Baptiste (XIVe siècle), la Halle (XVe siècle) et la maison des Loups (XIIIe siècle) sont classés monuments historiques. Il en est de même pour l'église (ancienne chapelle des templiers) et la chapelle Notre Dame des Grâces à Lacapelle-Livron.
Les amateurs de chefs-d’œuvre anciens et de "vieilles pierres" seront comblés par les nombreuses maisons anciennes et boutiques "moyenâgeuses" de la rue Droite, le château neuf, les ruines de l'ancien château royal et le pavillon Goléjac.
Les abords immédiats du village présentent aussi un grand intérêt touristique et culturel avec par exemple le château de Cornusson à Parisot, le château de Mondésir, le château de Cas, les grottes de Saint-Géry...