A proximité de l'Eglise et du Puits Saint-Martin, la Porte Baudet est un vestige des fortifications du XIIIème siècle qui protégeait la cité de Vertus. C’était une double porte, large et monumentale, en pierres de falaise tirées des carrières souterraines proches. Elle était flanquée de deux tours et précédée d’un pont-levis pour franchir le fossé. Elle était équipée de lourds battants de bois et d’une herse, dont l’emplacement dans l’épaisseur de la pierre, est toujours visible. C’est une des dernières portes de ville encore existantes dans la Marne, inscrite comme site classé en 1931.