Lieu de passage dès l'Antiquité, "Voracus" était traversé par une voie romaine reliant Besançon aux Vosges. À la fin du XVIIIe siècle, Voray-sur-l’Ognon constituait encore une halte nécessaire... au changement de chevaux pour le voyageur empruntant la diligence de Besançon à Vesoul, ou pour celui qui souhaitait louer une monture auprès des maîtres de poste présents sur la commune. Aujourd'hui, c'est la RN 57 qui traverse son territoire tout en évitant son centre, bientôt rejointe par la voie T.G.V.
La partie ancienne du village de Voray-sur-l'Ognon est constituée d'un habitat très regroupé autour de l'église, de la Grande Rue et de la Rue Basse. Cette dernière, située en bordure de l'Ognon, fut parfois nommée rue des Pêcheurs (référence faite aux pêcheries qui appartiendront dès 1145 à l'Abbaye Saint Vincent de Besançon).
L'église datant de 1779 (architecte Nicole), classée Monument Historique, la chapelle Notre-Dame de Pitié fondée en 1623, le pont construit en 1765, le lavoir et les maisons anciennes forment le patrimoine architectural.
La fontaine et le lavoir sont deux magnifiques monuments dont le village peut s’enorgueillir.