Virtual time travel from existing remains of a heritage site to its previous states and original condition is an educational and interesting experience and can provide better understanding of history. However, digitally reconstructing non-existing objects is a challenge. The interaction and navigation within virtual 4D worlds (adding time to 3D worlds) is also problematical due to the time dimension. In this paper we developed an approach to modelling of heritage sites that has undergone changes over the years. The method creates independent models from different types of data, such as frescos and paintings, drawings, old photos, historic descriptions, and digitization of remains, then assembles and integrates these models for an interactive presentation. Several research issues had to be addressed: (1) Modelling from frescos and drawings with incorrect perspective, (2) modelling from paintings and old photos including fine geometric details from shading (3) colouring models from old photos and drawings to match the colours of existing elements, (4) the seamless and accurate integration of models created independently from different sets of data, and (5) the creation of intuitive interactive presentation that combines all the models and other useful information. We provide contributions to these issues, including our own advanced model viewer, and apply them to modelling of: destroyed Haida house of Chief Weah (Masset, Canada), the demolished and partially relocated Rideau Chapel (Ottawa, Canada), and the Stenico castle (Trentino, Italy) which undergone many changes over several centuries. Each of these diverse examples illustrates different approach for reconstructing heritage sites that changed through time.Un voyage virtuel dans le temps, depuis les vestiges d'un site patrimonial vers ses \ue9tats ant\ue9rieurs et son \ue9tat initial, constitue une exp\ue9rience \ue9ducative int\ue9ressante et permet d'obtenir une meilleure compr\ue9hension de l'histoire. Toutefois, la reconstruction num\ue9rique d'objets inexistants repr\ue9sente un d\ue9fi. L'interaction et la navigation dans des mondes virtuels quadridimensionnels (le temps \ue9tant ajout\ue9 \ue0 des mondes tridimensionnels) sont \ue9galement probl\ue9matiques en raison de la dimension temporelle. Dans le pr\ue9sent article, nous avons \ue9labor\ue9 une approche \ue0 la mod\ue9lisation de sites patrimoniaux qui ont subi des modifications au cours des ann\ue9es. Notre m\ue9thode cr\ue9e d'abord des mod\ue8les ind\ue9pendants pour diff\ue9rents types de donn\ue9es, notamment des fresques et des peintures, des dessins, d'anciennes photos, des descriptions historiques et la num\ue9risation de vestiges, pour ensuite assembler et int\ue9grer ces mod\ue8les en une pr\ue9sentation interactive. Nous avons d\ufb r\ue9soudre plusieurs probl\ue8mes de recherche : (1) la mod\ue9lisation d'apr\ue8s des fresques et des dessins dont la perspective est inexacte, (2) la mod\ue9lisation d'apr\ue8s des peintures et d'anciennes photos comportant de fins d\ue9tails g\ue9om\ue9triques contenus dans les ombrages (3) la coloration des mod\ue8les d'apr\ue8s des photos et des dessins anciens de fa\ue7on \ue0 faire correspondre les couleurs aux \ue9l\ue9ments existants, (4) l'int\ue9gration uniforme et exacte de mod\ue8les cr\ue9\ue9s ind\ue9pendamment, d'apr\ue8s diff\ue9rents jeux de donn\ue9es, (5) l'\ue9laboration d'une pr\ue9sentation intuitive interactive qui combine tous les mod\ue8les et d'autres renseignements utiles. Nous apportons nos solutions \ue0 ces probl\ue8mes, notamment notre propre visionneuse perfectionn\ue9e de mod\ue8les, et nous les appliquons \ue0 la mod\ue9lisation de b\ue2timents, notamment : la maison ha\uefda d\ue9truite du chef Weah (Masset, Canada), la chapelle Rideau d\ue9molie et partiellement d\ue9m\ue9nag\ue9e (Ottawa, Canada) et le ch\ue2teau de Stenico (Trentin, Italie) souvent transform\ue9 au cours des si\ue8cles. Ces divers exemples illustrent une approche diff\ue9rente pour la reconstruction de sites patrimoniaux modifi\ue9s au fil du temps.NRC publication: Ye