La partie la plus ancienne du monument est la tour, appelée communément le Beffroi. La tour actuelle remplace une tour plus ancienne qui a pu appartenir à l'origine, à l'enceinte du Bas-Empire. Cette tour jouxtait la porte ouest du castrum gallo-romain, la porte Massacre.
On sait peu de choses sur cette première tour si ce n'est que son noyau forme encore la base de la tour actuelle. Elle fut rasée par Charles VI en 1382 en punition de la révolte de la Harelle. A la suite de cette révolte les Rouennais avaient perdu leurs libertés communales qui leur avaient été données par Jean Sans-Terre au début du XIIIe siècle. Avec leur beffroi et la dépose de ses cloches, ils perdaient même le symbole de ces libertés.
Les bourgeois, fort dépités de cette perte décidèrent de faire construire une horloge et profitèrent de l'occasion pour demander au bailli de Rouen l'autorisation de la placer là où se trouvait le beffroi. Le bailli comme le roi, dans des lettres lues au Conseil en 1389, ne pouvait s'opposer à cette demande. Le 5 août 1389, le conseil décide de construire une tour pour asseoir l'horloge. Dès le premier septembre, la tour est devenue le beffroi dans un autre délibéré. Faute de récupérer leur pouvoir, les bourgeois en ont au moins obtenu le symbole ! Depuis, pour les Rouennais, la tour de l'horloge a toujours été le Beffroi.
Les travaux de construction durèrent neuf années : les finances de la ville étaient en mauvais état. L’architecte en était Jehan de Bayeux, maître des ouvrages de la ville. Ils furent terminés, après 1398, par son fils. La tour était couronnée d'une flèche de charpente couverte de plomb. En 1707, la charpente menaçait de se rompre. Sur les plans du frère augustin Nicolas Bourgeois, on la remplaça, à partir de 1711, par un dôme circulaire surmonté d’une lanterne.
L’horloge est une des plus anciennes horloges publiques de notre pays. Elle fut construite en 1389 un peu avant l’achèvement de travaux de la tour. Commencée par un certain Jourdain Delettre a qui le travail fut ôté pour une raison qui nous demeure mystérieuse, elle fut achevée par Jean de Felain. Avec sa femme, ils furent ensuite chargés d’en prendre soin en échange d’une résidence dans la tour. Il devint le premier gouverneur de l’horloge. Son mécanisme subsiste encore, avec très peu de modifications. Il a toutefois cessé de faire fonctionner les cadrans au-dessus de la rue du Gros-Horloge et les cloches sonnant les heures et les quarts d’heure, remplacé en 1928 par une horloge électrique.
Il fallut attendre le milieu du XVe siècle (1449), pour que la Rouvel, la cloche d’argent (ce surnom vient de sa couleur claire due à une proportion élevée d’étain dans son alliage) qui avait sonné la révolte de la Harelle, soit enfin remontée dans la tour à côté de la Cache-Ribaut qui, sonnant le matin et le soir, servait à régler le travail des ouvriers. Avant la construction de l’horloge, la Cache-Ribaut avait servi à sonner le couvre-feu le soir (c’est de là que vient son nom : elle indiquait qu'il était l'heure à laquelle les gens de mauvaise vie, les ribauds, se cachaient pour commettre leurs forfaits).
A l’origine, l’horloge de Jehan de Felain se contentait se sonner les heures. C’est en 1410 que deux cadrans furent ajoutés au-dessus de la porte Massacre qui joignait l’Hôtel de Ville et le Beffroi. Le gouverneur de l’horloge Olivier Homo semble être l’auteur de cette amélioration et l’inventeur de l’ingénieux système de tiges et de pignons qui transmettaient le mouvement du mécanisme aux cadrans.
En 1527-29, on démolit la porte Massacre. L’arcade fut reconstruite dans le style renaissance, surmontée d’un pavillon sur lequel furent apposés deux nouveaux cadrans. Ce sont les cadrans actuels. En plus de l'heure, ils nous donnent les phases de la lune et les jours de la semaines traités en un de ces triomphes que nous rencontrons souvent sur les édifices de la renaissance rouennaise.
Au pied du beffroi se trouve la fontaine du Gros-Horloge. La première fontaine fut construite en 1457. La fontaine actuelle date de 1734.
L’ensemble se complète par quelques vieilles maisons et forme l’une des images les plus caractéristiques de notre ville.
Des travaux en cours ont pour but d'y installer un très intéressant Musée du temps