L'histoire officielle de Granby débute le 30 octobre 1824 alors que Richard Frost se trouve à Québec, dans le cabinet du notaire William Scott, pour signer le contrat d'achat du 8ième lot du 7ième rang dans le canton de Granby, à l'endroit où "L'Oulet Road" traverse la rivière Yamaska. Il s'écoulera presque un an avant que Frost n'entreprenne de concrétiser son rêve de développer un village.

En 1825, environ une vingtaine de personnes sont déjà installées sans titres de propriété sur les terres de R. Frost et parmi celles-ci il y a John Horner père et fils et William Horner, tous trois originaires du Vermont. Selon Madame Catherine M. Day, dans son livre sur les pionniers des cantons de l'Est publié en 1863, le hameau comprend alors trois maisons de bois rond, une grange, un moulin à scie et un moulin à farine. Elle ne mentionne pas toutefois la présence du magasin d'Anthony Willis dont on connais l'existance pour les années 1817 à 1821.

Le premier à régulariser sa situation de "squatter" sera William Horner, qui achète le lot de 48 acres, au sud de la rivière, sur lequel il est déjà installé. Quant à John Horner et fils, il choisit les terrains qui bordent le chemin qui mène à Montréal, incluant les emplacements de la petite rue Mill. Cet endroit, situé au pied du pont de la rue Principale, avait été désigné par Richard Frost pour ériger des moulins.

À partir de 1829, le village commence à se développer rapidement si bien que deux ans plus tard, une centaine de personnes s'y sont établies. John Cowie opère un moulin à carder la laine, Harlow Miner tanne le cuir dans un petit bâtiment d'un étage de demi sur l'ancien site de la gare et John Wetherbe, nouvellement arrivé, exploite une fabrique de potasse.

Pendant que l'économie locale s'élabore autour de ce noyau "d'industries rurales", Richard Frost dote son village d'une école qui servira aussi de salle publique et de lieu de culte et il ouvre un bureau de poste dans sa résidence. À ce groupe d'artisans et de commerçants, s'ajoutent un médecin et un aubergiste.

Le secteur du pont Mountain, considéré comme le berceau du village, est désigné plus tard comme la partie anglaise ou protestante de la ville par les francophones établis principalement dans le secteur de l'église Notre-Dame. À l'incorporation municipale, en 1859, ces derniers représentent 40% de la population de Granby.