Rouvroy fut longtemps le seul faubourg (c'est à dire situé extra-muros) avec Thuyson à posséder une église. La première digne de ce nom a été bâtie en 1528 sur l'emplacement d'une ancienne chapelle du XIIIème siècle, époque où fut ramenée de Constantinople à Amiens la face de Saint Jean Baptiste, découverte par le chanoine de Picquigny en 1206.

Le cimetière de Rouvroy à cette époque se situait traditionnellement autour de l'église. Près du presbytère, dans ce cimetière reposait Honoré-François Dequen, député d'Abbeville à la convention Nationale dont le fils unique, Alexandre-Honoré Dequen fut curé de la paroisse avant d'être prêtre à Saint Sépulcre et aumônier des carmélites jusqu'en 1872, date de son décès. Le cimetière de Rouvroy a été transféré au bout du faubourg, rue du champ de tir, en direction de Mareuil-Caubert en 1864.

L'église actuelle a été construite de 1898 à 1901, ouverte au culte en 1902, baptisée Saint Jean-Baptiste en 1903. L'horloge est alors située sur la devanture du clocher. Les deux cloches qui sonnaient dans l'ancienne église ont été remontées dans celle-ci.

Il se trouve sur son côté une réplique de la grotte de Lourdes dont la bénédiction a eu lieu le 10 mai 1936.

Les évènements du 20 mai 1940 semblent ne pas avoir causé trop de dégâts. Malheureusement, le 3 février 1943, une grosse bombe tombe en face de l'église. Son explosion ébranle fortement le clocher et brise une des cloches.

Refondue 12 ans plus tard, "Renée Marie Gabrielle" remplace "Gabrielle Marguerite", victime des bombardements, en 1955. Son baptême a lieu le 17 novembre 1957 en présence de Monseigneur Stourm, évêque d'Amiens et l'abbé Bouthors, prêtre de la paroisse.