La dynastie des Van Robais par laquelle nous connaissons les magnifiques édifices à Abbeville commence en 1630 à Courtrai avec la naissance de Josse Van Robais, fils d’un tailleur de la ville. En 1652, il épouse en secondes noces Jeanne De Brandt. Puis commence sa carrière comme manufacturier en Zélande (Pays-Bas) et arrive à Abbeville en 1665 sur l’appel de Colbert et du royaume de France. Parce qu'ils sont protestants, le titre de Noblesse va leur être refusé.

De leur union naît Isaac Van Robais en 1654. Celui-ci épouse en 1677 en France, Anne Robelin et arrivent alors cinq enfants :

• Isaac Junior Van Robais

• Pierre Van Robais

• Samuel Van Robais

• Salomon Van Robais

• Abraham Van Robais

C’est Abraham Van Robais (petit-fils de Josse donc), né en 1698 qui est à l’origine de la maison neuve et du château de Bagatelle. C’est lui qui œuvrera le plus pour la manufacture et la fera accéder à son apogée.

Abraham s’unit à son tour à Abbeville le 14 février 1724 à Marie-Madeleine Dumoustier, fille de Jacques Dumoustier de Vâtre, alors secrétaire du Roi. De cette nouvelle union naissent quatre enfants :

• Josse Abraham Van Robais (1724-1788)

• Jacques Isaac Van Robais (1725-1788)

• André Van Robais (1726-1806)

• Madeleine Judith Van Robais (1729-1780)

Josse Abraham Van Robais continuera à son tour l’œuvre de son père et de ses illustres aïeux jusqu’au déclin de la manufacture.