Le domaine de Bury aujourd’hui rattaché à Margency faisait antérieurement partie de la paroisse d’Eaubonne pour sa partie bâtie comportant un moulin (Bury Lévêque). L’histoire de ces lieux est riche de la présence de moulins et tuilerie (Messager). En 1272, les frères et sœurs de l’Hôtel Dieu de Montmorency possèdent par donation de Mathieu IV de Montmorency un moulin à Bury, qu’ils cèdent à bail. Les religieux se réservent l’usufruit de l’étang pour le poisson.
Au début du 18e siècle le domaine fut en partie détaché d’Eaubonne probablement parce que le moulin situé sur le ru de Corbon, coté Eaubonne avait perdu de son importance par rapport à la ferme située sur Margency. Un second moulin à eau, dit moulin Martinot, situé sur le ru de Corbon, existe également au 18e siècle, (bief réservoir et petit cascade à l’intérieur du parc, coté Margency. Le nom de martiot disparaît et remplacé par Bury, à l’étymologie inconnue.
Le domaine de Bury est délabré au début du XXème siècle ; il est acheté en 1822 par Ferdinand Tattet qui fit démolir les vieux bâtiments et les remplace par le château actuel, bâti en 1834-1835 sur les plans de l’architecte Louis Visconti à qui l’on doit, entre autres réalisations, le tombeau de l’Empereur aux invalides. Le parc est dessiné par Louis-Sulpice Varé, (on lui doit la réalisation du Bois de Boulogne) qui y fit planter des arbres rares dont les Cyprès chauves à « racines aériennes » (pneumatophores), Ailante, pins noirs, Séquoïa, Févier d’Amérique et platanes hybrides.
Le nom de Bury défraye la rubrique mondaine des années 1830, car il constitue l’un des lieux privilégiés où une classe de jeunes gens appelés dandys, y passe des nuits enfiévrées. Le fils de la maison, Alfred Tattet (1809-1856), fréquente des condisciples, passionnés de littérature, de jolies filles et de chevaux. Parmi eux, Alfred de Musset et Félix Arvers, son compagnon de classe. Musset qui entretenait une liaison difficile avec Georges Sand, y écrit en 1840, un sonnet célèbre, Tristesse.
Le domaine de Bury est divisé en deux, vers 1850. La partie Est devient le Petit Bury qui est acquis en 1913 par Aristide Denfert-Rochereau ; le reste du domaine, qui prendra le nom de Grand Bury, passe de mains en mains jusqu’en 1939, date à laquelle la veuve du dernier propriétaire, Ernest Plisson, le loue aux Pères maristes qui y replient le collège de Sierck, en Moselle et qui achètent la propriété en 1943. Bury deviendra ensuite le Lycée-collège que l’on connaît aujourd’hui sous le nom de Bury-Rosaire.
