L'Isle Adam, et principalement le château de CONTI, est le fief de la famille de VILLIERS DE L'ISLE ADAM, puis berceau de la branche des BOURBON CONTI. Le tournant de l'histoire du château se situe très exactement le 7 Octobre 1783; en effet, depuis la mort de son père en 1767, Louis François Joseph de BOURBON-CONTI, sixième et dernier prince de sa lignée, avait engagé de grands frais pour réparer, agrandir et embellir le château ancestral qui avait reçu en ses murs MOZART et LA FONTAINE, faire de la forêt un centre idéal de chasse à courre, construire de luxueuses écuries, maintenir son dispendieux rang de prince de sang, et aussi, il faut bien le dire, éteindre les dettes de son père.
Entre 1767 et 1783, soit pendant seize ans, il fut obligé d'émietter année par année, une partie des biens hérités; il se résolut, âgé de 40 ans, à vendre en bloc à Louis XVI et à Monsieur frère du Roi, le reliquat des biens hérités, vente qui donna lieu à la rédaction de contrats compliqués, mais qui assuraient au prince des rentrées d'argent substantielles lui permettant de s'adonner à son passe-temps favori: la chasse à courre. Il pourra même combler de prodigalités son fils adultérin, le chevalier de VAUREAL, et de générosités les habitants de L'Isle Adam. Vint la Révolution en 1789. Après avoir quitté la France et y être revenu le 3 Avril 1790, le prince passe cinq mois à L'Isle Adam, et le quitte pour toujours en Août 1790, date à laquelle les destins du château et de son prestigieux hôte se séparent à jamais. Le château perd 5011 âmes: les brillants équipages de chasse ne défileront plus jusqu'à la forêt où ne s'entendront plus les fanfares des trompes de chasse; les lustres qui, le soir, illuminaient les façades du château, resteront définitivement éteints. Seul le cadre persistera avant de disparaître à son tour.
La Convention Montagnarde examine de très près les contrats de 1783 où elle trouve la justification juridique de la nationalisation des biens; elle confirme la validité des contrats, mais elle substitue la Nation au Roi, puisque celui-ci a été guillotiné le 21 janvier de cette année 1793. C'est ainsi que le 8 Germinal de l'AN II, le maire intérimaire de l'Isle Adam, fait faire sept écriteaux portant en gros caractères "Respect aux propriétés Nationales". Ces écriteaux sont alors apposés sur tous les biens du Roi et de Monsieur frère du Roi.
Le 16 Floréal an II, GOUTHON, Président du Comité de Salut Public, demande à la Convention Montagnarde de ne pas vendre les neuf maisons princières des environs de Paris, dont le château de l'Isle Adam, mais de les entretenir aux frais de la République pour les utiliser à l'enseignement des Arts et de l'Agriculture. Hélas, après que Robespierre et sa bande aient été arrêtés le 9 Thermidor an II et exécutés le 10, cette proposition ne sera jamais suivie d'effet. La Convention Montagnarde tombe à l'eau et le château sera vendu aux enchères.
Pendant la captivité et l'exil de CONTI, un seul homme avait été chargé de l'entretien du château. C'est dire si ce dernier fut pratiquement laissé à l'abandon : accumulation de poussières et de toiles d'araignées, logements de troupes, déprédations parfois volontaires, carnages de gibier, usage des grandes écuries pour élever lapins et poules, vol du matériel et des armes. Lorsque les intempéries s'y ajoutaient, c'étaient de vrais désastres : volets arrachés par le vent, vitres brisées, pénétration de pluies sur les parquets et les tentures, sur les précieux meubles, infiltration de l'Oise en crue dans les souterrains.
Après les ventes des biens du clergé dès 1789, c'est le Directoire qui entreprit la vente des biens de la liste civile, et qui est donc responsable de la disparition du château et de ses dépendances. Les acheteurs étaient en général des parisiens enrichis : ils revendaient leurs acquisitions avec de gros bénéfices ou les démolissaient pour vendre les matériaux au détail : c'était la fameuse "bande noire". Le 18 Octobre 1796, l'administration centrale de Seine et Oise ordonne à la municipalité la mise en état des abords des châteaux de l'Isle Adam et de Stors. Les affiches informant le public de la vente du château sont apposées un peu partout, et la vente est fixée au 4 Floréal de l'an VI. Le citoyen HEVER négociant représenté par un intermédiaire acquiert ainsi le château et son mobilier. Il y installe une fabrique de rubans, fils et laines, qui fonctionne jusqu'en 1800. A sa mort en 1802, ses héritiers cèdent le château au citoyen BROUSSE. Ce dernier rase tout, sauf les deux pavillons de gardiens du château, dont l'un sera incendié par les prussiens en 1870.
A la fin du XIX ème siècle, la famille DUCAMP rachète le site, et construit alors l'édifice style Louis XIII que nous connaissons de nos jours.
EN 1918, un restaurant à l'enseigne du "ROYAL CONTI" s'y installe, et y connaîtra une franche notoriété, attirant en ces lieux les plus beaux fleurons de la haute bourgeoisie parisienne, à l'instar de CECILE SOREL qui venait y dîner fréquemment, amarrant son beau yacht blanc aux berges de l'Oise.
Puis, après être resté longtemps à l'abandon, Monsieur NIELSSEN, homme d'affaires danois, racheta le château, avant de tomber en faillite internationale.