Das aus dem 17. Jahrhundert stammende Schloss wurde im Auftrag der Herzöge von Geldern (Gelre) erbaut. Das heutige Schloss wurde auf den Ruinen der früheren Burg erbaut, die wiederum auf den Überresten der ersten Burg ´Huys den Kamp´ gebaut wurde.
Das heutige Schloss wurde in der Barockzeit gebaut. Der Barock zeichnet sich durch üppige Formen und dem damaligen Streben nach Größe und Reichtum aus. Der linke Seitenflügel und die linke Seite des Schlosses brannten zwischen 1806 und 1850 bis auf die Grundmauern ab. Nur die linke Seite des Schlosses wurde später wieder aufgebaut.

Der letzte Bewohner des Schlosses, Professor Deusser, verlässt das Schloss im Jahr 1931. Danach folgen viele Jahre Leerstand und Verfall.

1976 verkauft die Stiftung Antonie Deusser das Schloss mit den Nebengebäuden und dem ausgedehnten Landgut an Stichting (Stiftung) Het Limburgs Landschap. Diese Stiftung beginnt mit einer umfangreichen Restaurierung des Schlosses und den dazugehörenden Außenbereichen. Ab 1986 werden das Schloss und 32 Hektar umfassende Landgut in Erbpacht von Kasteeltuinen Arcen B.V. verwaltet.

Innerhalb von zwei Jahren wird mit dem Entwurf des Gartenarchitekten Niek Roozen eine einzigartige Gartenanlage realisiert, die am 21. Mai 1988 von Prinz Bernhard eröffnet wird. Seit dieser Zeit besuchten jährlich Tausende Besucher den Park. Ende 2012 leitet die Stiftung Het Limburgs Landschaft wieder in eigener Regie und betreibt den Park selbst.