Die Herren von Rethe lebten bis 1388 in der damaligen „Borg“ von Rhede. Nach der Zerstörung erlaubte 1426 der Bischof von Münster den Wiederaufbau der Burg. 1564 wurde ein stattliches Herrenhaus, dessen Nordostflügel noch heute erhalten ist, von Lubbert von Rhemen erbaut. Das heutige Schloss im Renaissance Stil wechselte danach oft die Besitzer. 1850 erwarb die Fürstenfamilie zu Salm-Salm das Schloss. Es dient der Familie noch heute als Wohnsitz. Das Schloss und der Garten können aus diesem Grund nur von außen besichtigt werden.