Der erste schriftlich erwähnte Ritter aus dem Geschlecht Schade war 1238 Antonius Scathe. Die uradlige Familie aus dem Herzogtum Westfalen spaltete sich früh auf. Schade-Salwey war eine von vielen Linien und wohl seit dem 16. Jahrhundert in dieser Gegend ansässig. Um 1540 kam Jost von Schade nach Obersalwey, wo seine Frau vermutlich schon Besitz hatte. Im selben Jahr wurde auch das ursprüngliche Schloss erbaut. Im Jahr 1820 legte Wilhelm von Schade die heutige Form fest. Das Gebäude brannte kurz darauf jedoch ab. Seine Familie ließ das Schloss nach diesem Vorbild wieder errichten. Bis 1867 blieb das Gut im Familieneigentum, danach wechselte es mehrfach die Besitzer. Nach dem zweiten Weltkrieg wurde das Gebäude unterschiedlich genutzt. Seit 1984 steht es unter Denkmalschutz; im Jahr darauf wurde es renoviert. Heute gehört Schloss Salwey der Familie Graf von Spee.

Das zweigeschossige Schloss Obersalwey hat eine rechteckige Grundfläche und ist hell verputzt. Sein hohes Krüppelwalmdach ist mit Schieferschindeln gedeckt. Im Dach sind mehrere kleine Gauben spiegelgleich verteilt. Das ehemalige Herrenhaus ist achsensymmetrisch gestaltet. In den mittig gelegenen Haupteingang führt eine zweischenklige Freitreppe. Über der schlichten Eingangstür befinden sich ein dreieckiges Oberlicht und das Fenster der mittleren Fensterachse. Ein kleiner Dreiecksgiebel schließt diese Achse ab. Rechts und links der Mittelachse folgen jeweils 3 weitere Fensterachsen.  Nach Nordosten hin steht ein angebauter Rundturm mit einem polygonalen Spitzdach. Die Wetterfahne stammt vermutlich aus dem 17. Jh. Das Schloss wird von zwei Wirtschaftsgebäuden eingerahmt. Einer der quer vorgelagerten zweigeschossigen Fachwerkbauten mit durchgehender Querdeele und Durchfahrten war ursprünglich evtl. eine Vorburg.

Zuerst waren es vermutlich Jost von Schade und seine Frau Maria von Cobbenrade, die sich ein Schloss in Salwey bauten. Das Anwesen blieb bis 1867 in Familienbesitz, dann verkaufte Friederike von Schade es nach dem Tod ihres Mannes. Das Schloss wechselte durch Verkauf und Erbe mehrfach die Eigentümer: Es gehörte in dieser Zeit den Familien von Rump, Landsberg-Velen-Gemen und Wrede-Meschede. 1908 heiratete Anna Wrede-Meschede Graf Stephan von Spee. Der Familie von Spee gehört das Schloss noch heute. Nach dem 2. Weltkrieg war hier eine Zeitlang die Forstverwaltung der von Spees untergebracht.  Nachdem das Herrenhaus nicht mehr von der Familie benötigt wurde, wurden die Innenräume Anfang der 1960er Jahre umgebaut und renoviert. Die Privatbrauerei Iserlohn pachtete das Schloss und nutzte es als Hotel. Später stand es einige Jahre leer. Nach der Renovierung zog 1985 ein Studio für Werbefotografie ein. Heute wird das Schloss privat genutzt.