Die mittelalterliche Burg, auf deren Resten und Fundamente das heutige Schloss ruht, wurde erstmals 999 als castellum Sarabrucca in einer Schenkungsurkunde des Kaisers Otto III. an den Metzer Bischof Adalbero II. erwähnt. Zweifelsohne muss man davon ausgehen, dass Vorgängerbauten der Burg bereits vor 999 auf dem Saarfelsen existierten. Im Mittelalter wurde diese zur Sicherung des Flussüberganges und der beiden Siedlungen Alt-Saarbrücken und St. Johann errichtet. Damals bestand die Burg aus der Hauptburg mit einem Bergfried, der sich vermutlich im Bereich der heutigen Schlossanlage befand, und einer Vorburg mit Marstall (Pferdestall) und einigen Wirtschaftsgebäuden. Der Zugang zur Burg erfolgte von der Ostseite und die Torzufahrt durch ein durch den gewachsenen Felsen gearbeitetes Tor an der Nordseite des Plateaus.

Die ersten größeren Zerstörungen erfuhr die Burg in den Jahren 1009 durch Kaiser Heinrich II. und 1168 durch Kaiser Friedrich I. Barbarossa. In den Jahren von 1563 bis 1617 wurde die Burg zu einem Renaissanceschloss um- und neugebaut. Von der mittelalterlichen Burg blieb dabei nur der massive Bergfried in der neuen Anlage erhalten. Das Schloss war insgesamt eine großflächige Anlage mit regelmäßiger Gruppierung um mehrere Höfe.

Als es in der zweiten Hälfte des 17. Jahrhunderts im Rahmen des Holländischen Krieges zu Einfällen von Franzosen in Saarbrücken kam, wurde das Renaissanceschloss weitestgehend zerstört. Erst 1696 gab es wieder Pläne das Schloss erneut aufzubauen und diese Arbeiten dauerten bis zum Anfang des 18. Jahrhunderts an. An der Ostseite des Plateaus wurden ein großer, in Terrassen absteigender Garten angelegt und starke Bastionen, von denen einige heute noch unter dem Schlossplatz erhalten und zugänglich sind, errichtet.