Nach dem 'Alten Schloss' am Rande des Schlossgartens ist das Stammheimer Schloss das älteste Schloss in Stuttgart. Errichtet wurde es in den Jahren 1579 bis 1581 unter Leitung des Renaissance-Baumeisters Heinrich Schickhardt, von dem später auch Gebäude wie der Fruchtkasten, oder auch der Prinzenbau und die Merkursäule errichtet wurden.
Hans Wolf von Stammheim, der letzte des Namens von Stammheim, hat Schickhardt mit dem Bau des Schlosses beauftragt. Damit hat Schickhardt im Alter von nur 21 Jahren seinen ersten großen Auftrag erhalten.
Das Stammheimer Schloss wurde an Stelle einer Wasserburg aus dem 12. Jahrhundert auf der Gemarkung der von Stammheims errichtet. Heinrich Schickhardt hat eine schlichte dreiflügelige Anlage gestaltet. Der Innenhof wurde gen Osten offen gestaltet. Der Süd- und der Westflügel wurden 1579 erbaut. Im Anschluss folgte der Nordflügel, welcher den Hauptteil des Schlosses bildete. Am runden Treppenturm wurde das Jahr der Errichtung, 1581, eingelassen. Ursprünglich gab es einen weiteren runden Treppenaufgang an der Giebelseite des Nordflügels. Dieser wurde jedoch 1885 abgerissen.
Erbaut wurde das Schloss in der Erdgeschossebene aus Bruchstein. Das Obergeschoss hingegen wurde als verputztes Fachwerk errichtet. Zudem gab es ursprünglich im Bereich des Innenhofes eine Art Laube, welche mittels Steinsäulen abgestützt wurde.
Das Erdgeschoss des Hauptbaus bestand ursprünglich aus nur einem Raum. Dessen Decke wurde von mächtigen Eichensäulen getragen wurde. Heute ist noch eine dieser Säulen im jetzigen Speisesaal vorhanden.
Die Giebelfachwerke wurden im Zuge umfangreicher Sanierungsarbeiten in den Jahren 1976 – 1978 unter der Leitung von Gerhard Fetzer und Christian Eberlein freigelegt. Zudem erfolgten während dieser Sanierungs- und Renovierungsarbeiten mehrere Umbauarbeiten innerhalb des Gebäudes.
Im Jahr 1737 hat das Herzogtum Württemberg das Schloss käuflich erworben. 1858 ging es in private Hände über. Seit 1885 befinden sich im Schloss bis heute soziale Einrichtungen. Heute beherbergt es ein Alten- und Pflegeheim der 'Evangelischen Altenheimat'.