Schon um 1200 schützte eine markgräflich-meißnische Wasserburg die Kaufmannssiedlung, die sich an einem Muldeübergang entwickelt hatte. Ihre erhalten gebliebene Grundstruktur geht auf die Zeit um 1400 zurück: Im Osten steht ein Palas mit Bauelementen aus unterschiedlichen Zeitepochen, ihm gegenüber im Westen das einstige, mittlerweile mehrfach umgebaute Kornhaus und die Reste eines Bergfriedes. Nach Norden hin wird das Ensemble durch eine Schildmauer abgeschlossen, der Südseite ist das Gebäude der einstigen Fronveste vorgelagert. Spätestens zum Anfang des 15. Jahrhunderts wurde das Schloss zu einer Nebenresidenz der Wettiner. Einige von ihnen wurden hier auch geboren. So hatte Albrecht der Beherzte, der Stammvater der albertinischen Linie der sächsischen Landesfürsten, Grimma immer als seine Heimat betrachtet und Friedrich der Weise hatte hier seine Bildung erhalten. Mehrere Land- und Fürstentage trafen hier wichtige Entscheidungen.