Der Sage nach hat sich bereits im 6. Jahrhundert an der Stelle des heutigen Sachsenberg eine alte sächsische Volksburg als Gegengründung zu Frankenberg befunden.

Im Jahr 1230 beschließt der Abt von Corvey, in der Nähe der Burg Lichtenfels eine Stadt zu bauen. Eine erste Erwähnung „Sassenbergs“ als Corveyscher Besitz erfolgt 1251 und im Jahr 1262 wird Sachsenberg erstmals als Stadt genannt.

Nach einer Fehde verpfändet Corvey 1267 Sachsenberg dem Adolf I. von Waldeck und Schwalenberg. 1297 verzichtet Corvey endgültig zugunsten der Waldecker Grafen.

Im Jahr 1537, Sachsenberg gehört zum Amt Eisenberg, wird eine Burg erwähnt, die vermutlich im 30-jährigen Krieg wieder zerstört wurde. Als möglicher Standort der Burg wird der in der Nähe Sachsenbergs gelegene „Burgberg“ vermutet.

In den folgenden Jahrhunderten wird die Stadt immer wieder von Katastrophen heimgesucht. Im 16. und 17. Jahrhundert wütet die Pest auch in Sachsenberg. Insgesamt 550 Einwohner fallen ihr zum Opfer. Im Siebenjährigen Krieg (1756 bis 1763) wird die Stadt von französischen Truppen besetzt und verwüstet.

Der erste große Stadtbrand 1844 vernichtet die östliche Oberstadt mit insgesamt ca. 70 Gebäuden. Am 10. August 1889 brennt es erneut. Diesmal fällt die Stadtmitte mit dem 1585 erbauten dreigeschossigen Fachwerkrathaus den Flammen zum Opfer. Über 120 Wohn- und Nebengebäude werden zerstört. Mit dem Rathaus verbrennt auch ein Großteil der alten Stadturkunden, Chroniken und Akten.

Trotz der durch die wiederholten Brände entstandenen Verwüstungen und der beim Neuaufbau vorgenommenen Veränderungen ist der ursprüngliche, an den Städten der Staufer orientierte, Entwurf mit schachbrettartigem Grundriss noch erkennbar. Der kleinstädtische Charakter wird unter anderem durch die Reste der alten Stadtmauer, den zentral im alten Ortskern gelegenen Marktplatz mit dem Rathaus und einige stattliche Bürgerhäuser, die die turbulenten Zeiten überdauert haben, geprägt.

Ein anschauliches Beispiel für die Baustile verschiedener Epochen und unterschiedlicher Kulturkreise, dem fränkischen und dem sächsisch-hessischen, ist das Fachwerk-Ensemble am „Hofstadtplatz“, dessen Bezeichnung auch als Hinweis auf eine untergegangene Burg interpretiert wird.