Schloss Hartheim ist ein Renaissanceschloss aus dem 17. Jahrhundert und zählt zu den bedeutendsten Renaissancebauten Oberösterreichs. Ende des 19. Jahrhunderts wurde es vom damaligen Besitzer Fürst Starhemberg dem Oberösterreichischen Landeswohltätigkeitsverein zum Zweck der Pflege geistig und körperlich behinderter Menschen geschenkt. Dieser Verein richtete 1898 im Schloss die so genannte "Anstalt für Schwach- und Blödsinnige, Idioten und Cretinöse" ein, in der bis zum Jahre 1940 unter der Obhut der Barmherzigen Schwestern vom Hl. Vinzenz von Paul behinderte Menschen gepflegt wurden. Mit dem Anschluss Österreichs an das Deutsche Reich 1938 und dem Gesetz über die Überleitung und Eingliederung der Vereine, Organisationen und Verbände vom 17. Mai 1938 wurde der Oberösterreichische Landeswohltätigkeitsverein am 10. Dezember 1938 aufgelöst und die Leitung der Anstalt der Fürsorgeabteilung der Gauselbstverwaltung übertragen.