Um einen rechteckigen Innenhof erbaut, umfasste das Hochschloss vier Geschosse und war als Wohnschloss konzipiert.
In den 1560er Jahren ließ Erzherzog Ferdinand II. die Anlage von den Architekten Giovanni und Alberto Lucchese zu einem Renaissance-Schloss umgestalten. Noch vor Beginn der Bauarbeiten schenkte Ferdinand II. das Schloss seiner ihm damals noch geheim angetrauten Frau Philippine Welser.
