Skolan har sitt ursprung i Göteborgs Kongl. Gymnasium som bildades 1647. Till en början huserade skolan i ett enklare skolhus av trä som uppfördes på Domkyrkoplan, i korsningen Kungsgatan-Västra Hamngatan.
När sedan Margaretha Hvitfeldt 1684 donerade sin stora förmögenhet till undervisning av gossar i Bohuslän, lades ytterligare grund till skolan. År 1823 revs det gamla skolhuset på domkyrkoplan och verksamheten flyttades tillfälligt till fyra rum i det Ostindiska huset. År 1826 fick läroverket nya lokaler vid Västra Hamngatan 15 och 1862 flyttade skolan in i ett ändå större och modernare hus vid Hvitfeldtsplatsen som till stor del finansierats ur Margaretha Hvitfeldts donation.
Gamla Latin. Bild: Rolf Broberg Licens: CC BY-SA 3.0
Har genom åren bytt namn ett otal gånger. 1850 till Göteborgs Högre Elementar-Läroverk, till Göteborgs högre allmänna läroverk år 1878, Högre latinläroverket från 1905.
1919 flyttade skolan till nya lokaler i Lorensberg. Bytte återigen namn år 1939, nu till Lorensbergs högre allmänna läroverk i Göteborg och från 1941 var namnet Hvitfeldska högre allmänna läroverket. Den nya byggnaden ritades av Ernst Torulf.
Hvitfeldtska gymnasiet. Bild: Historiker Licens: CC BY-SA 3.0
1966 kommunaliserades skolan och fick namnet Hvitfeldtska gymnasiet. Idag utgör även det tidigare Handelsinstitutets byggnad en del av Hvitfeldtska gymnasiet.