Polhemsgymnasiet har sitt ursprung i Chalmerska slöjdskolan som grundades 1829. 1852 inrättades en förberedande ettårig utbildning på slöjdskolan för att öka elevunderlaget och från 1878 gjordes den till en tvåårig förberedande utbildning. Denna del kom att kallas för ”Chalmers lägre” och den andra därmed för ”Chalmers högre”. 1937 beslutade riksdagen att Chalmers skulle förstatligas och att den högre avdelningen skulle få högskolestatus varvid ”Chalmers lägre” omvandlades till Tekniska gymnasiet i Göteborg (TGG).
1962 skapades fyra filialer till Tekniska gymnasiet och från och med höstterminen 1963 omvandlades dessa fyra till ett eget gymnasium som fick namnet ”Tekniska gymnasiet II”, varför tidigare ”Tekniska gymnasiet” fick namnet ”Tekniska gymnasiet I”. Fram till och med vårterminen 1966 var Tekniska gymnasiet I statligt finansierat men i och med gymnasiereformen 1966 blev skolan kommunal och döptes om till Polhemsgymnasiet, medan Tekniska gymnasiet II omvandlades till Aschebergsgymnasiet.]
Mellan 1937 och 1945 fungerade dåvarande rektorn för högskolan Chalmers, Sven Hultin även som rektor för Tekniska gymnasiet. Efter detta tog Olof Sjöstrand över som rektor för gymnasiet. Eve Staffansson efterträdde Olof Sjöstrand som rektor år 1958 och stannade fram till 1980-talet.
Tekniska gymnasiet (senare Polhemsgymnasiet) låg fram till och med 1994 på Vasagatan 50 i kvarteret Kronoberg, Lorensberg. 1994 flyttades skolan till Lindholmen på Hisingen, med adressen Diagonalen 4. Skolan har under hela sin verksamhet haft tekniska utbildningar, men fler utbildningar har tillkommit.