Till en början hade Göteborgs Bank sin verksamhet på Drottninggatan 43-44, vilket köptes för 50 000 kronor. Under tiden som byggnaden renoverades, höll banken till i en provisorisk lokal vid Västra Hamngatan 11. Först i april 1848 flyttade de in i det egna huset.
1888 lät banken uppför en nytt stort bankpalats i hörnet Lilla Torget och Västra Hamngatan. Banken flyttade in i det nya huset i januari 1889. 1903-04 byggdes Lilla Torget 5 om för bankens räkning. 1974 flyttade banken från huset.
Sen bilderna tog har huset byggts om flera gånger och idag har det en slät putsfasad.