Till en början hade Göteborgs Bank sin verksamhet på Drottninggatan 43-44, vilket köptes för 50 000 kronor. Under tiden som byggnaden renoverades, höll banken till i en provisorisk lokal vid Västra Hamngatan 11. Först i april 1848 flyttade de in i det egna huset.
1888 lät banken uppför en nytt stort bankpalats i hörnet Lilla Torget och Västra Hamngatan. Banken flyttade in i det nya huset i januari 1889. 1903-04 byggdes Lilla Torget 5 om för bankens räkning. 1974 flyttade banken från huset.
![Lilla Torget 1903](https://upload.wikimedia.org/wikipedia/commons/4/47/Lilla_Torget_3-6%2C_G%C3%B6teborg%2C_cirka_1903.jpg)
Lilla Torget 1903. Lilla torget 5 byggs om för bankens räkning.
![Göteborgs Banks hus 1904](https://upload.wikimedia.org/wikipedia/commons/2/2f/G%C3%B6teborgs_Bank%2C_V%C3%A4stra_Hamngatan_1_och_Lilla_Torget_5-6%2C_GSM_1904.jpg)
Göteborgs Banks hus 1904 efter att Lilla Torget 5 byggts om och ihop med hörnhuset.
Sen bilderna tog har huset byggts om flera gånger och idag har det en slät putsfasad.