Statens Järnvägars bangård började anläggas på Gullbergsvass i det område som då kallades Hultmans holme (tidigare Stadstjänareholmen) år 1856. Centralstationen, lokstallar och verkstäder byggdes där det tidigare fanns en vallgrav. Lokstallarna och verkstäderna låg vid nuvarande Nils Ericssonsplatsen.
Bangården byggde ut allteftersom och anknöts också till Södra hamnbanan eller SJ Hamnbana (som den kallades från 1867) längs med kajerna på södra sidan av Göta älv.
På 1920-talet flyttades verkstäderna ut till Sävenäs bangård. En ny viadukt byggdes så tågen från söder (Västkustbanan och Boråsbanan) kunde komma in på centralstationen och en annan byggdes så tåg skulle kunna köra direkt från söder till Sävenäs bangård. Bangårdens östra del började växa fram och nya lokstallar anlades längre österut vid Skansen Lejonet där Artillerikyrkogården tidigare låg och på Sävenäs bangård.
1930 gjordes en större ombyggnad då all järnvägstrafik i Göteborg lades om så att persontrafiken gick till Göteborgs central och godstrafiken till Bergslagernas Järnvägars bangård. SJ:s bangård kunde 1930 inte längre hantera växlingen för hamnbanan och Skansbangården byggdes därför mitt mellan BJ:s bangård och SJ:s bangård för att hantera trafiken på SJ Hamnbana.
