Runt Stigbergstorget växte det fram en kåkstad med anledning av att det var utanför stadsgränsen och att Amiralitetets varv låg på platsen, från 1700-talet kallat Gamla varvet. Bebyggelsen växte på södra sidan av Stigbergsliden som i hela sin längd låg utanför stadsgränsen fram till 1868 då Majorna inkorporerades. Norra sidan låg utanför från ungefär där Wollins trapport går idag. I området mellan Stigbergsliden och älven växte den kåkbebyggelse som gick under namnet Fyrkanten fram, se särskild artikel.
Området söder om Stigbergsliden och väster om nuvarande Bangatan började sannolikt bebyggas redan på 1600-talet men tog ordentlig fart fart på 1700-talet, del längs med Stigbergsliden, dels kring Åsgatan och Kjellmansgatan samt kring Pölgatan (under en period Ölvägen), Allmänna vägen och Gamla varvsgatan (idag är en stump av denna kvar med namnet Delawaregatan). En del av husen var större och ägde av välbemedlade skeppare, redare, fabriksägare, läkare etc. Andra hus var små kåkar för fattiga. Allra pampigast var förstås Gathenhielmska huset. Det allra äldsta kvarvarande huset är Allmänna Vägen 2 A (Dahlströmska huset) som troligen uppfördes på 1740- eller 1750-talet.
Några citat från CRA Fredberg:
Utanför Söderlingska trädgårdens östra gräns ligger Ölvägen eller
Pölgatan, som den förr i världen kallades. Det är ett övermåttan pittoreskt litet gatuparti, som gör sig alldeles förträffligt, i synnerhet i vårens tider, då de röda stugorna skymta mellan äppleblomster och vita körsbärsträd, medan solen glimmar mot skumma fönsterglas.Förr i världen låg det alldeles vid gränsen mellan stad och land.
Nu är det en liten inklämd och fridlyst vrå som i sinom tid skall omramas av storstadens moderna husmassor, medan trädgårdens kronor, vilka skonats av rödjarens bila, sjunga svårtydda sånger om de gångna tiderna.
Nu äro nya stadsplaner uppgjorda för den del av Majorna, som ligger söder om det Gamla varvet. Och en del av detta område, Ölvägen och en bit av Söderlingska trädgården, skall, om det nu går som man tänkt, bilda en av de kulturreservationer, vilka i ett nytt Göteborg skola bära mera påtagliga vittnesbörd om tider som flytt.
[…]
Vid Allmänna vägens mynning låg å ena sidan Gathenhjelmska huset med sin gråa stenmur och sin rad av yviga lindar, å den andra sidan, ovanför Carlgrenska skolan, ett tvåvånings trähus med en trädprydd förgård. Det sistnämnda huset hade i många år ett rätt otrevligt namn: Helvetet. Men detta kom sig icke av något som helst rövareliv där, ej heller av dess senare egenskap av värdshus, utan förmodligen därav, att ställets ursprungliga namn i jordeboken — Hellewe — på detta sätt förvrängts i folkmunnen.
Många gamla majbor erinra sig utan tvivel det gamla huset, där senast Kongen på Styvern residerade — den strävsamme åkeriägaren och värdshusidkaren, som hette A. Jonsson, men fått sitt signifikativa smeknamn genom den traktörsrörelse, han tidigare bedrev på värdshuset Styvern vid Stigbergslidens början.
Denne Jonssons dotter, Martina Johnstone, vilken överflyttade till Amerika, var här mycket uppburen som violinvirtuos och lär ha hittat sin första fiol på vinden till faderns hus. Detta inlöstes 1886 i och för torgets utvidgning.
Mitt emot “Helvetet“, vid slutet av Gathenhjelmska gårdens mur, låg ett litet vackert envåningshus, med hög, på gatan utspringande trappa, så som det avbildas å sidan 320. Detta kallades i dagligt tal “Himmelriket” och ägdes en tid av köpmannen E. Dahlström. Han var en i Majorna mycket känd man, likaså hans dotter, vilken fått det vackra smeknamnet “Lilla Guds gåva“ — förmodligen därför att hon bodde i Himmelriket. Förövrigt hade W-6-ordens stiftare, bokhållaren A. Paulin, i många år sitt hemvist där.
Muren till Gathenhjelmska huset revs liksom Himmelriket i 1880-talets första år, varigenom torget och Allmänna vägen utvidgades. Kort förut hade Bangatan börjat utläggas. Hon kallades först vid namngivningen 1876 Banegatan, men namnet ändrades 1882, då även Karl Johansgatan döptes, till Bangatan. Namnet har sitt givna ursprung i den repslagarbana, som låg på gatans västra sida och vilken i 1800-talets förra hälvt innehades av repslagarmästarna Mathias Dahlström och dennes son Carl Wilhelm Dahlström. Här låg även Banängen, som sträckte sig från torget ända fram till Djurgårdskyrkogården.
[…]
Emellan Stigbergsliden och Johannis kyrkohöjd låg och ligger ännu i dag ett litet envånings trähus på en hög stenfot. Vid ena sidan leder en trätrappa in i huset, överskuggad av ett par lummiga träd. Detta gulmålade trähus var under flera decennier stadens yttersta krog vid stadsgränsen i väster och kallades Styvern. Det mest anmärkningsvärda med denna var att därigenom gick stadens gränslinje, innan Majorna i slutet av 1860-talet införlivades med Göteborg. Egendomligt nog gick linjen mitt emellan två rum, varav följde att det ena låg på stadens område, det andra på landet eller i Sävedals domsaga.
[…]
Med sin plats alldeles vid uppfartsvägen till Majorna, där alla de som arbetade i sjöfartens tjänst, sjömän, hamnarbetare, saltbärare, stuvare med flera, voro boende, låg värdshuset Styvern utmärkt till.
En lång tid i början av 1800-talet presiderade bakom disken å Styvern en sjömansänka Anna Sjöberg, vilken var vida känd i de båda förstäderna under namnet “Mor på Styvern”. Hennes man hade varit styrman på ett av Ambrosius Landgrens skepp, men då de dåliga konjunkturerna tvingade honom till overksamhet, tog hans resoluta gumma Bacchi spira i sin hand och arrenderade värdshuset vid Stigbergsliden.
[…]
“Mor på Styvern” tjänade en förmögenhet på sin krogrörelse, men hennes goda hjärta tillät henne inte att behålla allt för egen del.
Kring Allmänna vägen, Pölgatan och Delawaregatan finns idag de flesta byggnader kvar, men utefter Stigbergsliden finns bara Sjömanshemmet kvar och på Åsgatan inga gamla hus alls. En del revs för att ersättas med landshövdingehus på 1900-talet, husen i Stigbergsliden revs främst under 1960-talet och de sista på Åsgatan revs så sent som på 1980-talet.