År 1698 utfärdades en stadga mot s k lösdriveri. I samband med detta föreslogs att arbetshus eller så kallade spinn- och rasphus skulle inrättas i alla residensstäder. Spinnhusen uppfördes som ett slags tvångsarbetsanstalter där de intagna var så kallade lösdrivare (dvs fattiga bostadslösa) av båda könen. År 1735 kom en förordning från Kungl. Maj:t om att upprätta en s k nationell rasp- och spinnhusfond. Spinnhusfonden upptog avgifter från överflödsvaror som te, kaffe, ostron, krogar m m.
År 1740-1742 uppfördes spinnhuset samt en gårdsbyggnad på Stampen efter ritningar av arkitekt Bengt Wilhelm Carlberg. Officiellt skulle spinnhusets arbetskraft vara till nytta för stadens klädfabrikanter. 1773 övertogs spinnhuset av staden och arrenderades en period på 1790-talet ut till Bauers garveri på det intilliggande landeriet. Fram till omkring 1825 utgjorde spinnhuset en egen kyrklig församling, Göteborgs spinnhusförsamling. Den uppgick då i Göteborgs fattighusförsamling. Trots det fördes särskilda kyrkoböcker fram till 1896.
1867 började spinnhuset att användas för kvinnor som dömts till straffarbete. 1895 central straffanstalt för landets alla kvinnliga fångar (företrädelsevis barnamörderskor).
Spinnhuset blev år 1830 arbetsfängelse för enbart kvinnor. År 1833 byggdes gårdsbyggnaden på med ytterligare en våning. Det fanns även förslag på att komplettera gatuhuset med ännu ett plan i början på 1840-talet. Dessa förslag, som ritades av Heinrich Kaufmann, kom dock aldrig att utföras. Under andra halvan av 1800-talet och i början av 1900-talet genomfördes flera om- och tillbyggnader. Bland annat förlängdes gårdshuset 1896 åt öster med en flygel, som innehöll 60 nattceller. 1909 lades fångverksamheten ned.
Efter ritning av arkitekterna Arvid Bjerke och R.O. Swensson, genomfördes en inre ombyggnad 1916. Flera rum inreddes med träpanel och planen ändrades delvis. En tillbyggnad av trä med veranda på det övre planet utfördes på den södra gaveln. På grund av gatubreddning, togs samtidigt en del av trädgården mot gatan bort och nya plank sattes upp.
Kort därefter köpte Göteborgs stad byggnaderna som byggdes om till hem för ogifta mödrar med barn. Det bedrevs även utbildning för barnsköterskor. Det f.d. spinnhuset bytte då namn till Gullbergsbrohemmet. Verksamheten lades ner 1969 och byggnaderna har därefter använts för KFUM-KFUK med bl. a. café och vandrarhem om sommaren.
Sedan 1995 används byggnaderna av Gyllenkroken, en stiftelse för människor med psykiska funktionshinder. Gårdsbyggnaden används för korttidsboende och kursverksamhet.
