Ett av de första områden som bebyggdes på Stampen var området närmast fördämningen i Mölndalsån som möjliggjorde Fattighusån. David Amija och Hans Coopman anlade 1704 en klädesfabrik på detta område. Denna byggnad såldes 1725 av H. von Gerdes dödsbo till staden för att användas som fattighus för fattiga personer från rika familjer. Köpesumman var 600 daler silvermynt. Det forna klädesfabrikshuset finns inte kvar.
Ett nytt fattighus uppfördes efter ritningar av Bengt Wilhelm Carlberg år 1767. 1929 flyttade Göteborgs Dispensär in i det gamla trähuset. År 1973 flyttade Dispensären sin verksamhet till Landala, och i samband med att Domkyrkoförsamlingen tog över huset ändrades namnet till Mariagården.
I början av 1800-talet skapades Stampens kyrkogård och lite efter det även en ny Fattighuskyrka efter att ett tidigare torkhus använts som provisorisk kyrka sen 1767. Idag heter kyrkan Mariakyrkan.
I slutet av 1800-talet delades Stampen in i kvarter. Planen var då att Baldersgatan skulle fortsätta till Lilla Stampgatan precis vid dämmet. Där ligger Baldesplatsen idag men gatan byggdes aldrig. Kvarteret Stångebro skulle bli området där fattighuset och Fattighuskyrkogården låg. Vid Baldersplatsen ligger idag en förskola som byggts på platsen för det tidigare slakthuset, senare en förrådsbyggnad.