Arbetareföreningens första byggnad uppfördes vid Nya Allén med kortsida mot Järntorgets östra sida efter ritningar av Victor von Gegerfelt och invigdes den 19 augusti 1874. Göteborgs stad upplät hörntomten Järntorget/Nya Allén till föreningens planerade byggnad för 25 000 kronor. Byggnaden inrymde från början möteslokal och teater. 1884 tillkom en basarbyggnad mot Järntorget.
Från 1908 fungerade byggnaden också som Folkets hus.
Huset byggdes ut 1909 med en stor fastighet inklusive en fasadlänga mot Järntorget till sitt slutliga utförande enligt ritningar av Hans Hedlund (invigdes 26 september), vilket även gav lokaler till Arbetareinstitutet, tidningen Ny Tid och senare Nya Teatern. Därefter omfattade byggnaden hela kvarteret Amiralen.
Utbyggnaden finansierades av ett konsortium, bestående av firmorna D. Carnegie & Co., A. Pellerin, Ekman & Co och Johansson & Carlander, samt Hjalmar Wijk, Erik Wijk, Otto Mannheimer, Herman Mannheimer och konsul Fr. Holm samt A. W. Melins sterbhus. Skandinaviska Kredit AB stod också för en del av finansieringen i form av lån. CRA Fredberg beskrev den nya byggnaden så här:
Går man upp för en av trapporna åt Allégatan ha vi — meddelar redaktör G. Blom, som är väl förtrogen med alla vrår och vinklar i det stora huset — kärnan i det hela: stora salen. Den gamla byggnaden är här kvar, blott tillbyggd. Det som förut var långsida blir kortsida; salen har ryckt in på den gamla gårdens plats. Icke långt från Östergatan har man dess avlägsnaste parti, scenen, med klädloge och en liten bakväg ut mot trappan till Haga Östergata. I omedelbar förbindelse med stora salen ligger en mindre sådan, E-salen. Den har serveringsrum och förbindelse med restaurationen. Stora salen rymmer 1,200 personer, men kan tömmas på ett ögonblick, då icke mindre än sex trappor leda från densamma.
Går man tillbaka en annan trappa, åt Mellangatan, passerar man Arbetareföreningens kontor. Från nedre förstugan har man tillträde till Stuveriarbetarnes exp. I detta hörn ligger en sal rymmande 250 personer och försedd med serveringsrum och andra bekvämligheter. Vidare Ny Tids tryckeri. Därovan kommer ytterligare ett par fackföreningsexpeditioner samt lokal för en nykterhetsservering med en friluftsterrass på taket och utsikt över hela staden.
I andra våningens sydvästra hörn ligger Arbetareinstitutets lokaler: en hörsal för 350 personer, en undervisningssal för 100, en för 60 och en för 50 personer jämte bibliotek och expedition.
I tredje våningen är först att märka B-salen, för 500 personer, liggande över Ny Tids redaktion. Här finnes dessutom expeditioner för olika fackföreningar.
Fjärde våningen omsluter stora salen och en liten ljusgård. Där inrymmas F-salen, G-salen och tre mindre möteslokaler för en 50 å 60 personer. Vidare Arbetarekommunens expeditions- och arkivrum samt sjuk-kasseverksamhetens lokaler.
Går man ännu en trappa högre har man först C-salen för 350 personer, ett par mindre salar, fotografiatelier m. m. Högst uppe, i 6:te våningen, har man C-salens läktare m. m. Nämner man slutligen den stora restaurationen åt Allégatan med tillhörande köksavdelning, kylrum, kontor och andra anordningar, postkontoret och butikerna har man sagt det väsentligaste.
Att det är en omfattande byggnad, torde blotta uppräknandet härovan ha klargjort. Vill man ha en mätare på, hur stort arbetarepalatset i själva verket är, talar kanske ingenting så tydligt som att det innehåller i det närmaste 200 rum. Elva salar finnas för tillfällig uthyrning. Dessa ha sittplats åt 2,900 personer. Dessutom komma hörsalar på mer än 800 personer och de många fackföreningsexpeditionerna, som giva plats åt ett tusental. Femtusen människor få gott utrymme, utan att behöva taga restaurationen eller de enskilda lokalerna i anspråk.
Dessa väldiga utrymmen förslå emellertid inte. Arbetarrörelsen vidgas och kräver alltjämt nya. För att tillgodose dessa har föreningen köpt huset Mellangatan 2 B, hörnet åt Östergatan, vilket helt och hållet skall tagas i anspråk för fackföreningsexpeditioner etc., så snart hyreslagen slopas. Vidare har föreningen köpt en tomt i Olskroken, där ett församlingshus i sinom tid skall uppföras. Medel till dessa finnas i den fond, vilken t. v. förvaltas av det gamla Folkets hus’ aktiebolag och vilken uppkommit genom försäljningen till staden av det gamla Folkets hus vid Skanstorget.
Den som styr och ställer i detta hus såsom vicevärd och styrelsens ombud är kamrer H. Lindholm, en av den Göteborgska arbetarrörelsens mest framskjutne män. Han är tillika en av det socialdemokratiska partiets mest intelligente, kloke och betrodde medlemmar, duktig kommunalman och stadsfullmäktiges vice ordförande.
Såsom förut anmärkts har ett och annat i Arbetareföreningens gamla program stått sig genom tiderna och burit goda frukter. Så är hundra-mannaföreningsidén egentligen grundad på föreningens sjuk- och begravningskassor, och nutidens kooperativa handelsrörelse är väl en slags arvtagare till föreningens konsumtionsföreningar. Den första hundramanna-föreningen Idogheten stiftades på initiativ av tull vaktmästarna H. J. Svensson och J. F. Sandbeck 1871 av ett antal män, vilka varit missnöjda med föreningens nöjesliv och vid den förut berörda striden inom föreningen 1870 brutit sig ur.
Härmed har jag skildrat föreningens öden, vilka helt visst i framtiden skola i mångt och mycket följa andra linjer än dem som uppdrogos av stiftarne. Innan jag inlåter mig på arbetarrörelsens vidare utveckling, skall jag emellertid nämna något om de två institutioner, vilka jämte Arbetareföreningen äro de äldsta i föreningshuset.
Mellan 1909 och 1925 inrymde byggnaden Nya Teatern och därefter biografen Nya Teatern (Nyan) fram till 1955.
År 1946 såldes fastigheten till Tryckeri AB Framåt. I slutet av 1940-talet flyttades Folkets hus till torgets norra sida. Byggnaden revs 1955 för att ge plats åt Ny Tids nya hus.