Den första restaurangverksamheten i Trädgårdsföreningen var ett café som drevs av konditor Rubenson, också verksam på Bloms hotell, i en tältpaviljong på Floras kulle. Sexton år efter parkens tillkomst öppnades en värdshuspaviljong, vilken invigdes på eftersommaren 1858. Den var uppförd i en lätt morisk stil efter ritning av Edelswärd.
Den första källarmästaren i den moriska paviljongen var Josef Frick som 1878 efterträddes av brodern Christian Frick. Redan året därpå då paviljongen också byggdes om övertog Gottfrid Lovén verksamheten. Han hade tidigare drivit det Lovénska kaféet på Östra Hamngatan. Under 1880-talet början befanns den moriska paviljongen för liten och beslut togs om att bygga en ny restaurang.
Trädgårdsföreningens stora restaurang stod klar den 14 april 1887 efter ritningar av Adrian C. Peterson. Den förste källarmästaren i den nuvarande restauranten var J. P. Jonsson, vilken efterträtt Lovén i moriska paviljongen. När Jonsson
flyttade 1892, övertog Sven Svanfeldt restaurangen och efter dennes död
ledde fru Ester Svanfeldt under några år verksamheten. Fram till 1922 hette byggnaden Konsertsalongen. År 1892 gjordes en större tillbyggnad av ena flygeln och 1899 kopplades elektriskt ljus in för första gången. Genom en ombyggnad 1922, ritad av arkitekt Carl Bergsten, för 374 000 kronor, utvidgades restaurangen väsentligt och 1938 investerades det 80 000 kr i förbättringar i fastigheten. Byggnaden förstördes av brand år 1965.
En ny byggnad som stod klar 1969 byggdes. Den nya byggnaden kallades Restaurang Trägårn och blev en av Göteborgs större konsertlokaler och nattklubbar. Under en tid på 1980-talet låg nattklubben Yaki-Da i lokalerna. År 1995 brann även denna byggnad ner.
I maj 1998 stod en ny byggnad som ritats av arkitektfirman Studio Grön med med arkitekterna Fredrik Lund, Martin Forsby, Henriette Michaelsen och Mika Määttä och projekterats av Gustav Arvidsson på Higab klar. Den nya verksamheten med restaurang, konsertlokal och nattklubb fick det namnet Restaurang Trädgår´n.