Hus i nuvarande Brunnsparken som urpsrungligen byggdes som sockerbruk år 1750 med Carl Hårleman som arkitekt. Ägare av sockerbruket var Niclas von Jacobson. Brann ner 1792, användes som sockerbruk i privat regi (drevs av ägarna till Lisebergs sockerbruk, däribland B.H. Santesson, som brann ner 1808) mellan 1808 och 1813 då produktionen flyttades tillbaka till Liseberg. Krigskollegium köpte därefter byggnaderna och använde dem som spannmålsmagasin. Från 1825 till 1829 användes byggnaden av spannmålshandlaren Niklas Björnberg. Krigskollegium använde därefter byggnaden till 1841.
Sistnämnda år köptes byggnaden av Eduard Magnus som lät bygga om det till en fyrfamiljsvilla på 6 000 kvadratmeter. Från 1861 var framsidan söderut efter att Södra Hamnkanalen fyllts igen. Göthilda Magnus ärvde huset 1879. Hon och hennes man Pontus Fürstenberg flyttade in i palatset efter sitt giftermål i maj 1880. Huset hade då byggts om till en enfamiljsvilla efter ritningar av arkitekten Adrian C. Peterson. Paret lät även unga konstnärer bo i huset och som ersättning för mat och husrum fick de utsmycka huset. Några av dessa konstnärer var Carl Larsson, Anders Zorn, Bruno Liljefors, Ernst Josephson, Hugo Birger och Herman Norrman samt skulptören Per Hasselberg.
Fürstenbergska galleriet. Målning av Carl Larsson. Med Ernst Josephson och sittande paret Fürstenberg.
Efter ett tag räckte inte huset till för all konst och därför byggdes en tredje våning som stod klar 1885. Denna våning kom att kallas Fürstenbergska galleriet. Den första elektriska taklampan i Göteborg fanns i huset och det första rikssamtalet som ringdes med telefon skedde från denna fastighet under makarna Fürstenbergs tid. Makarna Fürstenberg testamenterade fastigheten och sin konstsamling till Göteborgs stad. Numera finns denna konstsamlingingen på Göteborgs konstmuseum där en kopia av det Fürstenbergska galleriet byggts upp.
Efter en större ombyggnad av Oswald Westerberg under 1906, då palatset byggdes om till hotell, invigdes det 28 oktober 1907 under namnet Palace Hotel vilket gett huset dess nuvarande namn, Palacehuset. År 1908 öppnades källarkrogen Gyllene Hornet. Under husets tid som Palace Hotel var bottenvåningen mot Brunnsparken inredd som en stor matsal, och utanför låg hotellets populära sommarveranda. 1968 upphörde hotellverksamheten.
På 1970-talet förvandlades matsalen till kontor för Wermlandsbanken och verandan revs. På 1980-talet låg USA:s konsulat i övervåningen på huset. År 1993 återställdes den före detta matsalen till restauranglokal och utsmyckningen i vitt och guld renoverades. Efter 1993 fanns i huset ett mindre hotell, restauranger och kontor. 2011 genomfördes återigen en större renovering och ombyggnad av restaurangdelen av huset med syfte att göra det mer likt det sena 1800-talets utseende på huset.
Andra källor:
CRA Fredberg, Det gamla Göteborg, 1923
G. Bodman, Göteborgs äldre industri, 1923
Palace-huset 2009