År 1803 hade stora delar Göteborgs innerstad brunnit ner. John Lyon ägde tomterna vid nuvarande Kungsgatan 41. Han lät på tomten bygga ett tvåvåningshus i sten som var klart 1805 och två år senare såldes till Royal Bachelors Club.
1842 köptes huset av Bengt Erland Dahlgren som behöll det tills han dog. Året efter hans död såldes det till Julius Lindström. Dahlgren inredde sin bostad med konst av olika slag och pampiga möbler.
Lindström gjorde 1884 en stor om- och påbyggnad med Victor Adler som arkitekt. Huset fick tre våningar. 1905 blev järnhandlare Nyberg ny ägare. Idag ägs huset av Cityfastigheter.