Efter ett förslag 1871 i Göteborgs stadsfullmäktige om att röja och planera det återstående området av den del av åttonde kvarteret, som låg mellan Engelska kyrkan och dåvarande Högre elementarläroverket inom vallgraven, beslutade stadsfullmäktige efter det i december samma år. Som villkor för bebyggelsen angavs att det på tomterna skulle uppföras fritt liggande stenhus. Den 1 maj 1873 inropades på auktion tomten nr 27 av segelmakare A. Nordgreen, som dock ej utnyttjade byggrätten utan sålde den vidare till Göteborgs stadsarkitekt Victor von Gegerfelt den 31 mars 1874.
Redan den 24 april samma år fastställdes ritningarna till den Gegerfeltska villan vid Arkitektgatan, dåvarande Ekelundsgatan. Gegerfelt behöll huset i knappt tio år, men hade då sen flera år tillbaka lämnat villan vid Arkitektgatan och flyttat till en ny villa som han tillsammans med Georg Krüger låtit bygga vid ”Bolanderska berget” i Vasastaden.
Den 1 maj 1884 såldes Gegerfeltska villan till överläkaren vid Sahlgrenska sjukhuset Frans von Sydow (1828-1914). Åren 1933-1962 ägdes huset av direktör F. H. Waidele som omsorgsfullt restaurerade interiören. Därefter såldes huset till färgfabrikör H Persson med familj som bodde där till 1974 då det såldes till direktör A. Wictorén.
Villan var fortsatta privatägd fram till 1999 men köptes den 9 april 2001 av Göteborgs kommun. Under 2006 flyttade Göteborgs universitet in i byggnaden efter att den sen 1999 använts av Svensk Nationell Datatjänst (SND) som inrättats i huset på uppdrag av Vetenskapsrådet.
Huset anses fyllt av gediget hantverkskunnande vad gäller målnings- stuckatur- och träarbeten. Som exempel kan nämnas att i salongen finns en stofftapet och i matsalen en kopia av en gyllenlädertapet. Målningarna under taklisten i salongen är signerade Reinhold Callmander, en känd glas- och interiörmålare i Göteborg.