Åren 1639–41 anlades en förskansning med jordvallar på Risåsberget (RyssåsenRysåsen, Rysås) efter egendomen Rydet som då kallades Ryssåsens skans eller Juteskrämman. Senare kom berget att kallas Skansberget efter befästningsverket som byggdes på toppen, Skansen Kronan.
Av militärt strategiska skäl höggs all skog ner på Rysåsen 1650, och därefter tillkom också en del murverk, samt ett batteri som lades på bergets högsta topp. Det var Johan Wärnschiöldh, som några år före sin död hade hand om detta arbete. Men skansen förföll och ersattes av den nuvarande, ritad av Erik Dahlbergh, vars grundsten lades den 9 juni 1687 sedan ritningarna godkänts av kung Karl XI. På den norra sluttningen växte det snart fram en kåkstad som snart fick namnet Haga och senare bebyggdes med trähus i två våningar och landshövdingehus. Norra delen av Skansberget och Skansen Kronan kan sägas ingår i kvarteret Trumslagaren.
Befästningsverket uppfördes 1687–89 under ledning av Olof Örnehufvud och kapten Carl Magnus Stuart samt efter ritningar av Erik Dahlbergh. Skansen består av ett åttkantigt torn i fyra våningar med kanonsalar eller kasematter i de två mellersta. Muren består av gråsten och är som mest sju meter tjock, medan taklistkonsolerna är gjorda av granit. Åtminstone en del av den sten som användes för att bygga Skansen Kronan tros komma från Gamla Älvsborg i Klippan. Översta våningen försågs med skottgluggar för infanteri, och i nedervåningen blev det krutmagasin, logement och en ugn att tillverka kanonkulor i. På taket uppsattes 1697 en krona av trä, klädd med förgylld koppar utförd av bildhuggaren Marcus Jäger den äldre. Den ersattes vid en renovering 1738 med en krona av endast trä.
Mellan Skansen Kronan och fästningstaden, gick en kaponjär, en förbindelsegång med försvarsverk och vattengrav på båda sidor. Den stod färdig 1692, och förbindelser fanns då mellan Skansen Kronan och bastionen Christina Regina, varifrån en underjordisk gång ledde till bastionen på Lilla Otterhällan (Kungshöjd). Kaponjären togs bort i början av 1800-talet när stadsmurarna och befästningsverken runt Göteborg stadskärna revs.
1899 fick Skansen Kronan åter en krona av förgylld koppar som var tillverkad på Keillers Mekaniska Verkstad. Den 12 juni 1806 blåste hela koppartaket av och först 1816 ersattes det med ett nytt. Tornet omges delvis av yttre försvarsmurar som har två portaler. I en av murarna finns en bågformig port. Den fick år 1839 två stenlejon som prydnad, då Kungsporten revs ner.
Skansen Kronan fick tjäna som fängelse år 1854, då nära tvåhundra fångar flyttades över från Karlstens fästning i Marstrand, flera av dem dömda till livstid. År 1874 fungerade Skansen Kronan som nödbostad för den snabbt ökande befolkningen i staden. Södra sidan av Skansberget (kvarteret Skansen i Kommendantsängen) bebyggdes på 1890-talet med landshövdingehus.
Vid sekelskiftet 1900 tog major Claes Grill initiativet till en upprustning av Risåsberget i samband med att själva skansen renoverades. Bland annat ordnades vägar och planteringar på berget. År 1912 användes 130 000 från Charles Felix Lindbergs donationsfond för att anlägga den cirka 2 hektar stora Skansparken kring Skansen Kronan. Lokalerna gjordes i ordning för Göteborgs Militärmuseum med historiska vapen och uniformer i byggnaden. Museet öppnande den 23 november 1904.
Ett bostadshus för vaktenvlket ritades av Claes Grill uppfördes 1901 och ett äldre soldattorp flyttades till Skansberget. Soldattorpet är ett litet trähus i en våning och ”vaktstugan” har fasader helt klädda med granit. Vaktstugan har naturstensfasader och ena hörnet av stugan är utformat i tornliknande stil. Den innehöll ursprungligen bostäder för en underofficer och en parkvakt. Kring Skansen Kronan anlades 1912 Skansparken, med en yta av cirka 2 hektar. Det var genom en utdelning av 130 000 kronor ur Charles Felix Lindbergs donationsfond som parken kom till.
Göteborgs stad köpte Risåsberget (Skansberget) av staten år 1925. Själva Skansen Kronan, soldattorpet och vaktstugan ägs dock Statens Fastighetsverk och 1935 blev byggnaden ett statligt byggnadsminne.
Museet i Skansen Kronan stängdes i september 2004 och samlingarna överflyttades till Stadsmuseets lager. Idag används Skansen Kronan som kafé och festlokal.