1786 blev Mariebergsförsamlingen annex till Örgryte församling och i samband med detta anlades Mariebergs kyrkogård som stod klar 1787. Ett kyrkobygge planerades också men pengar saknades och en ”materialbod” på kyrkogården användes som kyrkolokal. På västra gaveln hade den ett lågt torn med två ringklockor. Ett orgelverk med 13 stämmor var placerat på en mindre läktare i byggnaden. Kyrkan kallades Mariakyrkan eller Mariebergskyrkan. Byggnaden revs i juni 1826. Den provisoriska kyrkan ersattes med Carl Johans kyrka 1826.
Ett begravningskapell uppfördes 1871 samt tillbyggdes 1938. Idag används byggnaden till andra ändamål. Åren 1894-1924 uppläts inte några nya familjegravar, varken på denna eller Djurgårdskyrkogården, men från 1925 blev det möjligt med nya familjegravar.
Kyrkogården utvidgades mot söder 1866. Kyrkogården ligger i direkt anslutning till bostadskvarter och omges av en naturstensmur. Entrén omfattar grindstolpar av granit och järngrindar med elegant dekor. Från denna leder en rak bred gång fram till kapellets huvudfasad. Kapellet är putsat och utfört i nygotisk stil. På Mariebergs kyrkogård är många personer med anknytning till sjöfarten begravda. De mest kända personerna som ligger begravda på Mariebergs kyrkogård är Wilhelm Stenhammar och Johan Fredrik Carpelan.
Kyrkogården innehåller också ett stort monument över sjömän som omkommit under andra världskriget, uppsatt av Sveriges Redareförening.