Carl Johan Bagge föddes 1754 som son till Peter Samuelsson Bagge och Anna Christina Thorsson. Han dog 1818-02-11. Gift med Catharina Elisabeth Beckman (1766-1840), dotter till Hans Jacob Beckman och Christina Eleonora Åhman. De hade tre döttrar och två söner som överlevde till vuxen ålder. Christina Eleonora Bagge (1787-1829) som var gift med Johan Heinrich Heinrich, Carolina Elisabeth Bagge (1791-1863) gift med Fredrik Willerding, Eleonora Margareta Bagge (1795-1857) gift med James Dickson, Anna Sophia Bagge (1796-1864) gift med Carl Fredrik Lilliehöök, Carl Bagge (1803-1865) gift med Johanna Maria Petersson och Georg Bagge (1807-1847)
Carl Bagge övertog en del av brodern Peter Bagges olika verksamheter i Göteborg, däribland Varvet Viken (ibland kallat Baggens varv), beläget intill Gamla varvet och slutligen sammanslaget med det sistnämnda, som utvecklade en livlig verksamhet och byggde en mängd fartyg åt alla de köpmän som under kontinentalsystemets dagar tjänade stora pengar på sjöfart och smuggling.
Han var också ägare till egendomen Oljekvarn i Majorna och ett hus på Södra Hamngatan 5 inne i staden. På sin egendom drev han oljeslageri på denna sin egendom, tegelbruk, kattunstryckeri på Gårda samt mälteri på Gamla Tegelbruket. 1796 övertog han också glasbruket i Klippan som under hans ledning utvecklades genom om- och nybyggnader. Dessutom var han en betydande redare i slutet av 1700-talet och början av 1800-talet.
Han förde stort hus såväl på Oljekvarn som inne i staden på Södra Hamngatan 5 där han 1814 uppförde ett stenhus. ett stenhus som senare övertogs av svärsonen James Dickson och ännu senare av Herman Kunze. C.R.A Fredberg skrev bl.a. följande om detta:
Vi kunna lätt tänka oss Oljekvarnen den tiden. Entréen till den vidsträckta trädgården öppnade sig i hörnet av Allmänna vägen mitt emot prosten Lindskogs gamla boställe, eller ungefär där ett prosaiskt karamell-schapp nu krupit in i planket. Stenpelare och gallergrindar utmärkte naturligtvis ställets karaktär av herregård. Därinne under trädens kronor ledde sandade gångar runt grupperna av bärbuskar och konstgjorda dammar, i vilka feta rudor enligt sägnen summo omkring och trivdes gott. De väl ansade rabatterna lyste med hela den svenska florans brokiga färger, och naturligtvis saknades inte den väldiga reflexkulan av glas på sin pelare mitt i trädgården och inte heller solvisaren på planen framför huvudbyggnaden.
Vad denna beträffar var den naturligtvis inredd med all den komfort som ett rikt hus krävde. Och kommerserådet och vasariddaren Carl Bagge var en rik man och hans ställning i samhället fordrade det.
Bagge var gift med en av Beckmans döttrar. Därigenom kom Bagge i svågerlag med den framstående grosshandlaren Laurens Tarras, den energiske David Carnegie och den högvälborne överstekammarherren friherre Hamilton, vilka alla gift sig med Beckmans vackra döttrar.
Genom detta svågerlag och sin egen rikedom och duglighet kom varvsägaren från Majorna att tillhöra de “ringar“, vilka inom sig räknade stadens spetsar.
De män, vilka oftast rörde sig därute i familjekretsen på den Baggeska egendomen voro, utom de ovannämnde släktingarne, John Hall d. ä., greve Axel Pontus von Rosen, herrarne Bratt, Virgin, Bilow, Backman, köpmännen Wohlfart, Otterdahl, Lamberg, Tranchell, Busck och Coopman. Vad damerna beträffar, har den i memoarlitteraturen bekanta fru Marianne Ehrenström publicerat några hågkomster från denna tid, vilka äro nog så upplysande.
Marianne Ehrenström var maka till generalfälttygmästaren Nils Fredrik Ehrenström, vilken under några år i början av 1800-talet var Göteborgs kommendant. I det Ehrenströmska hemmet, som genast efter hennes ankomst hit blev medelpunkten för allt, vad rikets andra stad hade älskvärt och lysande, hade hon tillfälle iakttaga börsaristokratiens damer och herrar.