Inventariekammaren på Lilla Billingen, Nya varvet, byggdes 1753-1754 på entreprenad av Peter Bagge och överlämnades till kronan efter besiktning 1755. Byggnaden användes först som förråd/tyghus.
Under fängelsetiden (1870-1907) hyrdes byggnaden ut först till virkesfirman Strömman och Larsson 1873-1891. Därefter stod byggnaden tom tills den på hösten 1897 hyrdes av Gadus AB för att användas som konservfabrik. Produkterna från bolaget visade sig vara mindre lönsamma och projektet lades ner i slutet av år 1900. Byggnaden förklarades som statligt byggnadsminne den 25 januari 1935. På grund av sin väl synliga gavel har byggnaden använts som sjömärke och av tradition kallats ”Vita gaveln”.