Tullpackhuset vid kajen utanför nuvarande Packhusplatsen stod klart den 7 januari 1866 och togs i bruk i april samma år. Arkitekt var Frans Jacob Heilborn. År 1911 byggdes huset om av Ernst Krüger. Det vände sig mot älven och bestod av en huvudbyggnad som hyste tullfunktioner och på ömse sidor två fristående, lägre packhus. 1925 byggdes en ny tillbyggnad mot Packhusplatsen som ritats av Karl Bengtson. Byggnadskomplexet bestod därefter av en huvudbyggnad i två-tre våningar mot älven, en trevåningsbyggnad mot Packhusplatsen och sammanbindande flyglar i en våning.
Det första packhuset som ersattes av det nybyggda år 1866 var beläget ungefär mitt emot residenset på norra sidan av Stora Hamnkanalen. År 1727 flyttat till hörnet af Norra Hamngatan och Smedjegatan. Huset rymde inte bara tull- och accisstaterna utan även logement och kontor för de handlande och deras mäklare.
Tullverket hade sin verksamhet i Tullhuset fram till 1973, då de flyttade till Östra Nordstaden. 2001–02 byggdes den västra delen av huset om för Casino Cosmopol. I huset finns också migrationsmuseet Emigranternas hus som skildrar svenska emigrationshistorien i olika utställningar.