Kvarteret Fiskaren låg på det tidigare Fisktorget mellan Rosenlundsgatan och Rosenlundskanalen. På torget fanns tre byggnader, en i kvarteret Fiskaren och en liknande byggnad men äldre och något mindre byggnad i kvarteret Vävaren. Däremellan låg Fiskhallen, numera kallad Feskekörkan på grund av sin utformning.
Fiskhallen är den enda kvarvarande byggnaden och det är oklart om den låg i något av de nämnda kvarteren eller inte i nåt kvarter öht. Längst österut låg också den första Gamla Navigationsskolan, senare en krog. Byggnaden revs 1913.
Byggnaden i kvarteret Fiskaren har ersatts med en ny byggnad som uppfördes på 1970-talet. Kvarteret Vävaren där en byggnad som tillhörde Rosenlunds Spinneri stod existerar inte idag utan det är en öppen plats som bär namnet Fisktorget.
Sen 1939 heter östra delen av Fisktorget istället Rosenlundsplatsen.