Elias Hilleström föddes i Göteborg som son till komministern och senare domprosten i Göteborg Anders Hilleström (-1754) och Märta Wrede af Elimä (1680-1754). Han dog 1784. Namnet Hilleström stavas ofta Hillerström.
Fadern var först känd som pietist och sen som herrnhutare. Pietism är en väckelserörelse som uppstod inom tysk lutherdom under sent 1600-tal. Herrnhutismen är en religiös, kristen rörelse som uppstod kring greve Nikolaus Ludwig von Zinzendorfs gods Berthelsdorf i staden Herrnhut i Oberlausitz. Zinzendorf gav 1722 skydd åt de så kallade böhmiska bröder, som tvingats fly motreformationen i bland annat Böhmen och Polen, och från denna ort fick alltså rörelsen sitt namn. Det officiella svenska namnet på det trossamfund som omfattar den herrnhutistiska åskådningen är Evangeliska Brödraförsamlingen. Anders var huspredikant hos kungliga rådet Fabian Wrede 1712 och hos Hans Henrik von Liewen 1715. Därefter var han komminister i Göteborg från 1718 och domprost i Göteborgs stift från 1730.
Han var gift och hade minst två söner. En var Anders Hilleström (1757-1815) som var komminister i Göteborg. Han var gift med Ulrica Laurentia Nordblom (1768-99). Den andre var kanslisten Sven Magnus Hilleström (1759-1834), gift med Catharina Elisabet Jenssen (1762-1826). De två dog utan att ha fått några barn,
Han fick arbete i Ostindiska kompaniet där han kom att arbeta som superkargör på en resa med Prins Friedric Adolph 1756-57.
Hans bror Fabian Hilleström (-1776) var prost och gift med Johanna Sandman.
I ostindiska arbetade också en Fabian Hilleström (1756-?). Han var constapel math på en resa med Gustaf III. Även en Peter Hilleström arbetade som assistent i Ostindiska kompaniet. Båda dess kan ha varit ytterligare ett par söner till till Elias Hilleström men det är också möjligt att de både eller en av dem var söner till Fabian Hilleström eller inte alls nära släkt.