Det var främst genom en donation av grosshandlaren och kommunalmannen Julius Lindström, som Excercishuset uppfördes. Kung Oscar II hade tilldelat gratis mark på norra sidan av Heden, då kallad Exercisheden, för ändamålet och Frans Jacob Heilborn fick i uppdrag att rita byggnaden.
Exercishuset användes till en början mest av skarpskyttekåren som var en frivillig försvarsrörelse, men när stridigheterna i Europa minskade upphörde nästan hela verksamheten. Det ledde till att en grupp män år 1869 startade Göteborgs Gymnastiksällskap, vilket blev den första frivilliga gymnastikföreningen i Sverige. Allt sedan dess har huset främst använts av olika föreningar för idrottsutövning men det rymde även nödbostäder under den stora bostadsbristen på 1920-talet.