Det har funnits odlingslotter i Sjöbergen sedan 1976. Arrendeområdet omfattar totalt 10.900 kvadratmeter. Av detta utgör de 144 odlingslotterna 5.785 kvadratmeter.

Djurgårdarna i området är betydligt äldre och har funnits där sedan slutet av 1930-talet. Innan odlingslotterna kom till fanns det handelsträdgårdar i Sjöbergen. Trädgårdsmästarna värmde sina drivbänkar med avskräde och vi odlare hittar fortfarande mängder av glas- och porslinskross i jorden.

Byggandet av Älvsborgsbron, som öppnades 1966, innebar stora förändringar för området. Brons uppfarter krävde stort utrymme och många boningshus fick stryka på foten. På 1920-talet fanns till exempel träpaviljonger i området, där lungsjuka arbetare fick vila upp sig.

I samband med brobygget  fann man en gammal soldatkyrkogård. Kyrkogården var känd sedan tidigare, även om man inte kände till dess exakta läge. Där begravdes de hundratalet unga lantvärnsmän som i början på 1800-talet strök med i rödsot, på grund av urusla förläggningar och obefintlig hygien.

Tallskogen runt Älvsborgsbrons uppfarter heter Nattmansskogen. Här bodde en man vars yrke var att dels fånga in och avliva herrelösa djur, dels ta hand om självdöda djur. Nattmannens boningshus och djurgårdar fanns kvar tills dess att Älvsborgsbrons uppfarter krävde utrymme.

På en karta från år 1850 kan man se åtskilliga små fastigheter i området. De låg utspridda över hela Sjöbergen, ändå långt ut på berget mot älven. På sluttningen strax ovanför Röda sten låg en stuga som kallades Skansen, som ansågs vara ett tillhåll för smugglare.

​