தொடக்க காலத்தில் சென்னை ராயப்பேட்டை பெசன்ட் சாலையில் உள்ள வீட்டில் வசித்து வந்தார் சிவாஜி. சில ஆண்டுகளுக்குப் பிறகு, முதலில் குடியிருந்த வீட்டை அலுவலகமாகப் பயன்படுத்தினார். பின்னர் தியாகராய நகரில் தெற்கு போக் சாலையில் வேறு ஒருவருக்குச் சொந்தமான வீட்டை வாங்கி, மாற்றங்கள் செய்து குடியேறினார்.
இந்திய அரசின் ஐசிஎஸ் அதிகாரியாக இருந்த ஜார்ஜ் டி.போக் என்பவருக்குச் சொந்தமான வீடாக இது இருந்தது. இவர் 1921-ஆம் ஆண்டு ஆங்கிலேய அரசின் மக்கள் தொகைக் கணக்கெடுப்பு ஆணையராக இருந்தார். ஜார்ஜ் டி. போக் வசித்து வந்ததால்தான் இந்த வீடு இருந்த சாலை, தெற்கு போக் சாலை என்று அழைக்கப்பட்டது. பின்னர், சர் குர்மா வெங்கட ரெட்டி நாயுடு என்பவரால் இந்த வீடு வாங்கப்பட்டது. இவர் இம்பீரியல் சட்டப்பேரவைக் கவுன்சிலில் உறுப்பினராக இருந்தார். 1950-களின் தொடக்கத்தில் இஸ்லாமியர் ஒருவர் இந்த வீட்டை வாங்கினார். அவர் மூக்குப் பொடி தயாரிப்பில் ஈடுபட்டார். இந்த இஸ்லாமியரிடம் இருந்து 1959-ஆம் ஆண்டு தமது தந்தை பெயரில் சிவாஜி இந்த வீட்டை வாங்கினார்.
அதன் பின்னர் வீட்டில் மாற்றங்கள் செய்வதற்கு இரண்டு ஆண்டுகள் ஆனது. வீட்டுக்கு "அன்னை இல்லம்' என்று பெயர் வைத்தார். செவாலியே விருது வாங்கியதைப் பாராட்டும் வகையில், சென்னை மாநகராட்சி சார்பில் தெற்கு போக் சாலைக்கு "செவாலியே சிவாஜி கணேசன் சாலை' என்று பெயர் வைக்கப்பட்டது.