Táto séria článkov je venovaná štúdiu stavebnej činnosti v hlavnom meste Silicon Valley – San Franciscu. San Francisco je technologická „Moskva“ nášho sveta, na svojom príklade (s pomocou otvorených dát) pozoruje vývoj stavebného priemyslu vo veľkých mestách a hlavných mestách.
Konštrukcia grafov a výpočtov bola realizovaná v r (na platforme Kaggle.com).
Údaje o viac ako milióne stavebných povolení (záznamy v dvoch súboroch údajov) zo stavebného oddelenia v San Franciscu – umožňujú analyzovať nielen stavebnú činnosť v meste, ale aj kriticky zvážiť najnovšie trendy a história vývoja stavebníctva za posledných 40 rokovv rokoch 1980 až 2019.
Otvorené dáta umožňujú skúmanie hlavné faktory, ktoré ovplyvnili a budú ovplyvňovať rozvoj stavebníctva v meste, pričom sa delia na „externé“ (ekonomické rozmachy a krízy) a „vnútorné“ (vplyv sviatkov a sezónno-ročných cyklov).
Obsah
Otvorené údaje a prehľad základných parametrov.
Toto nie je preklad článku. Píšem na LinkedIn a aby som nevytváral grafiku vo viacerých jazykoch, všetka grafika je v angličtine.
Odkaz na druhú časť:
Údaje o stavebnom povolení mesta San Francisco – z portálu otvorených údajov – . Portál disponuje niekoľkými datasetmi na tému stavebníctva. Dva takéto súbory údajov uchovávajú a aktualizujú údaje o povoleniach vydaných na výstavbu alebo opravu objektov v meste:
- (850 tisíc záznamov)
- (280 tisíc záznamov, údaje sa sťahujú a aktualizujú týždenne)
Tieto datasety obsahujú informácie o vydaných stavebných povoleniach s rôznymi charakteristikami objektu, na ktorý sa povolenie vydáva. Celkový počet prijatých záznamov (povolení). v období 1980-2019 - 1 137 695 povolení.
Hlavné parametre z tohto súboru údajov, ktoré boli použité na analýzu:
- dátum_vytvorenia povolenia — dátum vytvorenia žiadosti (v skutočnosti deň začatia stavebných prác)
- popis — popis žiadosti (dve alebo tri kľúčové slová popisujúce stavebný projekt (dielo), na ktorý bolo vydané povolenie)
- odhadované náklady — odhadované (odhadované) náklady na stavebné práce
- revidované_náklady — revidované náklady (náklady na prácu po precenení, zvýšení alebo znížení pôvodných objemov aplikácie)
- existujúce_použitie - typ bývania (jedno, dvojdom, byty, kancelárie, výroba a pod.)
- PSČ, miesto — PSČ a súradnice objektu
Každoročná stavebná činnosť v San Franciscu
Nižšie uvedený graf zobrazuje parametre odhadované náklady и revidované_náklady prezentované ako rozdelenie celkových nákladov práce podľa mesiacov.
data_cost_m = data_cost.groupby(pd.Grouper(freq='M')).sum()Na zníženie mesačných „odľahlých hodnôt“ sú mesačné údaje zoskupené podľa rokov. Graf objemu investovaných peňazí podľa rokov dostal logickejšiu a analyzovateľnejšiu podobu.
data_cost_y = data_cost.groupby(pd.Grouper(freq='Y')).sum()
Na základe ročného pohybu sumy nákladov (všetky povolenia za rok) do zariadení mesta ekonomické faktory, ktoré ovplyvnili od roku 1980 do roku 2019, sú jasne viditeľné na počte a nákladoch stavebných projektov alebo inak na investíciách do nehnuteľností v San Franciscu.
Počet stavebných povolení (počet stavebných prác alebo počet investícií) za posledných 40 rokov úzko súvisel s ekonomickou aktivitou v Silicon Valley.
Prvý vrchol stavebnej činnosti bol spojený s elektronikou v polovici 80. rokov v údolí. Následná elektronická a banková recesia v roku 1985 poslala regionálny trh s nehnuteľnosťami do úpadku, z ktorého sa nespamätal takmer desať rokov.
Potom ešte dvakrát (v rokoch 1993-2000 a 2009-2016) pred splasknutím bubliny Dotcom a technologickým boomom posledných rokov Stavebný priemysel v San Franciscu zaznamenal parabolický rast o niekoľko tisíc percent..
Odstránením medzipíkov a minim a ponechaním minimálnych a maximálnych hodnôt pre každý ekonomický cyklus je jasné, aké veľké výkyvy trhu sužovali toto odvetvie za posledných 40 rokov.
Najväčší nárast investícií do stavebníctva nastal počas dot-com boomu, keď sa v rokoch 1993 až 2001 investovalo do renovácie a výstavby 10 miliárd USD, čo je približne 1 miliarda USD ročne. Ak počítame v metroch štvorcových (náklady na 1 m² v roku 1995 sú 3000 350 USD), je to približne 000 2 m10 ročne počas 1993 rokov, počnúc rokom XNUMX.
Rast celkových ročných investícií v tomto období dosiahol 1215 %.
Spoločnosti, ktoré si v tomto období prenajímali stavebnú techniku, boli podobné firmám, ktoré predávali lopaty počas zlatej horúčky (v rovnakom regióne v polovici 19. storočia). Len namiesto lopatiek už v roku 2000 existovali žeriavy a čerpadlá na betón pre novovzniknuté stavebné firmy, ktoré chceli zarobiť na stavebnom boome.
Po každej z mnohých kríz, ktoré stavebníctvo v priebehu rokov zažilo, v nasledujúcich dvoch pokrízových rokoch investície (množstvo žiadostí o povolenia) na výstavbu zakaždým klesol aspoň o 50 %..
Najväčšie krízy v stavebnom priemysle v San Franciscu nastali v 90. rokoch. Kde s periodicitou 5 rokov priemysel buď klesol (-85 % v období 1983-1986), potom opäť vzrástol (+895 % v období 1988-1992), pričom v ročnom vyjadrení zostal v rokoch 1981, 1986, 1988 , 1993 - na rovnakej úrovni.
Po roku 1993 všetky následné poklesy v stavebníctve nepresiahli 50 %. ale blížiace sa hospodárskej kríze (kvôli COVID-19) môže spôsobiť rekordnú krízu v stavebníctve v období 2017-2021, ktorého pokles už v období 2017-2019 predstavuje celkovo viac ako 60 %.
Rast populácie San Francisca dynamiky aj v období 1980-1993 vykazovali takmer exponenciálny rast. Ekonomická sila a inovatívna energia Silicon Valley boli pevným základom, na ktorom bola postavená hyperbola Novej ekonomiky, americkej renesancie a dot-coms. Bolo to epicentrum novej ekonomiky. Ale na rozdiel od nárastu investícií do nehnuteľností, po vrchole dot-com populácia skutočne stagnovala.
Pred vrcholom dot-com v roku 2001 bol ročný rast populácie od roku 1950 zhruba 1 % ročne. Potom, po splasknutí bubliny, sa prílev novej populácie spomalil a od roku 2001 je len 0.2 percenta ročne.
V roku 2019 (prvýkrát od roku 1950) dynamika rastu ukázala odliv obyvateľstva (-0.21 % alebo 7000 XNUMX ľudí) z mesta San Francisco.
Očakávanie a realita pri príprave odhadov nákladov
V použitých súboroch údajov sú údaje o nákladoch na povolenie stavebného projektu rozdelené na:
- pôvodné odhadované náklady (odhadované náklady)
- cena práce po precenení (revidované_náklady)
V časoch boomu je hlavným účelom precenenia zvýšenie počiatočných nákladov, keď investor (zákazník stavby) prejaví chuť po začatí výstavby.
Počas krízy sa snažia neprekročiť odhadované náklady a počiatočné odhady sa prakticky nemenia (okrem zemetrasenia v roku 1989).
Podľa grafu postaveného na rozdiele medzi precenenými a odhadovanými nákladmi (revidované_náklady - odhadované_náklady) možno pozorovať, že:
Výška nárastu nákladov pri preceňovaní objemu stavebných prác priamo závisí od cyklov ekonomického boomu
data_spread = data_cost.assign(spread = (data_cost.revised_cost-data_cost.estimated_cost))
V obdobiach rýchleho ekonomického rastu zákazníci práce (investori) míňajú svoje prostriedky pomerne veľkoryso a zvyšujú svoje požiadavky po začatí práce.
Zákazník (investor), cítiac sa finančne sebavedomý, požiada dodávateľa stavby alebo architekta o predĺženie už vydaného stavebného povolenia. Môže to byť rozhodnutie o zväčšení pôvodnej dĺžky bazéna alebo zväčšení plochy domu (po začatí prác a vydaní stavebného povolenia).
Na vrchole dot-com éry dosiahli takéto „dodatočné“ výdavky „extra“ 1 miliardu ročne.
Ak sa pozriete na túto tabuľku už v percentuálnej zmene, potom vrcholný nárast odhadu (100 % alebo 2-násobok pôvodných odhadovaných nákladov) nastal v roku pred zemetrasením, ku ktorému došlo v roku 1989 v blízkosti mesta. Predpokladám, že po zemetrasení si stavebné projekty, ktoré sa začali v roku 1988, po zemetrasení v roku 1989 vyžiadali viac času a financií na realizáciu.
Naopak, revízia odhadovaných nákladov smerom nadol (ktorá sa vyskytla len raz v období od roku 1980 do roku 2019) niekoľko rokov pred zemetrasením je pravdepodobne spôsobená skutočnosťou, že niektoré projekty začaté v rokoch 1986 – 1987 boli zmrazené alebo investície do týchto projektov boli znížené. dole. Podľa plánu v priemere na každý projekt začatý v roku 1987 – zníženie odhadovaných nákladov bolo -20 % pôvodného plánu.
data_spred_percent = data_cost_y.assign(spred = ((data_cost_y.revised_cost-data_cost_y.estimated_cost)/data_cost_y.estimated_cost*100))
Nárast počiatočných odhadovaných nákladov o viac ako 40 % naznačoval alebo bol možno dôsledok blížiacej sa bubliny na finančnom a následne aj stavebnom trhu.
Aký je dôvod poklesu rozpätia (rozdielu) medzi odhadovanými a revidovanými nákladmi po roku 2007?
Možno sa investori začali pozorne pozerať na čísla (priemerná suma za 20 rokov vzrástla zo 100 tisíc dolárov na 2 milióny dolárov) alebo možno stavebné oddelenie, ktoré predchádzalo a brzdilo vznikajúce bubliny na trhu s nehnuteľnosťami, zaviedlo nové pravidlá a obmedzenia na zníženie možných manipulácií. a možné riziká, ktoré sa vyskytnú počas krízových rokov.
Stavebná činnosť v závislosti od ročného obdobia
Zoskupením údajov podľa kalendárnych týždňov v roku (54 týždňov) môžete sledovať stavebnú činnosť v meste San Francisco v závislosti od sezónnosti a ročného obdobia.
Do Vianoc sa všetky stavebné organizácie snažia získať včas povolenie na nové „veľké“ projekty. (zároveň! počet! povolení v týchto rovnakých mesiacoch je počas celého roka na rovnakej úrovni). Investori, ktorí plánujú získať nehnuteľnosť v priebehu budúceho roka, uzatvárajú zmluvy v zimných mesiacoch, pričom rátajú s veľkými zľavami (keďže letné zmluvy väčšinou končia koncom roka a stavebné firmy majú záujem pri prijímaní nových žiadostí).
Pred Vianocami sa podáva najväčšie množstvo žiadostí (nárast z priemeru 1-1,5 miliardy mesačne na 5 miliárd len v decembri). Celkový počet žiadostí podľa mesiacov zároveň zostáva na rovnakej úrovni (pozri časť nižšie: štatistika celkového počtu žiadostí podľa mesiaca a dňa)
Stavebníctvo po zimných prázdninách aktívne plánuje a realizuje „vianočné“ zákazky (takmer bez nárastu počtu povolení), aby sa uvoľnili zdroje do polovice roka (pred sviatkom Dňom nezávislosti) pred novým vlna letných kontraktov začína hneď po júnových prázdninách.
data_month_year = data_month_year.assign(week_year = data_month_year.permit_creation_date.dt.week)
data_month_year = data_month_year.groupby(['week_year'])['estimated_cost'].sum()
Rovnaké percentuálne údaje (oranžová čiara) tiež ukazujú, že priemysel funguje „hladko“ počas celého roka, ale pred a po sviatkoch sa aktivita na povoleniach zvýši na 150 % v období medzi 20. – 24. týždňom (pred dňom nezávislosti) a klesá bezprostredne po dovolenke až do -70 %.
Pred Halloweenom a Vianocami sa aktivita v stavebnom priemysle v San Franciscu počas týždňa 43-44 zvýši o 150 % (od zdola po vrchol) a potom počas sviatkov klesne na nulu.
Odvetvie je teda v šesťmesačnom cykle, ktorý je oddelený sviatkami „Deň nezávislosti USA“ (20. týždeň) a „Vianoce“ (52. týždeň).
Celková investícia do nehnuteľností v San Franciscu
Na základe údajov o stavebných povoleniach v meste:
Celková investícia do stavebných projektov v San Franciscu od roku 1980 do roku 2019 je 91,5 miliardy dolárov.
sf_worth = data_location_lang_long.cost.sum()
Celková trhová hodnota všetkých nehnuteľností na bývanie v San Franciscu stanovená podľa dane z nehnuteľností (čo je odhadovaná hodnota všetkých nehnuteľností a všetkého osobného majetku vo vlastníctve San Francisca) .
Do ktorých oblastí San Francisca investovali za posledných 40 rokov?
Pomocou knižnice Folium sa pozrime, kam sa investovalo týchto 91,5 miliardy dolárov podľa regiónov. Aby sme to dosiahli, po zoskupení údajov podľa PSČ budeme výsledné hodnoty reprezentovať pomocou kruhov (funkcia Circle z knižnice Folium).
import folium
from folium import Circle
from folium import Marker
from folium.features import DivIcon
# map folium display
lat = data_location_lang_long.lat.mean()
long = data_location_lang_long.long.mean()
map1 = folium.Map(location = [lat, long], zoom_start = 12)
for i in range(0,len(data_location_lang_long)):
Circle(
location = [data_location_lang_long.iloc[i]['lat'], data_location_lang_long.iloc[i]['long']],
radius= [data_location_lang_long.iloc[i]['cost']/20000000],
fill = True, fill_color='#cc0000',color='#cc0000').add_to(map1)
Marker(
[data_location_mean.iloc[i]['lat'], data_location_mean.iloc[i]['long']],
icon=DivIcon(
icon_size=(6000,3336),
icon_anchor=(0,0),
html='<div style="font-size: 14pt; text-shadow: 0 0 10px #fff, 0 0 10px #fff;; color: #000";"">%s</div>'
%("$ "+ str((data_location_lang_long.iloc[i]['cost']/1000000000).round()) + ' mlrd.'))).add_to(map1)
map1
Z regiónov je zrejmé, že Väčšina koláča logicky putovala do DownTownu. Po zjednodušení zoskupovania všetkých objektov podľa vzdialenosti od centra mesta a času, ktorý trvá cesta do centra mesta (samozrejme, drahé domy sa stavajú aj na pobreží), boli všetky povolenia rozdelené do 4 skupín: „Centrum mesta“ , '<0.5H Downtown', '< 1H Downtown', 'Outside SF'.
from geopy.distance import vincenty
def distance_calc (row):
start = (row['lat'], row['long'])
stop = (37.7945742, -122.3999445)
return vincenty(start, stop).meters/1000
df_pr['distance'] = df_pr.apply (lambda row: distance_calc (row),axis=1)
def downtown_proximity(dist):
'''
< 2 -> Near Downtown, >= 2, <4 -> <0.5H Downtown
>= 4, <6 -> <1H Downtown, >= 8 -> Outside SF
'''
if dist < 2:
return 'Downtown'
elif dist < 4:
return '<0.5H Downtown'
elif dist < 6:
return '<1H Downtown'
elif dist >= 6:
return 'Outside SF'
df_pr['downtown_proximity'] = df_pr.distance.apply(downtown_proximity)Z 91,5 miliardy investovaných v meste je takmer 70 miliárd (75 % všetkých investícií) investovaných do opráv a výstavby v centre mesta. (zelená zóna) a do oblasti mesta v okruhu 2 km. od stredu (modrá zóna).
Priemerné odhadované náklady na žiadosť o výstavbu podľa mestskej časti
Všetky údaje, ako aj celková výška investície, boli zoskupené podľa PSČ. Iba v tomto prípade s priemernými (.mean()) odhadovanými nákladmi na aplikáciu podľa PSČ.
data_location_mean = data_location.groupby(['zipcode'])['lat','long','estimated_cost'].mean()
V bežných častiach mesta (viac ako 2 km od centra mesta) - priemerné odhadované náklady na žiadosť o výstavbu sú 50 tisíc dolárov.
Priemerné odhadované náklady v oblasti centra mesta sú približne trojnásobne vyššie (150 tisíc až 400 tisíc dolárov) ako v iných oblastiach (30-50 tisíc dolárov).
Okrem ceny pozemku určujú celkové náklady na výstavbu domu tri faktory: práca, materiál a vládne poplatky. Tieto tri zložky sú v Kalifornii vyššie ako vo zvyšku krajiny. Kalifornské stavebné predpisy sa považujú za jedny z najkomplexnejších a najprísnejších v krajine (v dôsledku zemetrasení a environmentálnych predpisov), ktoré si často vyžadujú drahšie materiály a prácu.
Vláda napríklad vyžaduje, aby stavebníci používali kvalitnejšie stavebné materiály (okná, izolácie, vykurovacie a chladiace systémy), aby dosiahli vysoké štandardy energetickej účinnosti.
Zo všeobecných štatistík o priemerných nákladoch na žiadosť o povolenie vynikajú dve miesta:
- Ostrov pokladov - umelý ostrov v Sanfranciskom zálive. Priemerné odhadované náklady na stavebné povolenie sú 6,5 milióna dolárov.
- Mission Bay — (2926 1,5 obyvateľov) Priemerné odhadované náklady na stavebné povolenie sú XNUMX milióna dolárov.
V skutočnosti vysoká priemerná aplikácia v týchto dvoch oblastiach spolu súvisí s najmenším počtom žiadostí pre tieto poštové miesta (145 a 3064, výstavba na ostrove je veľmi obmedzená), zatiaľ čo pre ostatné poštové smerovacie čísla - XNUMXa obdobie 1980-2019 dostávalo približne 1300 XNUMX žiadostí ročne (spolu v priemere 30 -50 tisíc žiadostí za celé obdobie).
Podľa parametra „počet žiadostí“ je badateľné úplne rovnomerné rozloženie počtu žiadostí na PSČ po celom meste.
Štatistiky o celkovom počte žiadostí podľa mesiaca a dňa
Celkové štatistiky o celkovom počte žiadostí podľa mesiaca a dňa v týždni medzi rokmi 1980 a 2019 ukazujú, že Najtichšími mesiacmi pre stavebný odbor sú jarné a zimné mesiace. Zároveň sa výška investícií uvedená v žiadostiach veľmi líši a niekedy sa líši z mesiaca na mesiac (pozri dodatočne „Stavebná činnosť v závislosti od sezóny“). Medzi dňami v týždni je v pondelok zaťaženie oddelenia približne o 20 % menšie ako v ostatné dni v týždni.
months = [ 'January', 'February', 'March', 'April', 'May','June', 'July', 'August', 'September', 'October', 'November', 'December' ]
data_month_count = data_month.groupby(['permit_creation_date']).count().reindex(months)
Kým jún a júl sú v počte žiadostí prakticky rovnaké, v celkových odhadovaných nákladoch rozdiel dosahuje 100 % (4,3 miliardy v máji a júli a 8,2 miliardy v júni).
data_month_sum = data_month.groupby(['permit_creation_date']).sum().reindex(months)
Budúcnosť stavebného priemyslu v San Franciscu, predpovedanie aktivity podľa vzorov.
Na záver si porovnajme graf stavebnej aktivity v San Franciscu s grafom cien Bitcoinu (2015 – 2018) a grafom cien zlata (1940 – 1980).
Vzor (z anglického vzor - model, vzorka) - v technickej analýze sa nazývajú stabilné opakujúce sa kombinácie údajov o cene, objeme alebo indikátore. Analýza vzorov je založená na jednej z axióm technickej analýzy: „história sa opakuje“ – verí sa, že opakované kombinácie údajov vedú k podobnému výsledku.
Hlavným vzorom, ktorý možno vidieť na grafe ročnej aktivity, je Toto je vzor zvrátenia trendu „Hlava a ramená“. Takto pomenovaný, pretože graf vyzerá ako ľudská hlava (vrchol) a ramená po stranách (nižšie vrcholy). Keď cena preruší čiaru spájajúcu korytá, vzor sa považuje za dokončený a pohyb bude pravdepodobne smerom nadol.
Pohyby v aktivite v stavebnom priemysle v San Franciscu sa takmer úplne zhodujú s rastom ceny zlata a bitcoinu. Historická výkonnosť týchto troch grafov cien a aktivít ukazuje pozoruhodné podobnosti.
Aby bolo možné predvídať správanie sa stavebného trhu v budúcnosti, je potrebné vypočítať korelačný koeficient s každým z týchto dvoch trendov.
Dve náhodné premenné sa nazývajú korelované, ak ich korelačný moment (alebo korelačný koeficient) je odlišný od nuly; a nazývajú sa nekorelované veličiny, ak je ich korelačný moment nulový.
Ak je výsledná hodnota bližšie k 0 ako k 1, potom nemá zmysel hovoriť o jasnom vzore. Ide o zložitý matematický problém, ktorý možno preberú aj starší súdruhovia, ktorých táto téma môže zaujímať.
Ak! nevedecké! pozrite sa na tému ďalšieho rozvoja stavebného priemyslu v San Franciscu: ak sa vzor bude zhodovať s cenou bitcoinu, potom podľa tejto pesimistickej možnosti — dostať sa z krízy v stavebnom priemysle v San Franciscu nebude v období bezprostredne po kríze jednoduché.
S „optimistickejšou“ možnosťou vývoj, je možný opakovaný exponenciálny rast v stavebníctve, ak sa tu aktivita riadi scenárom „ceny zlata“. V tomto prípade o 20-30 rokov (možno o 10) bude stavebný sektor čeliť novému nárastu zamestnanosti a rozvoja.
Pozriem sa bližšie na jednotlivé odvetvia stavebníctva (oprava striech, kuchýň, stavba schodísk, kúpeľní, ak máte nejaké návrhy na odvetvia alebo iné údaje - napíšte do komentárov) a porovnám infláciu za jednotlivé druhy prác s pevné sadzby hypotekárnych úverov a ziskovosť vládnych amerických dlhopisov (Fixed Mortgage Rates & US Treasury Yield).
Odkaz na druhú časť:
Odkaz na Jupyter Notebook:
Prosím, pre tých, ktorí sú s Kaggle, dajte Notebook plus (Ďakujem!).
(Komentáre a vysvetlenia kódu budú do Zápisníka pridané neskôr)
Odkaz na anglickú verziu:
Ak sa vám môj obsah páči, zvážte nákup kávy.
Ďakujem za tvoju podporu!
Do prieskumu sa môžu zapojiť iba registrovaní užívatelia. Prosím.
Aká je budúcnosť stavebného priemyslu v San Franciscu?
-
66,7%Stavebný sektor pravdepodobne pôjde cestou Bitcoinu2
-
0,0%Stavebný sektor môže nasledovať cestu cien zlata0
-
0,0%Sektor očakáva v najbližších 10 rokoch veľký rozruch0
-
33,3%Rozvoj odvetvia nejde podľa vzorov1
Hlasovalo 3 užívateľov. 6 užívateľov sa zdržalo hlasovania.
Zdroj: hab.com