Ši straipsnių serija skirta statybų veiklai pagrindiniame Silicio slėnio mieste – San Franciske. San Franciskas yra mūsų pasaulio technologinė „Maskva“, savo pavyzdžiu (atvirų duomenų pagalba) stebinti statybų pramonės raidą didžiuosiuose miestuose ir sostinėse.
Grafikų konstravimas ir skaičiavimai buvo atlikti m (Kaggle.com platformoje).
Duomenys apie daugiau nei milijoną statybos leidimų (įrašai dviejuose duomenų rinkiniuose) iš San Francisko statybos departamento – leidžia analizuoti ne tik statybų veiklą mieste, bet ir kritiškai apsvarstykite naujausias tendencijas ir statybos pramonės raidos istoriją per pastaruosius 40 metų, nuo 1980 iki 2019 m.
Atviri duomenys leidžia tyrinėti pagrindiniai veiksniai, turėję ir darys įtaką statybų pramonės plėtrai mieste, skirstant juos į „išorinius“ (ekonominiai pakilimai ir krizės) ir „vidinius“ (švenčių ir sezoninių-metinių ciklų įtaka).
Turinys
Atidaryti duomenis ir peržiūrėti bazinius parametrus.
Tai nėra straipsnio vertimas. Rašau LinkedIn ir kad nekurčiau grafikos keliomis kalbomis, visa grafika yra anglų kalba.
Nuoroda į antrą dalį:
San Francisko miesto statybos leidimo duomenys – iš atvirų duomenų portalo – . Portale yra keletas duomenų rinkinių statybos tema. Du tokie duomenų rinkiniai kaupia ir atnaujina duomenis apie išduotus leidimus statyti ar remontuoti objektus mieste:
- (850 tūkst. įrašų)
- (280 tūkst. įrašų, duomenys atsisiunčiami ir atnaujinami kas savaitę)
Šiuose duomenų rinkiniuose pateikiama informacija apie išduotus statybos leidimus su įvairiomis objekto, kuriam išduotas leidimas, charakteristikomis. Bendras gautų įrašų (leidimų) skaičius 1980-2019 metų laikotarpiu - 1 137 695 leidimai.
Pagrindiniai šio duomenų rinkinio parametrai, kurie buvo naudojami analizei:
- leidimo_kūrimo_data — paraiškos sudarymo data (iš tikrųjų statybos darbų pradžios diena)
- apibūdinimas — paraiškos aprašymas (du arba trys raktiniai žodžiai, apibūdinantys statybos projektą (darbą), kuriam buvo sudarytas leidimas)
- numatoma kaina — numatoma (numatoma) statybos darbų kaina
- peržiūrėta_kaina - patikslinta kaina (darbo kaina po perkainojimo, padidinus arba sumažinus pradines paraiškos apimtis)
- esamas_naudojimas - būsto tipas (vienas, dviejų šeimų namas, butai, biurai, gamyba ir kt.)
- pašto indeksas, vieta — pašto kodas ir objekto koordinatės
Kasmetinė statybų veikla San Franciske
Žemiau esančioje diagramoje pateikiami parametrai numatoma kaina и peržiūrėta_kaina pateiktas kaip bendros darbų kainos pasiskirstymas pagal mėnesius.
data_cost_m = data_cost.groupby(pd.Grouper(freq='M')).sum()Siekiant sumažinti mėnesio „išskirtinius“, mėnesio duomenys grupuojami pagal metus. Investuotų pinigų sumų grafikas pagal metus įgavo logiškesnę ir analizuojamesnę formą.
data_cost_y = data_cost.groupby(pd.Grouper(freq='Y')).sum()
Remiantis metiniu išlaidų sumos judėjimu (visi leidimai metams) miesto objektams aiškiai matomi ekonominiai veiksniai, turėję įtakos 1980–2019 m dėl statybos projektų skaičiaus ir kainos ar kitaip apie investicijas į San Francisko nekilnojamąjį turtą.
Statybos leidimų skaičius (statybinių darbo vietų arba investicijų skaičius) per pastaruosius 40 metų buvo glaudžiai susijęs su ekonomine veikla Silicio slėnyje.
Pirmasis statybų aktyvumo pikas buvo susijęs su devintojo dešimtmečio vidurio elektronikos ažiotažu slėnyje. 80 m. prasidėjęs elektronikos ir bankininkystės nuosmukis regiono nekilnojamojo turto rinką nulėmė nuosmukis, po kurio ji neatsigavo beveik dešimtmetį.
Po to dar du kartus (1993-2000 ir 2009-2016 m.) iki Dotcom burbulo žlugimo ir pastarųjų metų technologijų bumo San Francisko statybų pramonė patyrė parabolinį kelių tūkstančių procentų augimą..
Pašalinus tarpines smailes ir dugnelius bei paliekant minimalias ir didžiausias kiekvieno ekonominio ciklo vertes, tampa aišku, kokie dideli rinkos svyravimai per pastaruosius 40 metų kankino pramonę.
Didžiausias investicijų į statybas augimas įvyko „dotcom“ bumo metu, kai 1993–2001 m. į renovaciją ir statybas buvo investuota 10 mlrd. USD arba maždaug 1 mlrd. USD per metus. Jei skaičiuosime kvadratiniais metrais (1 m² kaina 1995 m. yra 3000 USD), tai yra maždaug 350 000 m2 per metus 10 metų, pradedant 1993 m.
Metinis bendrų investicijų augimas per šį laikotarpį siekė 1215%.
Šiuo laikotarpiu statybinę techniką nuomojančios įmonės buvo panašios į aukso karštinės metu (tame pačiame regione XIX a. viduryje) pardavinėjusias kastuvus. Tik vietoj kastuvų 19-aisiais jau buvo kranai ir betono siurbliai naujai susikūrusioms statybų bendrovėms, kurios norėjo užsidirbti statybų bumu.
Po kiekvienos iš daugelio krizių, kurias statybos pramonė patyrė per daugelį metų, per ateinančius dvejus pokrizinius metus – investicijų (prašymų išduoti leidimus kiekis) statybai kiekvieną kartą sumažėjo bent 50 proc.
Didžiausios San Francisko statybų pramonės krizės įvyko 90-aisiais. Kai 5 metų periodiškumu pramonė arba krito (-85 % 1983–1986 m.), tada vėl pakilo (+895 % 1988–1992 m.), o metine prasme išliko 1981, 1986, 1988 m. , 1993 – tame pačiame lygyje.
Po 1993 m. visi vėlesni statybos pramonės nuosmukiai siekė ne daugiau kaip 50%. Bet artėjant ekonominei krizei (dėl COVID-19) gali sukelti rekordinę krizę statybų pramonėje laikotarpiu, kurio nuosmukis jau 2017-2021 m. iš viso siekia daugiau nei 2017 proc.
San Francisko gyventojų augimas dinamika 1980–1993 m rodė beveik eksponentinį augimą. Silicio slėnio ekonominė jėga ir novatoriška energija buvo tvirtas pagrindas, ant kurio buvo pastatyta Naujosios ekonomikos, Amerikos renesanso ir dot-coms hiperbolė. Tai buvo naujosios ekonomikos epicentras. Tačiau skirtingai nei investicijų į nekilnojamąjį turtą augimas, po dot-com piko gyventojų skaičius iš tikrųjų sumažėjo.
Iki „dot-com“ piko 2001 m. metinis gyventojų prieaugis nuo 1950 m. buvo maždaug 1 % per metus. Tada, po burbulo griūties, naujų gyventojų antplūdis sulėtėjo ir nuo 2001 metų tebuvo 0.2 procento per metus.
2019 m. (pirmą kartą nuo 1950 m.) augimo dinamika rodė gyventojų nutekėjimą (-0.21% arba 7000 žmonių) iš San Francisko miesto.
Lūkesčiai ir realybė rengiant išlaidų sąmatas
Naudojamuose duomenų rinkiniuose duomenys apie statybos projekto leidimo kainą skirstomi į:
- pradinė numatoma kaina (numatoma kaina)
- darbų kaina po perkainojimo (peržiūrėta_kaina)
Bumo laikais pagrindinis perkainojimo tikslas – padidinti pradinę kainą, kai investuotojas (statybos užsakovas) pradeda apetitą pradėjus statybas.
Krizės metu jie stengiasi neviršyti numatomų išlaidų, o pradinės sąmatos praktiškai nesikeičia (išskyrus 1989 m. žemės drebėjimą).
Pagal grafiką, sudarytą pagal skirtumą tarp perkainotų ir apskaičiuotų sąnaudų (revised_cost – apskaičiuotos_kainaos), galima pastebėti, kad:
Sąnaudų padidėjimo dydis perkainuojant statybos darbų apimtis tiesiogiai priklauso nuo ekonomikos pakilimo ciklų
data_spread = data_cost.assign(spread = (data_cost.revised_cost-data_cost.estimated_cost))
Spartaus ekonomikos augimo laikotarpiais darbo užsakovai (investuotojai) gana dosniai išleidžia savo lėšas, padidindami pageidavimus jau pradėjus darbą.
Užsakovas (investuotojas), jausdamas finansinį pasitikėjimą, prašo statybos rangovo ar architekto pratęsti jau išduotą statybos leidimą. Tai gali būti sprendimas padidinti pradinį baseino ilgį arba padidinti namo plotą (pradėjus darbus ir išdavus statybos leidimą).
„Dot-com“ eros viršūnėje tokios „papildomos“ išlaidos siekė „papildomą“ 1 mlrd. per metus.
Jei pažvelgsite į šią lentelę jau procentiniu pokyčiu, tai didžiausias sąmatos padidėjimas (100% arba 2 kartus didesnis už pradinę apskaičiuotą kainą) įvyko metais prieš žemės drebėjimą, įvykusį 1989 m. netoli miesto. Darau prielaidą, kad po žemės drebėjimo 1988 metais prasidėti statybos projektai, po 1989 metų žemės drebėjimo pareikalavo daugiau laiko ir lėšų įgyvendinimui.
Ir atvirkščiai, numatomų išlaidų sumažinimas (kuris įvyko tik vieną kartą per laikotarpį nuo 1980 iki 2019 m.) kelerius metus iki žemės drebėjimo tikriausiai yra susijęs su tuo, kad kai kurie 1986–1987 m. pradėti projektai buvo įšaldyti arba investicijos į šiuos projektus sumažintos. žemyn. Laiku Vidutiniškai kiekvienam projektui, pradėtam 1987 m. - numatomos išlaidos sumažėjo -20% pradinio plano.
data_spred_percent = data_cost_y.assign(spred = ((data_cost_y.revised_cost-data_cost_y.estimated_cost)/data_cost_y.estimated_cost*100))
Pradinių numatomų išlaidų padidėjimas daugiau nei 40 % rodė arba galbūt buvo artėjančio finansų, o vėliau ir statybų rinkos burbulo pasekmė.
Dėl ko sumažėjo apskaičiuotų ir patikslintų sąnaudų skirtumas (skirtumas) po 2007 m.?
Galbūt investuotojai pradėjo atidžiai žiūrėti į skaičius (vidutinė suma per 20 metų išaugo nuo 100 tūkst. USD iki 2 mln.), o gal statybų departamentas, užkirsdamas kelią ir stabdydamas nekilnojamojo turto rinkoje atsirandančius burbulus, įvedė naujas taisykles ir apribojimus, kad sumažintų galimas manipuliacijas. ir galimos rizikos, kilsiančios krizės metais.
Statybos veikla priklauso nuo metų sezono
Grupuodami duomenis pagal kalendorines metų savaites (54 savaites), galite stebėti statybų veiklą San Francisko mieste, priklausomai nuo sezoniškumo ir metų laiko.
Iki Kalėdų visos statybų organizacijos stengiasi laiku gauti leidimus naujiems „stambiems“ projektams. (tuo pačiu metu! leidimų skaičius tais pačiais mėnesiais yra vienodas ištisus metus). Investuotojai, planuojantys turtą gauti per ateinančius metus, sutartis sudaro žiemos mėnesiais, skaičiuodami dideles nuolaidas (nes vasaros sutartys dažniausiai baigiasi iki metų pabaigos, o statybų bendrovės domisi priimant naujas paraiškas).
Prieš Kalėdas pateikiamos didžiausios paraiškų sumos (padidėjimas nuo vidutiniškai 1-1,5 mlrd. per mėnesį iki 5 mlrd. vien gruodį). Tuo pačiu metu bendras paraiškų skaičius per mėnesį išlieka toks pat (žr. toliau skyrių: statistika apie bendrą paraiškų skaičių pagal mėnesį ir dieną)
Po žiemos švenčių statybų pramonė aktyviai planuoja ir įgyvendina „kalėdinius“ užsakymus (beveik nedidinant leidimų), kad iki metų vidurio (iki Nepriklausomybės dienos šventės) atsilaisvintų resursai iki naujos. vasaros sutarčių banga prasideda iškart po birželio švenčių.
data_month_year = data_month_year.assign(week_year = data_month_year.permit_creation_date.dt.week)
data_month_year = data_month_year.groupby(['week_year'])['estimated_cost'].sum()
Tie patys procentiniai duomenys (oranžinė linija) taip pat rodo, kad pramonė veikia „sklandžiai“ ištisus metus, tačiau prieš ir po švenčių 150–20 savaitės (iki Nepriklausomybės dienos) aktyvumas pagal leidimus išauga iki 24 proc. sumažėja iš karto po atostogų iki -70 proc.
Prieš Heloviną ir Kalėdas San Francisko statybų pramonės aktyvumas 43–44 savaitę padidėja 150% (nuo apačios iki piko), o per šventes sumažėja iki nulio.
Taigi pramonė yra šešių mėnesių cikle, kurį skiria šventės „JAV nepriklausomybės diena“ (20 savaitė) ir „Kalėdos“ (52 savaitė).
Bendros investicijos į nekilnojamąjį turtą San Franciske
Remiantis duomenimis apie statybos leidimus mieste:
Bendros investicijos į statybos projektus San Franciske nuo 1980 iki 2019 metų yra 91,5 mlrd.
sf_worth = data_location_lang_long.cost.sum()
Bendra viso San Francisko gyvenamojo nekilnojamojo turto rinkos vertė, apskaičiuota pagal nekilnojamojo turto mokesčius (tai yra viso San Franciskui priklausančio nekilnojamojo turto ir asmeninės nuosavybės nustatyta vertė) .
Į kurias San Francisko sritis investuota per pastaruosius 40 metų?
Naudodamiesi „Folium“ biblioteka, pažiūrėkime, kur regionuose buvo investuota ši 91,5 mlrd. Norėdami tai padaryti, sugrupavę duomenis pagal pašto kodą, gautas reikšmes pateiksime naudodami apskritimus (Folium bibliotekos funkcija Circle).
import folium
from folium import Circle
from folium import Marker
from folium.features import DivIcon
# map folium display
lat = data_location_lang_long.lat.mean()
long = data_location_lang_long.long.mean()
map1 = folium.Map(location = [lat, long], zoom_start = 12)
for i in range(0,len(data_location_lang_long)):
Circle(
location = [data_location_lang_long.iloc[i]['lat'], data_location_lang_long.iloc[i]['long']],
radius= [data_location_lang_long.iloc[i]['cost']/20000000],
fill = True, fill_color='#cc0000',color='#cc0000').add_to(map1)
Marker(
[data_location_mean.iloc[i]['lat'], data_location_mean.iloc[i]['long']],
icon=DivIcon(
icon_size=(6000,3336),
icon_anchor=(0,0),
html='<div style="font-size: 14pt; text-shadow: 0 0 10px #fff, 0 0 10px #fff;; color: #000";"">%s</div>'
%("$ "+ str((data_location_lang_long.iloc[i]['cost']/1000000000).round()) + ' mlrd.'))).add_to(map1)
map1
Iš regionų aišku, kad Didžioji pyrago dalis logiškai atiteko DownTown. Supaprastinus visų objektų grupavimą pagal atstumą iki miesto centro ir laiką, per kurį patenkama į miesto centrą (žinoma, pakrantėje statomi ir brangūs namai), visi leidimai buvo suskirstyti į 4 grupes: 'Downtown' , „<0.5 H miesto centre“, „< 1 H miesto centre“, „Už SF“.
from geopy.distance import vincenty
def distance_calc (row):
start = (row['lat'], row['long'])
stop = (37.7945742, -122.3999445)
return vincenty(start, stop).meters/1000
df_pr['distance'] = df_pr.apply (lambda row: distance_calc (row),axis=1)
def downtown_proximity(dist):
'''
< 2 -> Near Downtown, >= 2, <4 -> <0.5H Downtown
>= 4, <6 -> <1H Downtown, >= 8 -> Outside SF
'''
if dist < 2:
return 'Downtown'
elif dist < 4:
return '<0.5H Downtown'
elif dist < 6:
return '<1H Downtown'
elif dist >= 6:
return 'Outside SF'
df_pr['downtown_proximity'] = df_pr.distance.apply(downtown_proximity)Iš 91,5 mlrd., investuotų į miestą, beveik 70 mlrd. (75% visų investicijų) investuota į remontą ir statybas miesto centre. (žalioji zona) ir į miesto teritoriją 2 km spinduliu. nuo centro (mėlynoji zona).
Vidutinė numatoma statybos paraiškos kaina pagal miesto rajoną
Visi duomenys, kaip ir bendra investicijų suma, buvo sugrupuoti pagal pašto kodą. Tik šiuo atveju su vidutine (.mean()) apskaičiuota programos kaina pagal pašto kodą.
data_location_mean = data_location.groupby(['zipcode'])['lat','long','estimated_cost'].mean()
Įprastose miesto vietose (daugiau nei 2 km nuo miesto centro) - vidutinė numatoma statybos paraiškos kaina yra 50 tūkst.
Vidutinės numatomos sąnaudos miesto centro teritorijoje yra maždaug tris kartus didesnės (150–400 tūkst. USD) nei kitose srityse (30–50 tūkst. USD).
Be žemės kainos, bendrą namo statybos kainą lemia trys veiksniai: darbas, medžiagos ir valstybiniai mokesčiai. Šie trys komponentai Kalifornijoje yra didesni nei likusioje šalies dalyje. Kalifornijos statybos kodeksai laikomi vienais iš išsamiausių ir griežčiausių šalyje (dėl žemės drebėjimo ir aplinkosaugos taisyklių), kuriems dažnai reikia brangesnių medžiagų ir darbo jėgos.
Pavyzdžiui, valdžia reikalauja, kad statybininkai naudotų aukštesnės kokybės statybines medžiagas (langus, izoliaciją, šildymo ir vėsinimo sistemas), kad būtų pasiekti aukšti energijos vartojimo efektyvumo standartai.
Iš bendrosios statistikos apie vidutines prašymo išduoti leidimą kainas išskiria dvi vietos:
- Lobių sala - dirbtinė sala San Francisko įlankoje. Vidutinė numatoma statybos leidimo kaina yra 6,5 mln.
- Misijos įlanka — (2926 1,5 gyventojai) Vidutinė numatoma statybos leidimo kaina yra XNUMX mln.
Tiesą sakant, didelis vidutinis pritaikymas šiose dviejose srityse yra susijęs su mažiausiais prašymų skaičiumi šioms pašto vietoms (atitinkamai 145 ir 3064, statybos saloje labai ribotos), o likusiems pašto kodams - XNUMXir 1980–2019 m. laikotarpiu per metus gauta maždaug 1300 paraiškų (iš viso vidutiniškai 30 -50 tūkst. prašymų per visą laikotarpį).
Pagal parametrą „paraiškų skaičius“ pastebimas puikiai tolygus prašymų skaičiaus vienam pašto kodui pasiskirstymas visame mieste.
Statistika apie bendrą paraiškų skaičių pagal mėnesį ir dieną
Bendri statistiniai duomenys apie bendrą paraiškų skaičių pagal mėnesį ir savaitės dieną nuo 1980 iki 2019 m. Ramiausi mėnesiai statybų skyriuje yra pavasario ir žiemos mėnesiai. Tuo pačiu paraiškose nurodyta investicijų suma labai skiriasi ir kas mėnesį kartais skiriasi (papildomai žr. „Statybos veikla priklausomai nuo sezono“). Tarp savaitės dienų pirmadienį skyriaus apkrovimas yra maždaug 20% mažesnis nei kitomis savaitės dienomis.
months = [ 'January', 'February', 'March', 'April', 'May','June', 'July', 'August', 'September', 'October', 'November', 'December' ]
data_month_count = data_month.groupby(['permit_creation_date']).count().reindex(months)
Nors birželis ir liepa pagal paraiškų skaičių praktiškai nesiskiria, tai pagal bendras sąmatas skirtumas siekia 100% (gegužę ir liepą – 4,3 mlrd., birželį – 8,2 mlrd.).
data_month_sum = data_month.groupby(['permit_creation_date']).sum().reindex(months)
San Francisko statybų pramonės ateitis, prognozuojant veiklą pagal modelius.
Galiausiai palyginkime statybų veiklos San Franciske diagramą su Bitcoin kainų diagrama (2015-2018) ir aukso kainų diagrama (1940-1980).
Šablonas (iš angliško modelio - modelis, pavyzdys) - techninėje analizėje vadinamos stabilios pasikartojančios kainos, apimties ar rodiklio duomenų kombinacijos. Modelių analizė remiasi viena iš techninės analizės aksiomų: „istorija kartojasi“ – manoma, kad pakartotiniai duomenų deriniai lemia panašų rezultatą.
Pagrindinis modelis, kurį galima pamatyti metinėje veiklos diagramoje, yra Tai yra „galvos ir pečių“ tendencijos pasikeitimo modelis. Taip pavadinta, nes diagrama atrodo kaip žmogaus galva (smailė) ir pečiai šonuose (mažesnės viršūnės). Kai kaina pertraukia liniją, jungiančią lovius, modelis laikomas užbaigtu ir tikėtina, kad judėjimas bus žemyn.
San Francisko statybų pramonės veiklos judėjimas beveik visiškai sutampa su aukso ir bitkoino kainų kilimu. Šių trijų kainų ir veiklos diagramų istoriniai rezultatai rodo reikšmingus panašumus.
Kad būtų galima numatyti statybų rinkos elgseną ateityje, būtina apskaičiuoti koreliacijos koeficientą su kiekviena iš šių dviejų tendencijų.
Du atsitiktiniai dydžiai vadinami koreliuojančiais, jei jų koreliacijos momentas (arba koreliacijos koeficientas) skiriasi nuo nulio; ir vadinami nekoreliuojančiais dydžiais, jei jų koreliacijos momentas lygus nuliui.
Jei gauta vertė yra arčiau 0 nei 1, tada nėra prasmės kalbėti apie aiškų modelį. Tai sudėtinga matematinė problema, kurios gali imtis vyresni bendražygiai, kuriems gali būti įdomi ši tema.
Jei! nemokslinis! pažvelkite į tolesnės statybos pramonės plėtros San Franciske temą: jei modelis ir toliau sutaps su Bitcoin kaina, tada pagal šį pesimistinį variantą — Išbristi iš statybos pramonės krizės San Franciske nebus lengva artimiausiu laikotarpiu po krizės.
Su „optimistiškesniu“ variantu plėtra, galimas pakartotinis eksponentinis statybų pramonės augimas, jei veikla čia vyks pagal „aukso kainos“ scenarijų. Tokiu atveju po 20–30 metų (galbūt po 10) statybų sektorius susidurs su nauju užimtumo ir plėtros antplūdžiu.
Atidžiau panagrinėsiu atskirus statybos sektorius (stogų, virtuvių remontas, laiptų, vonių statyba, jei turite pasiūlymų dėl pramonės šakų ar kitų duomenų - rašykite komentaruose) ir palyginsiu infliaciją atskiriems darbų tipams su fiksuotos hipotekos paskolų palūkanų normos ir JAV vyriausybės obligacijų pelningumas (fiksuotos hipotekos normos ir JAV iždo pajamingumas).
Nuoroda į antrą dalį:
Nuoroda į Jupyter Notebook:
Prašau, tiems, kurie yra su Kaggle, duokite Notebook pliusą (ačiū!).
(Kodo komentarai ir paaiškinimai bus pridėti vėliau bloknote)
Nuoroda į anglišką versiją:
Jei jums patinka mano turinys, apsvarstykite galimybę nusipirkti kavos.
Ačiū už tavo pagalbą!
Apklausoje gali dalyvauti tik registruoti vartotojai. , Prašau.
Kokia San Francisko statybų pramonės ateitis?
-
66,7%Statybų sektorius greičiausiai seks Bitcoin2 keliu
-
0,0%Statybų sektorius gali eiti aukso kainų keliu0
-
0,0%Per ateinančius 10 metų sektorius tikisi ažiotažo
-
33,3%Sektoriaus plėtra vyksta ne pagal šablonus1
Balsavo 3 vartotojai. 6 vartotojų susilaikė.
Šaltinis: www.habr.com