See artiklisari on pühendatud ehitustegevuse uurimisele Silicon Valley peamises linnas San Franciscos. San Francisco on meie maailma tehnoloogiline “Moskva”, mille eeskujul (avaandmete toel) jälgitakse ehitustööstuse arengut suurlinnades ja pealinnades.
Graafikute ja arvutuste koostamine viidi läbi aastal (platvormil Kaggle.com).
Andmed enam kui miljoni ehitusloa kohta (kirjed kahes andmekogumis) San Francisco ehitusosakonnast – lubavad analüüsida mitte ainult ehitustegevust linnas, vaid ka kriitiliselt kaaluda ehitustööstuse viimased suundumused ja arengulugu viimase 40 aasta jooksul, aastatel 1980–2019.
Avaandmed võimaldavad uurida peamised tegurid, mis on mõjutanud ja hakkavad mõjutama ehitustööstuse arengut linnas, jagades need "välisteks" (majandusbuumid ja -kriisid) ja "sisemisteks" (pühade ja hooajaliste-aastaste tsüklite mõju).
Sisu
Andmete avamine ja lähteparameetrite ülevaatamine.
See ei ole artikli tõlge. Kirjutan LinkedInis ja et mitte mitmes keeles graafikat luua, on kogu graafika inglise keeles.
Link teisele osale:
San Francisco linna ehitusloa andmed – avaandmete portaalist – . Portaalis on mitu ehitusteemalist andmestikku. Kaks sellist andmekogumit salvestavad ja uuendavad andmeid linna objektide ehitamiseks või remondiks väljastatud lubade kohta:
- (850 tuhat rekordit)
- (280 tuhat kirjet, andmeid laaditakse alla ja uuendatakse kord nädalas)
Need andmestikud sisaldavad teavet väljastatud ehituslubade kohta koos objekti erinevate tunnustega, millele luba väljastatakse. Saadud kannete (lubade) koguarv perioodil 1980-2019 - 1 137 695 luba.
Selle andmestiku peamised parameetrid, mida analüüsimiseks kasutati:
- loa_loomise_kuupäev — taotluse koostamise kuupäev (tegelikult ehitustööde alguspäev)
- kirjeldus — taotluse kirjeldus (kaks või kolm märksõna, mis kirjeldavad ehitusprojekti (tööd), mille jaoks luba koostati)
- hinnanguline maksumus — ehitustööde eeldatav (hinnanguline) maksumus
- muudetud_kulu — muudetud maksumus (tööde maksumus pärast ümberhindamist, taotluse esialgsete mahtude suurendamist või vähendamist)
- olemasolev_kasutus - eluaseme tüüp (ühe-, kahepereelamu, korterid, kontorid, tootmine jne)
- postiindeks, asukoht — sihtnumber ja objekti koordinaadid
Iga-aastane ehitustegevus San Franciscos
Allolev graafik näitab parameetreid hinnanguline maksumus и muudetud_kulu esitatakse tööde kogumaksumuse jaotusena kuude lõikes.
data_cost_m = data_cost.groupby(pd.Grouper(freq='M')).sum()Igakuiste "kõrvalväärtuste" vähendamiseks rühmitatakse igakuised andmed aastate kaupa. Aastate lõikes investeeritud rahasummade graafik on saanud loogilisema ja analüüsitavama vormi.
data_cost_y = data_cost.groupby(pd.Grouper(freq='Y')).sum()
Kulude summa (kõik load aastaks) iga-aastase liikumise alusel linnarajatistele Majanduslikud tegurid, mis mõjutasid aastatel 1980–2019, on selgelt nähtavad ehitusprojektide arvu ja maksumuse kohta või muul viisil San Francisco kinnisvarasse tehtud investeeringute kohta.
Ehituslubade arv (ehitustöökohtade arv või investeeringute arv) viimase 40 aasta jooksul on olnud tihedalt seotud Silicon Valley majandustegevusega.
Ehitustegevuse esimene tipp oli seotud 80ndate keskpaiga elektroonikakäraga orus. Sellele järgnenud elektroonika- ja pangandussurutis 1985. aastal viis piirkondliku kinnisvaraturu langusesse, millest see ei taastunud ligi kümmekond aastat.
Pärast seda veel kaks korda (aastatel 1993-2000 ja 2009-2016) enne Dotcomi mulli kokkuvarisemist ja viimaste aastate tehnoloogiabuumi San Francisco ehitustööstus on kogenud mitu tuhat protsenti paraboolset kasvu..
Eemaldades vahepealsed tipud ja mõõnad ning jättes iga majandustsükli miinimum- ja maksimumväärtused, on selge, kui suured turukõikumised on tööstust viimase 40 aasta jooksul vaevanud.
Suurim ehitusinvesteeringute kasv toimus dotcom-buumi ajal, mil aastatel 1993–2001 investeeriti renoveerimisse ja ehitusse 10 miljardit dollarit ehk ligikaudu 1 miljard dollarit aastas. Kui arvestada ruutmeetrites (1 m² maksumus 1995. aastal on 3000 dollarit), on see ligikaudu 350 000 m2 aastas 10 aasta jooksul, alates 1993. aastast.
Aastate koguinvesteeringute kasv sellel perioodil ulatus 1215%-ni.
Sel perioodil ehitustehnikat rentinud ettevõtted sarnanesid kullapalaviku ajal (samas piirkonnas 19. sajandi keskel) labidaid müünud ettevõtetega. Ainult labidate asemel olid 2000. aastatel juba kraanad ja betoonipumbad vastloodud ehitusfirmadele, kes tahtsid ehitusbuumil raha teenida.
Pärast igat paljudest kriisidest, mida ehitustööstus on aastate jooksul kogenud, järgmise kahe kriisijärgse aasta jooksul investeeringuid (lubade taotluste hulk) ehitamiseks langes iga kord vähemalt 50%..
Suurimad kriisid San Francisco ehitustööstuses leidsid aset 90ndatel. Kus tööstusharu 5-aastase perioodilisusega kas langes (-85% perioodil 1983-1986), seejärel tõusis uuesti (+895% ajavahemikul 1988-1992), jäädes aastaarvudes 1981, 1986, 1988. , 1993 - samal tasemel.
Pärast 1993. aastat ei ulatunud kõik järgnevad langused ehitussektoris rohkem kui 50%. Aga lähenev majanduskriis (COVID-19 tõttu) võib tekitada ehitussektoris rekordilise kriisi perioodil 2017-2021, mille langus juba perioodil 2017-2019 ulatub kokku üle 60%.
San Francisco rahvastiku kasv dünaamika ka perioodil 1980-1993 näitas peaaegu eksponentsiaalset kasvu. Silicon Valley majanduslik tugevus ja uuenduslik energia oli kindel alus, millele rajati uue majanduse, Ameerika renessansi ja dot-comsi hüperbool. See oli uue majanduse epitsenter. Kuid erinevalt kinnisvarainvesteeringute kasvust vähenes rahvaarv pärast dot-comi tipphetki.
Enne dot-comi tippu 2001. aastal on aastane rahvastiku kasv alates 1950. aastast olnud ligikaudu 1% aastas. Seejärel, pärast mulli kokkuvarisemist, uue elanikkonna juurdevool pidurdus ja alates 2001. aastast on see olnud vaid 0.2 protsenti aastas.
2019. aastal (esimest korda pärast 1950. aastat) näitas kasvudünaamika rahvastiku väljavoolu (-0.21% ehk 7000 inimest) San Francisco linnast.
Ootus ja tegelikkus kulukalkulatsiooni koostamisel
Kasutatavates andmekogumites jagunevad andmed ehitusprojekti loa maksumuse kohta:
- algne hinnanguline maksumus (hinnanguline maksumus)
- töö maksumus pärast ümberhindamist (muudetud_kulu)
Buumiajal on ümberhindamise põhieesmärk algmaksumuse suurendamine, kui investor (ehituse tellija) näitab peale ehituse algust isu.
Kriisi ajal püüavad nad hinnangulisi kulusid mitte ületada ja esialgsed hinnangud praktiliselt ei muutu (välja arvatud 1989. aasta maavärin).
Ümberhinnatud ja hinnangulise maksumuse (muudetud_kulu - hinnanguline_kulu) erinevuse põhjal koostatud graafiku järgi võib täheldada, et:
Kulutõusu suurus ehitustööde mahtude ümberhindamisel sõltub otseselt majandusbuumi tsüklitest
data_spread = data_cost.assign(spread = (data_cost.revised_cost-data_cost.estimated_cost))
Kiire majanduskasvu perioodidel kulutavad töökliendid (investorid) oma vahendeid üsna heldelt, suurendades nende taotlusi pärast töö algust.
Tellija (investor), tundes end rahaliselt kindlalt, palub ehitusettevõtjal või arhitektil pikendada juba väljastatud ehitusluba. See võib olla otsus suurendada basseini esialgset pikkust või suurendada maja pinda (pärast tööde algust ja ehitusloa väljastamist).
Dot-com ajastu haripunktis ulatusid sellised "lisakulud" 1 miljardini aastas.
Kui vaadata seda tabelit juba protsentuaalses muutuses, siis hinnangu kasvu tipp (100% ehk 2 korda esialgsest hinnangulisest maksumusest) toimus aastal enne 1989. aastal linna lähistel toimunud maavärinat. Eeldan, et pärast maavärinat nõudsid 1988. aastal alanud ehitusprojektid, pärast 1989. aasta maavärinat, elluviimiseks rohkem aega ja raha.
Seevastu hinnangulise maksumuse allapoole korrigeerimine (mis toimus ainult üks kord ajavahemikul 1980–2019) mitu aastat enne maavärinat on arvatavasti tingitud asjaolust, et mõned aastatel 1986–1987 alustatud projektid külmutati või investeeringuid neisse projektidesse kärbiti. alla. Õigeaegselt keskmiselt iga 1987. aastal alustatud projekti kohta - hinnangulise maksumuse vähenemine oli -20% esialgsest plaanist.
data_spred_percent = data_cost_y.assign(spred = ((data_cost_y.revised_cost-data_cost_y.estimated_cost)/data_cost_y.estimated_cost*100))
Esialgse hinnangulise maksumuse suurenemine üle 40% viitas või võis olla tingitud finants- ja seejärel ehitusturul lähenevast mullist.
Mis on hinnanguliste ja muudetud kulude vahe (erinevuse) vähenemise põhjus pärast 2007. aastat?
Võib-olla hakkasid investorid hoolikalt numbreid vaatama (keskmine summa 20 aasta jooksul kasvas 100 tuhandelt dollarilt 2 miljonile) või võib-olla kehtestas ehitusosakond kinnisvaraturul tekkivaid mullide teket ennetades ja pidurdades uusi reegleid ja piiranguid võimalike manipulatsioonide vähendamiseks. ja võimalikud riskid, mis kriisiaastatel tekivad.
Ehitustegevus olenevalt aastaajast
Rühmitades andmed aasta kalendrinädalate järgi (54 nädalat), saate jälgida ehitustegevust San Francisco linnas sõltuvalt hooajalisusest ja aastaajast.
Jõuludeks püüavad kõik ehitusorganisatsioonid uutele “suurtele” projektidele aegsasti lube saada. (samal ajal! lubade arv! neil samadel kuudel on aastaringselt samal tasemel). Investorid, kes plaanivad oma vara kätte saada järgmise aasta jooksul, sõlmivad lepinguid talvekuudel, lootes suurte allahindlustega (kuna suvelepingud on valdavalt lõppemas aasta lõpuks ja ehitusfirmad on huvitatud uute taotluste vastuvõtmisel).
Jõulude eel esitatakse kõige rohkem taotlusi (kasv keskmiselt 1-1,5 miljardilt kuus 5 miljardile ainuüksi detsembris). Samas jääb taotluste koguarv kuude lõikes samale tasemele (vt allpool jaotist: taotluste koguarvu statistika kuude ja päevade lõikes)
Pärast talvepühi planeerib ja teostab ehitustööstus aktiivselt “jõulu” tellimusi (lubade arv peaaegu olematu), et aasta keskpaigaks (enne taasiseseisvumispäeva puhkust) vabaneda ressursse enne uut. suvelepingute laine algab kohe pärast juunipühi.
data_month_year = data_month_year.assign(week_year = data_month_year.permit_creation_date.dt.week)
data_month_year = data_month_year.groupby(['week_year'])['estimated_cost'].sum()
Samad protsentandmed (oranž joon) näitavad ka seda, et tööstus toimib aastaringselt “sujuvalt”, kuid enne ja pärast pühi kasvab lubade aktiivsus perioodil 150-20 (enne taasiseseisvumispäeva) 24%-ni ning väheneb kohe peale puhkust kuni -70%.
Enne Halloweeni ja jõule kasvab aktiivsus San Francisco ehitustööstuses nädala 43-44 jooksul 150% (põhjast tipuni) ja langeb siis pühade ajal nullini.
Seega on tööstus kuuekuulises tsüklis, mida eraldavad pühad “USA iseseisvuspäev” (20. nädal) ja “jõulud” (52. nädal).
Kogu kinnisvarainvesteeringud San Franciscos
Põhineb linna ehituslubade andmetel:
Koguinvesteeringud San Francisco ehitusprojektidesse aastatel 1980–2019 on 91,5 miljardit dollarit.
sf_worth = data_location_lang_long.cost.sum()
Kogu San Franciscos asuva elamukinnisvara turuväärtus, mis on hinnatud kinnisvaramaksudega (see on kogu San Franciscole kuuluva kinnisvara ja isikliku vara hinnanguline väärtus) .
Millistesse San Francisco piirkondadesse on viimase 40 aasta jooksul investeeritud?
Kasutades Foliumi raamatukogu, vaatame, kuhu see 91,5 miljardit dollarit piirkondade kaupa investeeriti. Selleks esitame pärast andmete sihtnumbri järgi rühmitamist saadud väärtused ringide abil (Foliumi teegi funktsioon Circle).
import folium
from folium import Circle
from folium import Marker
from folium.features import DivIcon
# map folium display
lat = data_location_lang_long.lat.mean()
long = data_location_lang_long.long.mean()
map1 = folium.Map(location = [lat, long], zoom_start = 12)
for i in range(0,len(data_location_lang_long)):
Circle(
location = [data_location_lang_long.iloc[i]['lat'], data_location_lang_long.iloc[i]['long']],
radius= [data_location_lang_long.iloc[i]['cost']/20000000],
fill = True, fill_color='#cc0000',color='#cc0000').add_to(map1)
Marker(
[data_location_mean.iloc[i]['lat'], data_location_mean.iloc[i]['long']],
icon=DivIcon(
icon_size=(6000,3336),
icon_anchor=(0,0),
html='<div style="font-size: 14pt; text-shadow: 0 0 10px #fff, 0 0 10px #fff;; color: #000";"">%s</div>'
%("$ "+ str((data_location_lang_long.iloc[i]['cost']/1000000000).round()) + ' mlrd.'))).add_to(map1)
map1
Piirkondadest on selgelt näha, et Suurem osa pirukast läks loogiliselt DownTownile. Lihtsustades kõikide objektide grupeerimist kesklinna kauguse ja kesklinna jõudmise aja järgi (loomulikult ehitatakse ka rannikule kalleid maju), jagati kõik load 4 rühma: 'Kesklinn' , '<0.5H Kesklinna', '< 1H Kesklinna', 'Väljaspool SF'.
from geopy.distance import vincenty
def distance_calc (row):
start = (row['lat'], row['long'])
stop = (37.7945742, -122.3999445)
return vincenty(start, stop).meters/1000
df_pr['distance'] = df_pr.apply (lambda row: distance_calc (row),axis=1)
def downtown_proximity(dist):
'''
< 2 -> Near Downtown, >= 2, <4 -> <0.5H Downtown
>= 4, <6 -> <1H Downtown, >= 8 -> Outside SF
'''
if dist < 2:
return 'Downtown'
elif dist < 4:
return '<0.5H Downtown'
elif dist < 6:
return '<1H Downtown'
elif dist >= 6:
return 'Outside SF'
df_pr['downtown_proximity'] = df_pr.distance.apply(downtown_proximity)Linna investeeritud 91,5 miljardist on remonti ja ehitusse investeeritud ligi 70 miljardit (75% kõigist investeeringutest) kesklinnas (roheline tsoon) ja linna piirkonda 2 km raadiuses. keskelt (sinine tsoon).
Ehitustaotluse eeldatav keskmine maksumus linnaosa lõikes
Kõik andmed, nagu ka investeeringu kogusumma, rühmitati sihtnumbri järgi. Ainult sel juhul koos rakenduse keskmise (.mean()) hinnangulise maksumusega sihtnumbri järgi.
data_location_mean = data_location.groupby(['zipcode'])['lat','long','estimated_cost'].mean()
Tavalistes linnapiirkondades (kesklinnast rohkem kui 2 km kaugusel) - ehitustaotluse keskmine hinnanguline maksumus on 50 tuhat dollarit.
Kesklinna piirkonna hinnanguline keskmine maksumus on ligikaudu kolm korda suurem (150 tuhat kuni 400 tuhat dollarit) kui teistes piirkondades (30-50 tuhat dollarit).
Lisaks maa maksumusele määravad kodu ehitamise kogumaksumuse kolm tegurit: tööjõud, materjalid ja riigilõivud. Need kolm komponenti on Californias kõrgemad kui ülejäänud riigis. California ehitusnorme peetakse üheks kõige põhjalikumaks ja rangemaks riigis (maavärina- ja keskkonnaeeskirjade tõttu), mis nõuavad sageli kallimaid materjale ja tööjõudu.
Näiteks nõuab valitsus ehitajatelt kvaliteetsemate ehitusmaterjalide (aknad, soojustus-, kütte- ja jahutussüsteemid) kasutamist, et saavutada kõrged energiatõhususe standardid.
Loataotluse keskmise maksumuse üldisest statistikast torkab silma kaks asukohta:
- Treasure Island - tehissaar San Francisco lahes. Ehitusloa eeldatav maksumus on keskmiselt 6,5 miljonit dollarit.
- Missiooni laht — (2926 elanikku) Ehitusloa keskmine eeldatav maksumus on 1,5 miljonit dollarit.
Tegelikult on nende kahe valdkonna kõrge keskmine rakendus seotud nende postikohtade jaoks kõige vähem taotlusi (vastavalt 145 ja 3064, ehitus saarel on väga piiratud), ülejäänud sihtnumbrite puhul - XNUMXja perioodil 1980-2019 laekus ligikaudu 1300 taotlust aastas (kokku keskmiselt 30 -50 tuhat taotlust kogu perioodi kohta).
Parameetri "taotluste arv" järgi on märgatav taotluste arvu täiesti ühtlane jaotus sihtnumbri kohta kogu linnas.
Taotluste koguarvu statistika kuude ja päevade lõikes
Üldstatistika taotluste koguarvu kohta kuude ja nädalapäevade lõikes aastatel 1980–2019 näitab, et Ehitusosakonna vaiksemad kuud on kevad- ja talvekuud. Samas on taotlustes märgitud investeeringute summa väga erinev ja on kuude lõikes kohati erinev (vt lisaks “Ehitustegevus sõltuvalt aastaajast”). Nädalapäevadest on esmaspäeval osakonna koormus ligikaudu 20% väiksem kui teistel nädalapäevadel.
months = [ 'January', 'February', 'March', 'April', 'May','June', 'July', 'August', 'September', 'October', 'November', 'December' ]
data_month_count = data_month.groupby(['permit_creation_date']).count().reindex(months)
Kui taotluste arvult on juuni ja juuli praktiliselt samad, siis hinnangulise kogumaksumuse osas ulatub vahe 100%-ni (mais ja juulis 4,3 miljardit ning juunis 8,2 miljardit).
data_month_sum = data_month.groupby(['permit_creation_date']).sum().reindex(months)
San Francisco ehitustööstuse tulevik, ennustades aktiivsust mustrite järgi.
Lõpetuseks võrdleme San Francisco ehitustegevuse graafikut Bitcoini hinnagraafikuga (2015-2018) ja kulla hinnagraafikuga (1940-1980).
Muster (inglise keelest - mudel, näidis) - tehnilises analüüsis nimetatakse stabiilseid korduvaid hinna-, mahu- või näitajaandmete kombinatsioone. Mustrianalüüs põhineb ühel tehnilise analüüsi aksioomil: "ajalugu kordub" - arvatakse, et korduvad andmete kombinatsioonid annavad sarnase tulemuse.
Peamine muster, mida aasta tegevuste graafikul näha on, on See on "pea ja õlad" trendi pöördumise muster. Nimetatud seetõttu, et diagramm näeb välja nagu inimese pea (tipp) ja külgedel olevad õlad (väiksemad tipud). Kui hind murrab süvendeid ühendava joone, loetakse muster täielikuks ja liikumine toimub tõenäoliselt allapoole.
San Francisco ehitustööstuse aktiivsuse liikumised langevad peaaegu täielikult kokku kulla ja bitcoini hinna tõusuga. Nende kolme hinna- ja tegevusgraafiku ajaloolised tulemused näitavad märkimisväärseid sarnasusi.
Et oleks võimalik ennustada ehitusturu käitumist tulevikus, on vaja arvutada korrelatsioonikordaja nende kahe trendiga.
Kahte juhuslikku muutujat nimetatakse korrelatsiooniks, kui nende korrelatsioonimoment (või korrelatsioonikordaja) erineb nullist; ja neid nimetatakse korrelatsioonita suurusteks, kui nende korrelatsioonimoment on null.
Kui saadud väärtus on lähemal 0-le kui 1-le, siis pole mõtet rääkida selgest mustrist. See on keeruline matemaatiline probleem, mille võivad enda peale võtta vanemad seltsimehed, kes võivad selle teema vastu huvi tunda.
Kui! ebateadus! vaadake San Francisco ehitustööstuse edasise arengu teemat: kui muster kattub jätkuvalt Bitcoini hinnaga, siis selle pessimistliku variandi järgi — San Francisco ehitussektori kriisist väljatulek ei ole vahetus kriisijärgsel perioodil lihtne.
Optimistlikuma valikuga areng, on ehitustööstuse korduv eksponentsiaalne kasv võimalik, kui siinne tegevus järgib “kullahinna” stsenaariumi. Sel juhul ootab ehitussektorit 20-30 aasta pärast (võib-olla 10) ees uus tööhõive ja arengu hüpe.
Vaatan lähemalt üksikuid ehitusvaldkondi (katuste remont, köök, treppide, vannitubade ehitus, kui teil on ettepanekuid valdkondade või muude andmete kohta - palun kirjutage kommentaaridesse) ja võrdlen üksikute tööde inflatsiooni hüpoteeklaenude fikseeritud intressimäärad ja USA valitsuse võlakirjade kasumlikkus (Fixed Mortgage Rates & US Treasury Yield).
Link teisele osale:
Link Jupyteri sülearvutile:
Palun neile, kes on Kaggle'iga, andke Notebook pluss (aitäh!).
(Koodi kommentaarid ja selgitused lisatakse hiljem märkmikusse)
Link ingliskeelsele versioonile:
Kui teile meeldib minu sisu, kaaluge mulle kohvi ostmist.
Tänan toetuse eest!
Küsitluses saavad osaleda ainult registreerunud kasutajad. palun.
Mida toob tulevik San Francisco ehitustööstusele?
-
66,7%Ehitussektor järgib tõenäolisemalt Bitcoin2 teed
-
0,0%Ehitussektor võib kulgeda kulla hinna teed0
-
0,0%Sektor ootab hüpet järgmise 10 aasta jooksul0
-
33,3%Sektori areng ei kulge mustrite järgi1
3 kasutajat hääletas. 6 kasutajat jäi erapooletuks.
Allikas: www.habr.com