Ta serija člankov je posvečena študiji gradbene dejavnosti v glavnem mestu Silicijeve doline - San Franciscu. San Francisco je tehnološka »Moskva« našega sveta, na njenem primeru (s pomočjo odprtih podatkov) opazujemo razvoj gradbene industrije v velikih mestih in prestolnicah.
Gradnja grafov in izračuni so bili izvedeni v (na platformi Kaggle.com).
Podatki o več kot milijonu gradbenih dovoljenj (zapisi v dveh nizih podatkov) iz gradbenega oddelka San Francisca - omogoča analizirati ne le gradbeno dejavnost v mestu, temveč tudi kritično razmisliti najnovejši trendi in zgodovina razvoja gradbene industrije v zadnjih 40 letih, med letoma 1980 in 2019.
Odprti podatki omogočajo raziskovanje glavni dejavniki, ki so in bodo vplivali na razvoj gradbeništva v mestu, ki jih delimo na »zunanje« (gospodarski razcvet in kriza) in »notranje« (vpliv praznikov in sezonsko-letnih ciklov).
Vsebina
Odprti podatki in pregled izhodiščnih parametrov.
To ni prevod članka. Pišem na LinkedInu in da ne ustvarjam grafik v več jezikih, so vse grafike v angleščini.
Povezava do drugega dela:
Podatki o gradbenem dovoljenju mesta San Francisco – s portala odprtih podatkov – . Portal ima več podatkovnih nizov na temo gradnje. Dva takšna niza podatkov hranita in posodabljata podatke o izdanih dovoljenjih za gradnjo ali popravilo objektov v mestu:
- (850 tisoč zapisov)
- (280 tisoč zapisov, podatki se prenašajo in posodabljajo tedensko)
Ti podatkovni nizi vsebujejo informacije o izdanih gradbenih dovoljenjih z različnimi značilnostmi objekta, za katerega se dovoljenje izda. Skupno število prejetih vnosov (dovoljenj). v obdobju 1980-2019 - 1 dovolilnic.
Glavni parametri iz tega nabora podatkov, ki so bili uporabljeni za analizo:
- datum_ustvarjanja_dovoljenja — datum oblikovanja vloge (pravzaprav dan začetka gradbenih del)
- opis — opis vloge (dve ali tri ključne besede, ki opisujejo gradbeni projekt (delo), za katerega je bilo dovoljenje izdelano)
- ocenjen_strošek — ocenjeni (ocenjeni) stroški gradbenih del
- revidirani_strošek — revidirani stroški (stroški dela po prevrednotenju, povečanju ali zmanjšanju začetnih količin vloge)
- obstoječa_uporaba - vrsta stanovanja (eno-, dvostanovanjska hiša, stanovanja, pisarne, proizvodnja itd.)
- poštna številka, lokacija — poštno številko in koordinate objekta
Letna gradbena dejavnost v San Franciscu
Spodnji graf prikazuje parametre ocenjen_strošek и revidirani_strošek prikazan kot porazdelitev celotnega stroška dela po mesecih.
data_cost_m = data_cost.groupby(pd.Grouper(freq='M')).sum()Da bi zmanjšali mesečne "odklone", so mesečni podatki razvrščeni po letih. Graf količine vloženega denarja po letih je dobil bolj logično in analizno obliko.
data_cost_y = data_cost.groupby(pd.Grouper(freq='Y')).sum()
Na podlagi letnega gibanja vsote stroškov (vsa dovoljenja za leto) na mestne objekte jasno vidni ekonomski dejavniki, ki so vplivali od leta 1980 do 2019 o številu in stroških gradbenih projektov ali drugače o naložbah v nepremičnine v San Franciscu.
Število gradbenih dovoljenj (število gradbenih del ali število naložb) v zadnjih 40 letih je bilo tesno povezano z gospodarsko dejavnostjo v Silicijevi dolini.
Prvi vrhunec gradbene dejavnosti je bil povezan s pompom elektronike sredi 80. let v dolini. Recesija elektronike in bančništva, ki je sledila leta 1985, je regionalni trg nepremičnin poslala v padec, iz katerega si ni opomogel skoraj desetletje.
Po tem še dvakrat (v letih 1993-2000 in 2009-2016) pred propadom balona Dotcom in tehnološkim razcvetom zadnjih let Gradbena industrija v San Franciscu je doživela parabolično rast v višini več tisoč odstotkov..
Če odstranimo vmesne vrhove in najnižje vrednosti ter pustimo najnižje in najvišje vrednosti za vsak gospodarski cikel, je jasno, kako velika tržna nihanja so pestila industrijo v zadnjih 40 letih.
Največji porast investicij v gradbeništvo se je zgodil v času dot-com booma, ko je bilo med letoma 1993 in 2001 v prenovo in gradnjo vloženih 10 milijard dolarjev oziroma približno milijarda dolarjev na leto. Če računamo v kvadratne metre (1 m² je leta 1 znašal 1995 $), je to približno 3000 m350 na leto za 000 let, od leta 2.
Letna rast skupnih investicij v tem obdobju je znašala 1215 %.
Podjetja, ki so v tem obdobju izposojala gradbeno opremo, so bila podobna podjetjem, ki so prodajala lopate v času zlate mrzlice (v isti regiji sredi 19. stoletja). Le namesto lopat so v 2000-ih že obstajali žerjavi in betonske črpalke za novonastala gradbena podjetja, ki so želela zaslužiti na gradbeni razcvetu.
Po vsaki izmed številnih kriz, ki jih je v preteklih letih doživela gradbena industrija, v naslednjih dveh letih po krizi naložbe (število vlog za dovoljenja) za gradnjo vsakič padel za vsaj 50 %.
Največje krize v gradbeništvu San Francisca so se zgodile v 90. letih. Kjer je s periodičnostjo 5 let industrija bodisi padla (-85% v obdobju 1983-1986), nato spet narasla (+895% v obdobju 1988-1992), tako da je ostala v letnem smislu v letih 1981, 1986, 1988 , 1993 - na isti ravni.
Po letu 1993 vsi kasnejši padci v gradbeništvu niso bili več kot 50-odstotni. Ampak bližajočo se gospodarsko krizo (zaradi COVID-19) lahko povzroči rekordno krizo v gradbeništvu v obdobju 2017-2021, katerega upad že v obdobju 2017-2019 znaša skupno več kot 60 %.
Rast prebivalstva San Francisca dinamika v obdobju 1980-1993 tudi pokazala skoraj eksponentno rast. Gospodarska moč in inovativna energija Silicijeve doline je bila trden temelj, na katerem je bila zgrajena hiperbola nove ekonomije, ameriške renesanse in dot-comov. Bil je epicenter nove ekonomije. Toda za razliko od porasta naložb v nepremičnine se je po vrhuncu dot-com število prebivalcev dejansko ustavilo.
Pred vrhuncem dot-com leta 2001 je letna rast prebivalstva od leta 1950 znašala približno 1 % na leto. Nato se je po zlomu balona pritok novega prebivalstva umiril in od leta 2001 znaša le 0.2 odstotka na leto.
V letu 2019 (prvič po letu 1950) je dinamika rasti pokazala odliv prebivalstva (-0.21 % ali 7000 ljudi) iz mesta San Francisco.
Pričakovanje in realnost pri pripravi stroškovnikov
V uporabljenih zbirkah podatkov so podatki o stroških dovoljenja za gradbeni projekt razdeljeni na:
- prvotni ocenjeni stroški (ocenjen_strošek)
- stroški dela po revalorizaciji (revidirani_strošek)
V času konjunkture je glavni namen prevrednotenja povečanje začetnih stroškov, ko investitor (naročnik gradnje) po začetku gradnje pokaže apetit.
V času krize se trudijo, da ne bi presegli ocenjenih stroškov, začetne ocene pa se praktično ne spremenijo (razen potresa 1989).
Glede na graf, zgrajen na podlagi razlike med revaloriziranimi in ocenjenimi stroški (revised_cost - predicted_cost), je mogoče opaziti, da:
Višina povečanja stroškov pri prevrednotenju obsega gradbenih del je neposredno odvisna od ciklov konjunkture
data_spread = data_cost.assign(spread = (data_cost.revised_cost-data_cost.estimated_cost))
V obdobjih hitre gospodarske rasti kupci dela (investitorji) porabljajo svoja sredstva precej velikodušno in povečajo svoje zahteve po začetku dela.
Stranka (investitor) zaradi finančne varnosti zaprosi gradbenega izvajalca ali arhitekta za podaljšanje že izdanega gradbenega dovoljenja. To je lahko odločitev za povečanje začetne dolžine bazena ali povečanje površine hiše (po začetku del in izdaji gradbenega dovoljenja).
Na vrhuncu dot-com dobe so takšni "dodatni" stroški dosegli "dodatno" milijardo na leto.
Če pogledate to tabelo že v odstotkih sprememb, se je največje povečanje ocene (100 % ali 2-kratnik prvotnih ocenjenih stroškov) zgodilo v letu pred potresom, ki se je zgodil leta 1989 v bližini mesta. Predvidevam, da so po potresu gradbeni projekti, ki so se začeli leta 1988, po potresu leta 1989 zahtevali več časa in sredstev za izvedbo.
Nasprotno pa je revizija ocenjenih stroškov navzdol (ki se je zgodila le enkrat v obdobju od 1980 do 2019) več let pred potresom verjetno posledica dejstva, da so bili nekateri projekti, začeti v letih 1986-1987, zamrznjeni ali pa so bile naložbe v te projekte zmanjšane. navzdol. Na urniku v povprečju za vsak projekt, ki se je začel leta 1987 - znižanje ocenjenih stroškov je bilo -20 % prvotnega načrta.
data_spred_percent = data_cost_y.assign(spred = ((data_cost_y.revised_cost-data_cost_y.estimated_cost)/data_cost_y.estimated_cost*100))
Povišanje izhodiščne ocene za več kot 40 % je nakazovalo oziroma je bilo morda posledica bližajočega se balona na finančnem in posledično gradbenem trgu.
Kaj je razlog za zmanjšanje razmika (razlike) med ocenjenimi in revidiranimi stroški po letu 2007?
Morda so investitorji začeli pozorno gledati na številke (povprečni znesek v 20 letih se je s 100 tisoč dolarjev povečal na 2 milijona dolarjev) ali pa je gradbeni oddelek, ki preprečuje in zavira nastajanje balonov na nepremičninskem trgu, uvedel nova pravila in omejitve za zmanjšanje možnih manipulacij. in možna tveganja, ki se bodo pojavila v kriznih letih.
Gradbena dejavnost glede na letni čas
Z združevanjem podatkov po koledarskih tednih v letu (54 tednov) lahko opazujete gradbeno dejavnost v mestu San Francisco glede na sezonskost in letni čas.
Do božiča si vse gradbene organizacije prizadevajo pravočasno pridobiti dovoljenje za nove "velike" projekte. (hkrati! je! število! dovolilnic v teh istih mesecih skozi vse leto na enaki ravni). Investitorji, ki nameravajo svojo nepremičnino prejeti v naslednjem letu, sklepajo pogodbe v zimskih mesecih, pri čemer računajo na velike popuste (saj se poletne pogodbe večinoma iztečejo konec leta in so zainteresirana gradbena podjetja). pri prejemu novih prijav).
Pred božičem je največ vlog (povečanje s povprečno 1-1,5 milijarde na mesec na 5 milijard samo decembra). Ob tem skupno število prijav po mesecih ostaja na enaki ravni (glej spodnji razdelek: statistika skupnega števila prijav po mesecih in dnevih)
Gradbeništvo po zimskih počitnicah aktivno načrtuje in izvaja »božična« naročila (skoraj brez povečanja števila dovoljenj), da bi sprostila sredstva do sredine leta (pred praznikom samostojnosti) pred novimi val poletnih pogodb se začne takoj po junijskih počitnicah.
data_month_year = data_month_year.assign(week_year = data_month_year.permit_creation_date.dt.week)
data_month_year = data_month_year.groupby(['week_year'])['estimated_cost'].sum()
Isti odstotni podatek (oranžna črta) kaže tudi, da panoga deluje »nemoteno« skozi vse leto, vendar se pred in po praznikih aktivnost na dovolilnicah poveča na 150 % v obdobju med 20. in 24. tednom (pred dnevom neodvisnosti), oz. zniža takoj po prazniku do -70%.
Pred nočjo čarovnic in božičem se aktivnost v gradbeni industriji v San Franciscu poveča za 43 % v tednu 44–150 (od dna do vrha), nato pa se med prazniki zmanjša na nič.
Tako je industrija v šestmesečnem ciklu, ki ga ločujeta praznika "dan neodvisnosti ZDA" (20. teden) in "božič" (52. teden).
Celotna naložba v nepremičnine v San Franciscu
Na podlagi podatkov o gradbenih dovoljenjih v mestu:
Skupne naložbe v gradbene projekte v San Franciscu od leta 1980 do 2019 znašajo 91,5 milijarde dolarjev.
sf_worth = data_location_lang_long.cost.sum()
Skupna tržna vrednost vseh stanovanjskih nepremičnin v San Franciscu, ocenjena z davki na nepremičnine (ki je ocenjena vrednost vseh nepremičnin in vse osebne lastnine v lasti San Francisca) .
V katera območja San Francisca so vlagali v zadnjih 40 letih?
Z uporabo knjižnice Folium poglejmo, kam je bilo vloženih 91,5 milijard dolarjev po regijah. Če želite to narediti, bomo po združevanju podatkov po poštni številki dobljene vrednosti predstavili s krogi (funkcija Circle iz knjižnice Folium).
import folium
from folium import Circle
from folium import Marker
from folium.features import DivIcon
# map folium display
lat = data_location_lang_long.lat.mean()
long = data_location_lang_long.long.mean()
map1 = folium.Map(location = [lat, long], zoom_start = 12)
for i in range(0,len(data_location_lang_long)):
Circle(
location = [data_location_lang_long.iloc[i]['lat'], data_location_lang_long.iloc[i]['long']],
radius= [data_location_lang_long.iloc[i]['cost']/20000000],
fill = True, fill_color='#cc0000',color='#cc0000').add_to(map1)
Marker(
[data_location_mean.iloc[i]['lat'], data_location_mean.iloc[i]['long']],
icon=DivIcon(
icon_size=(6000,3336),
icon_anchor=(0,0),
html='<div style="font-size: 14pt; text-shadow: 0 0 10px #fff, 0 0 10px #fff;; color: #000";"">%s</div>'
%("$ "+ str((data_location_lang_long.iloc[i]['cost']/1000000000).round()) + ' mlrd.'))).add_to(map1)
map1
Po regijah je razvidno, da Večina pogače je logično šla v DownTown. S poenostavitvijo razvrščanja vseh objektov glede na oddaljenost od centra mesta in čas, ki ga potrebujete za prihod v center (seveda se na obali gradijo tudi drage hiše), smo vse dovolilnice razdelili v 4 skupine: 'Downtown' , '<0.5H središče mesta', '< 1H središče mesta', 'Zunaj SF'.
from geopy.distance import vincenty
def distance_calc (row):
start = (row['lat'], row['long'])
stop = (37.7945742, -122.3999445)
return vincenty(start, stop).meters/1000
df_pr['distance'] = df_pr.apply (lambda row: distance_calc (row),axis=1)
def downtown_proximity(dist):
'''
< 2 -> Near Downtown, >= 2, <4 -> <0.5H Downtown
>= 4, <6 -> <1H Downtown, >= 8 -> Outside SF
'''
if dist < 2:
return 'Downtown'
elif dist < 4:
return '<0.5H Downtown'
elif dist < 6:
return '<1H Downtown'
elif dist >= 6:
return 'Outside SF'
df_pr['downtown_proximity'] = df_pr.distance.apply(downtown_proximity)Od 91,5 milijard vloženih v mesto je skoraj 70 milijard (75 % vseh naložb), vloženih v popravila in gradnjo, v središču mesta. (zelena cona) in na območje mesta v radiju 2 km. iz centra (modra cona).
Povprečni ocenjeni stroški vloge za gradnjo po mestnih četrtih
Vsi podatki so bili tako kot pri celotnem znesku naložbe razvrščeni po poštnih številkah. Samo v tem primeru s povprečno (.mean()) ocenjeno ceno aplikacije po poštni številki.
data_location_mean = data_location.groupby(['zipcode'])['lat','long','estimated_cost'].mean()
V običajnih predelih mesta (več kot 2 km od središča mesta) - povprečni ocenjeni stroški gradbene aplikacije znašajo 50 tisoč dolarjev.
Povprečni ocenjeni strošek na območju mestnega jedra je približno trikrat višji (150 do 400 tisoč dolarjev) kot na drugih področjih (30–50 tisoč dolarjev).
Poleg cene zemljišča trije dejavniki določajo skupne stroške gradnje doma: delo, material in državne pristojbine. Te tri komponente so višje v Kaliforniji kot v preostali državi. Kalifornijski gradbeni predpisi veljajo za ene najobsežnejših in najstrožjih v državi (zaradi potresnih in okoljskih predpisov), ki pogosto zahtevajo dražje materiale in delo.
Vlada na primer od gradbenikov zahteva uporabo kakovostnejših gradbenih materialov (okna, izolacija, ogrevalni in hladilni sistemi), da bi dosegli visoke standarde energetske učinkovitosti.
Iz splošne statistike povprečnih stroškov vloge za dovoljenje izstopata dve lokaciji:
- Treasure Island - umetni otok v zalivu San Francisco. Povprečni ocenjeni strošek gradbenega dovoljenja je 6,5 milijona dolarjev.
- Mission Bay — (2926 prebivalcev) Povprečni ocenjeni strošek gradbenega dovoljenja je 1,5 milijona dolarjev.
Pravzaprav je visoka povprečna uporaba na teh dveh področjih povezana z najmanj prijavami za te poštne lokacije (145 oziroma 3064, gradnja na otoku je zelo omejena), medtem ko za ostale poštne številke - XNUMXin obdobje 1980–2019 je prejelo približno 1300 prijav na leto (skupaj v povprečju 30 -50 tisoč prijav za celotno obdobje).
Glede na parameter »število prijav« je opazna popolnoma enakomerna porazdelitev števila prijav na poštno številko po mestu.
Statistika skupnega števila prijav po mesecih in dnevih
Skupni statistični podatki o skupnem številu prijav po mesecih in dnevih v tednu med letoma 1980 in 2019 kažejo, da Najmirnejši meseci za gradbeništvo so pomladni in zimski meseci. Hkrati se višina naložb, navedena v vlogah, zelo razlikuje in se na trenutke razlikuje od meseca do meseca (glej dodatno “Gradbena dejavnost glede na sezono”). Med dnevi v tednu je ponedeljek obremenitev oddelka približno 20% manjša kot ostale dni v tednu.
months = [ 'January', 'February', 'March', 'April', 'May','June', 'July', 'August', 'September', 'October', 'November', 'December' ]
data_month_count = data_month.groupby(['permit_creation_date']).count().reindex(months)
Medtem ko sta junij in julij po številu vlog praktično enaka, pa je glede na skupni ocenjeni strošek razlika dosegla 100 % (4,3 milijarde maja in julija ter 8,2 milijarde junija).
data_month_sum = data_month.groupby(['permit_creation_date']).sum().reindex(months)
Prihodnost gradbene industrije San Francisca, napovedovanje dejavnosti po vzorcih.
Nazadnje primerjajmo grafikon gradbene dejavnosti v San Franciscu z grafikonom cen bitcoinov (2015–2018) in grafikonom cen zlata (1940–1980).
Vzorec (iz angleškega vzorca - model, vzorec) - v tehnični analizi se imenujejo stabilne ponavljajoče se kombinacije podatkov o ceni, obsegu ali indikatorju. Analiza vzorcev temelji na enem od aksiomov tehnične analize: "zgodovina se ponavlja" - verjame se, da ponavljajoče se kombinacije podatkov vodijo do podobnega rezultata.
Glavni vzorec, ki ga je mogoče videti na letnem grafikonu dejavnosti, je To je vzorec obračanja trenda "Glava in ramena". Tako imenovan, ker je karta videti kot človeška glava (vrh) in ramena ob straneh (manjši vrhovi). Ko cena prebije črto, ki povezuje korita, se vzorec šteje za dokončan in bo verjetno gibanje navzdol.
Gibanje aktivnosti v gradbeništvu San Francisca skoraj popolnoma sovpada z rastjo cene zlata in bitcoina. Zgodovinska uspešnost teh treh grafikonov cen in dejavnosti kaže opazne podobnosti.
Da bi lahko predvideli obnašanje gradbenega trga v prihodnosti, potrebno je izračunati korelacijski koeficient z vsakim od teh dveh trendov.
Dve naključni spremenljivki se imenujeta korelirani, če je njun korelacijski moment (ali korelacijski koeficient) drugačen od nič; in se imenujejo nekorelirane količine, če je njihov korelacijski moment enak nič.
Če je dobljena vrednost bližje 0 kot 1, potem nima smisla govoriti o jasnem vzorcu. To je zapleten matematični problem, ki se ga bodo morda lotili starejši tovariši, ki jih bo ta tema morda zanimala.
Če! neznanstveno! poglejte temo nadaljnjega razvoja gradbene industrije v San Franciscu: če vzorec še naprej sovpada s ceno Bitcoina, potem glede na to pesimistično možnost — izhod iz krize v gradbeništvu v San Franciscu v obdobju neposredno po krizi ne bo enostaven.
Z bolj "optimistično" možnostjo razvoja, je možna ponovna eksponentna rast v gradbeništvu, če bo aktivnost tukaj sledila scenariju "cene zlata". V tem primeru se bo gradbeništvo čez 20-30 let (lahko čez 10) soočilo z novim porastom zaposlovanja in razvoja.
Podrobneje si bom ogledal posamezne sektorje gradbeništva (popravilo streh, kuhinj, izdelava stopnic, kopalnic, če imate predloge glede panog ali drugih podatkov - napišite v komentarje) in primerjal inflacijo za posamezne vrste del z fiksne obrestne mere za hipotekarna posojila in donosnost državnih obveznic ZDA (Fixed Mortgage Rates & US Treasury Yield).
Povezava do drugega dela:
Povezava do Jupyter Notebook:
Prosim, za tiste, ki so s Kaggle, dajte Beležnici plus (hvala!).
(Komentarji in razlage kode bodo dodani pozneje v Notebook)
Povezava do angleške različice:
Če vam je všeč moja vsebina, razmislite o tem, da mi privoščite kavo.
Hvala za tvojo podporo!
V anketi lahko sodelujejo samo registrirani uporabniki. , prosim.
Kakšna je prihodnost gradbene industrije San Francisca?
-
66,7%Gradbeni sektor bo bolj verjetno sledil poti Bitcoin2
-
0,0%Gradbeni sektor bo morda šel po poti cen zlata0
-
0,0%Sektor pričakuje navdušenje v naslednjih 10 letih0
-
33,3%Razvoj sektorja ne poteka po vzorcih1
Glasovalo je 3 uporabnikov. 6 uporabnikov se je vzdržalo.
Vir: www.habr.com