Seri atik sa a konsakre nan etid aktivite konstriksyon nan vil prensipal Silicon Valley - San Francisco. San Francisco se teknolojik "Moskou" nan mond nou an, lè l sèvi avèk egzanp li yo (avèk èd nan done louvri) yo obsève devlopman nan endistri konstriksyon nan gwo vil yo ak kapital yo.
Konstriksyon graf ak kalkil te fèt nan (sou platfòm Kaggle.com).
Done sou plis pase yon milyon pèmi konstriksyon (dosye nan de done) ki soti nan Depatman Konstriksyon San Francisco - pèmèt analize pa sèlman aktivite konstriksyon nan vil la, men tou kritik konsidere dènye tandans ak istwa devlopman endistri konstriksyon sou 40 ane ki sot pase yo, ant 1980 ak 2019.
Done louvri fè li posib yo eksplore faktè prensipal ki te enfliyanse epi ki pral enfliyanse devlopman nan endistri konstriksyon nan vil la, divize yo an "ekstèn" (boom ekonomik ak kriz) ak "entèn" (enfliyans nan jou ferye ak sik sezon-anyèl).
Content
Louvri done ak revizyon paramèt debaz yo.
Sa a se pa yon tradiksyon atik la. Mwen ekri sou LinkedIn ak nan lòd yo pa kreye grafik nan plizyè lang, tout grafik yo se an angle.
Link nan dezyèm pati a:
Done sou pèmi konstriksyon vil San Francisco - Soti nan pòtal Open Data - . Pòtal la gen plizyè seri done sou sijè konstriksyon an. De seri done sa yo estoke ak mete ajou done sou pèmi yo bay pou konstriksyon oswa reparasyon objè nan vil la:
- (850 mil dosye)
- (280 mil dosye, done yo telechaje epi mete ajou chak semèn)
Ansanm done sa yo genyen enfòmasyon sou pèmi konstriksyon yo bay, ak divès karakteristik objè a pou ki pèmi a bay. Kantite total antre (pèmisyon) te resevwa nan peryòd 1980-2019 - 1 pèmi.
Paramèt prensipal yo nan seri done sa a ki te itilize pou analiz:
- dat_permi_kreyasyon - dat kreyasyon aplikasyon an (an reyalite, jou travay konstriksyon kòmanse)
- deskripsyon — deskripsyon aplikasyon an (de oswa twa mo kle ki dekri pwojè konstriksyon (travay) pou ki te kreye pèmi a)
- pri_estime — estime (estime) pri travay konstriksyon
- pri_revize — pri revize (depans travay apre rvalorizasyon, ogmantasyon oswa diminye volim inisyal aplikasyon an)
- ki ekziste_itilize - kalite lojman (yon sèl, kay de fanmi, apatman, biwo, pwodiksyon, elatriye)
- kòd postal, kote — kòd postal ak kowòdone objè
Aktivite konstriksyon anyèl nan San Francisco
Graf ki anba a montre paramèt yo pri_estime и pri_revize prezante kòm yon distribisyon pri total travay pa mwa.
data_cost_m = data_cost.groupby(pd.Grouper(freq='M')).sum()Pou diminye "outliers" chak mwa, done chak mwa yo gwoupe pa ane. Grafik kantite lajan envesti pa ane a te resevwa yon fòm ki pi lojik ak analizable.
data_cost_y = data_cost.groupby(pd.Grouper(freq='Y')).sum()
Ki baze sou mouvman anyèl la nan sòm total depans (tout pèmi pou ane a) nan enstalasyon vil la faktè ekonomik ki te enfliyanse soti nan 1980 rive 2019 yo klèman vizib sou kantite ak pri nan pwojè konstriksyon, oswa otreman sou envèstisman nan San Francisco byen imobilye.
Kantite pèmi konstriksyon (kantite travay konstriksyon oswa kantite envestisman) pandan 40 ane ki sot pase yo te gen rapò ak aktivite ekonomik nan Silicon Valley.
Premye pik nan aktivite konstriksyon te asosye ak battage elektwonik nan mitan ane 80 yo nan fon an. Elektwonik ak resesyon bankè ki te vini an 1985 te voye mache rejyonal byen imobilye a nan yon bès kote li pa t refè pou prèske yon dekad.
Apre sa, de fwa plis (nan 1993-2000 ak 2009-2016) anvan efondreman nan ti wonn nan Dotcom ak boom nan teknoloji nan dènye ane yo. Endistri konstriksyon San Francisco a te fè eksperyans kwasans parabolik nan plizyè mil pousan..
Lè yo retire pik entèmedyè yo ak depresyon yo epi kite valè minimòm ak maksimòm pou chak sik ekonomik, li klè ki jan gwo fluctuations mache yo te gwo malè tonbe sou endistri a pandan 40 ane ki sot pase yo.
Pi gwo ogmantasyon nan envestisman nan konstriksyon te fèt pandan boom dot-com a, lè ant 1993 ak 2001 10 milya dola te envesti nan renovasyon ak konstriksyon, oswa apeprè $1 milya pa ane. Si nou konte an mèt kare (kout 1 m² an 1995 se $3000), sa a se apeprè 350 m² pa ane pou 000 ane, apati lane 2.
Kwasans total de envestisman anyèl pandan peryòd sa a te monte a 1215%.
Konpayi yo ki te lwe ekipman konstriksyon pandan peryòd sa a te sanble ak konpayi yo ki te vann pèl pandan Rush lò a (nan menm rejyon an nan mitan 19yèm syèk la). Se sèlman olye pou yo pèl, nan ane 2000 yo te deja trepye ak ponp konkrè pou konpayi konstriksyon ki fèk fòme ki te vle fè lajan sou boom nan konstriksyon.
Apre chak nan anpil kriz ke endistri konstriksyon te fè eksperyans pandan ane yo, sou de pwochen ane yo apre kriz, envestisman (kantite aplikasyon pou pèmi) pou konstriksyon tonbe nan omwen 50% chak fwa.
Pi gwo kriz nan endistri konstriksyon San Francisco te fèt nan ane 90 yo. Ki kote, ak yon peryodikite 5 ane, endistri a swa tonbe (-85% nan peryòd 1983-1986), Lè sa a, leve ankò (+895% nan peryòd 1988-1992), rete an tèm anyèl nan 1981, 1986, 1988. , 1993 - nan menm nivo.
Apre 1993, tout bès ki vin apre nan endistri konstriksyon yo pa t depase 50%. Men apwoche kriz ekonomik (akòz COVID-19) te kapab kreye yon kriz dosye nan endistri konstriksyon nan peryòd 2017-2021 la, n bès nan ki deja nan peryòd 2017-2019 la se yon total de plis pase 60%.
San Francisco kwasans popilasyon an dinamik nan peryòd 1980-1993 tou te montre kwasans prèske eksponansyèl. Fòs ekonomik ak enèji inovatè Silicon Valley se te fondasyon solid sou kote yo te bati hyperbole Nouvo Ekonomi, Renesans Ameriken an, ak dot-coms yo. Se te episant nouvo ekonomi an. Men, kontrèman ak ogmantasyon nan envestisman byen imobilye, apre pik la dot-com, popilasyon an aktyèlman plato.
Anvan pik dot-com an 2001, kwasans popilasyon anyèl depi 1950 te apeprè 1% pa ane. Lè sa a, apre efondreman nan ti wonn nan, foul la nan nouvo popilasyon ralanti epi depi 2001 te sèlman 0.2 pousan pa ane.
Nan 2019 (pou premye fwa depi 1950), dinamik kwasans yo te montre yon ekoulman popilasyon (-0.21% oswa 7000 moun) nan vil San Francisco.
Atant ak reyalite lè w ap prepare estimasyon pri
Nan seri done yo itilize, done sou pri a nan yon pèmi pou yon pwojè konstriksyon divize an:
- pri estimasyon orijinal (pri_estime)
- pri travay apre revalorizasyon (pri_revize)
Pandan tan boom, objektif prensipal la nan rvalorizasyon se ogmante pri inisyal la, lè envestisè a (kliyan konstriksyon an) montre yon apeti apre kòmansman konstriksyon an.
Pandan yon kriz, yo eseye pa depase depans yo estime, ak estimasyon inisyal yo sibi nòmalman pa gen okenn chanjman. (eksepte tranblemanntè 1989 la).
Dapre graf ki bati sou diferans ki genyen ant pri reevalye ak pri estime (revised_cost - estimated_cost), li ka obsève ke:
Kantite ogmantasyon pri lè revalorize volim travay konstriksyon depann dirèkteman de sik boom ekonomik yo
data_spread = data_cost.assign(spread = (data_cost.revised_cost-data_cost.estimated_cost))
Pandan peryòd kwasans ekonomik rapid, kliyan nan travay (envestisè) depanse lajan yo byen san gad dèyè, ogmante demann yo apre kòmansman travay la.
Kliyan an (envestisè), ki santi finansyèman konfyans, mande kontraktè konstriksyon an oswa achitèk pou yon ekstansyon pou pèmi konstriksyon ki deja bay la. Sa a ka yon desizyon ogmante longè inisyal la nan pisin lan oswa ogmante zòn nan nan kay la (apre kòmansman travay la ak emisyon yon pèmi konstriksyon).
Nan pikwa epòk dot-com, depans "anplis" sa yo te rive nan yon "anplis" 1 milya dola pa ane.
Si w gade tablo sa a ki deja nan chanjman pousantaj, Lè sa a, pik ogmantasyon nan estimasyon an (100% oswa 2 fwa pri estimasyon orijinal la) te fèt nan ane anvan tranblemanntè ki te fèt an 1989 toupre vil la. Mwen sipoze ke apre tranbleman tè a, pwojè konstriksyon ki te kòmanse an 1988 te mande, apre tranblemanntè a an 1989, plis tan ak lajan pou egzekisyon.
Okontrè, yon revizyon anba nan pri estimasyon an (ki te fèt yon sèl fwa pandan peryòd 1980 rive 2019) plizyè ane anvan tranblemanntè a se akòz lefèt ke kèk pwojè ki te kòmanse an 1986-1987 te jele oswa envestisman nan pwojè sa yo te koupe. desann. Sou orè an mwayèn pou chak pwojè ki te kòmanse an 1987 - rediksyon nan pri a estime te -20% nan plan orijinal la..
data_spred_percent = data_cost_y.assign(spred = ((data_cost_y.revised_cost-data_cost_y.estimated_cost)/data_cost_y.estimated_cost*100))
Yon ogmantasyon nan pri inisyal la estime ki gen plis pase 40% endike oswa li te petèt yon konsekans ti wonn nan apwoche nan finansye a ak imedyatman mache a konstriksyon.
Ki rezon ki fè yo diminisyon nan gaye (diferans) ant depans yo estime ak revize apre 2007?
Petèt envestisè yo te kòmanse ak anpil atansyon gade nan nimewo yo (kantite lajan an mwayèn sou 20 ane ogmante soti nan $ 100 mil a $ 2 milyon dola) oswa petèt depatman an konstriksyon, anpeche ak anpeche bul émergentes nan mache a byen imobilye, prezante nouvo règ ak restriksyon diminye manipilasyon posib. ak risk posib ki pral parèt pandan ane kriz yo.
Aktivite konstriksyon depann sou sezon an nan ane a
Lè ou gwoupe done yo pa semèn kalandriye nan ane a (54 semèn), ou ka obsève aktivite konstriksyon nan vil San Francisco depann sou sezon an ak epòk nan ane a.
Nan Nwèl la, tout òganizasyon konstriksyon yo ap eseye jwenn pèmisyon pou nouvo pwojè "gwo" alè. (an menm tan! kantite! pèmi nan menm mwa sa yo se nan menm nivo pandan tout ane a). Envestisè yo, ki planifye pou jwenn pwopriyete yo nan ane kap vini an, antre nan kontra nan mwa ivè yo, konte sou gwo rabè (depi kontra ete yo, pou pati ki pi, yo ap vini nan yon fen nan fen ane a ak konpayi konstriksyon yo enterese. nan resevwa nouvo aplikasyon).
Anvan Nwèl, pi gwo kantite aplikasyon yo soumèt (ogmante soti nan yon mwayèn de 1-1,5 milya dola pa mwa a 5 milya dola nan mwa desanm pou kont li). An menm tan, kantite total aplikasyon pa mwa rete nan menm nivo (gade seksyon ki anba a: estatistik sou kantite total aplikasyon pa mwa ak jou)
Apre jou ferye ivè yo, endistri konstriksyon an ap planifye ak egzekite aktivman lòd "Nwèl" (avèk prèske pa gen okenn ogmantasyon nan kantite pèmi) yo nan lòd yo libere resous nan mitan ane a (anvan jou fèt Endepandans lan) anvan nouvo a. vag kontra ete kòmanse imedyatman apre jou ferye jen yo.
data_month_year = data_month_year.assign(week_year = data_month_year.permit_creation_date.dt.week)
data_month_year = data_month_year.groupby(['week_year'])['estimated_cost'].sum()
Done yo menm pousantaj (liy zoranj) montre tou ke endistri a opere "san" pandan tout ane a, men anvan ak apre jou ferye yo, aktivite sou pèmi ogmante a 150% nan peryòd ki genyen ant semèn 20-24 (anvan Jou Endepandans), ak diminye imedyatman apre jou fèt la jiska -70%.
Anvan Halloween ak Nwèl, aktivite nan endistri konstriksyon San Francisco ogmante pa 43% pandan semèn 44-150 la (soti anba nan pik) epi apre sa diminye a zewo pandan jou ferye yo.
Kidonk, endistri a se nan yon sik sis mwa, ki separe pa jou ferye "Jou Endepandans Etazini" (semèn 20) ak "Nwèl" (semèn 52).
Total envestisman byen imobilye nan San Francisco
Dapre done sou pèmi konstriksyon nan vil la:
Envestisman total nan pwojè konstriksyon nan San Francisco soti 1980 rive 2019 se $91,5 milya dola.
sf_worth = data_location_lang_long.cost.sum()
Valè total sou mache tout byen imobilye rezidansyèl nan San Francisco evalye pa taks sou pwopriyete (yo se valè evalye tout byen imobilye ak tout pwopriyete pèsonèl ki posede pa San Francisco) .
Nan ki zòn nan San Francisco te envesti nan 40 ane ki sot pase yo?
Sèvi ak bibliyotèk Folium la, ann wè ki kote 91,5 milya dola sa a te envesti pa rejyon an. Pou fè sa, lè nou te gwoupe done yo pa kòd postal, nou pral reprezante valè ki kapab lakòz yo lè l sèvi avèk ti sèk (fonksyon Circle ki soti nan bibliyotèk Folium la).
import folium
from folium import Circle
from folium import Marker
from folium.features import DivIcon
# map folium display
lat = data_location_lang_long.lat.mean()
long = data_location_lang_long.long.mean()
map1 = folium.Map(location = [lat, long], zoom_start = 12)
for i in range(0,len(data_location_lang_long)):
Circle(
location = [data_location_lang_long.iloc[i]['lat'], data_location_lang_long.iloc[i]['long']],
radius= [data_location_lang_long.iloc[i]['cost']/20000000],
fill = True, fill_color='#cc0000',color='#cc0000').add_to(map1)
Marker(
[data_location_mean.iloc[i]['lat'], data_location_mean.iloc[i]['long']],
icon=DivIcon(
icon_size=(6000,3336),
icon_anchor=(0,0),
html='<div style="font-size: 14pt; text-shadow: 0 0 10px #fff, 0 0 10px #fff;; color: #000";"">%s</div>'
%("$ "+ str((data_location_lang_long.iloc[i]['cost']/1000000000).round()) + ' mlrd.'))).add_to(map1)
map1
Li klè nan rejyon yo ke Pifò nan tat la lojikman te ale nan DownTown. Lè yo te senplifye gwoupman tout objè yo dapre distans ak sant vil la ak tan li pran pou ale nan sant vil la (nan kou, kay chè yo ap bati tou sou kòt la), tout pèmi yo te divize an 4 gwoup: 'Anba Lavil la'. , '<0.5H Downtown', '< 1H Downtown', 'Deyò SF'.
from geopy.distance import vincenty
def distance_calc (row):
start = (row['lat'], row['long'])
stop = (37.7945742, -122.3999445)
return vincenty(start, stop).meters/1000
df_pr['distance'] = df_pr.apply (lambda row: distance_calc (row),axis=1)
def downtown_proximity(dist):
'''
< 2 -> Near Downtown, >= 2, <4 -> <0.5H Downtown
>= 4, <6 -> <1H Downtown, >= 8 -> Outside SF
'''
if dist < 2:
return 'Downtown'
elif dist < 4:
return '<0.5H Downtown'
elif dist < 6:
return '<1H Downtown'
elif dist >= 6:
return 'Outside SF'
df_pr['downtown_proximity'] = df_pr.distance.apply(downtown_proximity)Nan 91,5 milya dola ki te envesti nan vil la, prèske 70 milya dola (75% nan tout envestisman) envesti nan reparasyon ak konstriksyon yo nan sant vil la. (zòn vèt) ak nan zòn vil la nan yon reyon 2 km. soti nan sant la (zòn ble).
Mwayèn estimasyon pri yon aplikasyon konstriksyon pa distri vil la
Tout done, menm jan ak kantite total envestisman an, te gwoupe pa kòd postal. Se sèlman nan ka sa a ak mwayèn (.mean()) estimasyon pri aplikasyon an pa kòd postal.
data_location_mean = data_location.groupby(['zipcode'])['lat','long','estimated_cost'].mean()
Nan zòn òdinè nan vil la (plis pase 2 km soti nan sant vil la) - pri an mwayèn estime nan yon aplikasyon konstriksyon se $ 50 mil.
Pri an mwayèn estime nan zòn sant vil la apeprè twa fwa pi wo ($150 mil a $400 mil) pase nan lòt zòn ($30-50 mil).
Anplis pri tè a, twa faktè detèmine pri total konstriksyon kay: travay, materyèl, ak frè gouvènman an. Twa eleman sa yo pi wo nan Kalifòni pase nan rès peyi a. Kòd bilding Kalifòni yo konsidere kòm kèk nan pi konplè ak sevè nan peyi a (akòz tranblemanntè ak règleman anviwònman an), souvan mande pou materyèl pi chè ak travay.
Pou egzanp, gouvènman an mande pou mason yo sèvi ak pi bon kalite materyèl konstriksyon (fenèt, izolasyon, chofaj ak sistèm refwadisman) pou reyalize estanda efikasite enèji segondè.
Soti nan estatistik jeneral yo sou pri an mwayèn nan yon aplikasyon pou pèmi, de kote yo kanpe deyò:
- Treasure Island - yon zile atifisyèl nan San Francisco Bay. Pri an mwayèn estime yon pèmi konstriksyon se $6,5 milyon dola.
- Misyon Bay — (populasyon 2926) Pri mwayèn estime yon pèmi konstriksyon se $1,5 milyon.
An reyalite, aplikasyon an mwayèn segondè nan de zòn sa yo gen rapò ak pi piti kantite aplikasyon pou lokal lapòs sa yo (145 ak 3064 respektivman, konstriksyon sou zile a trè limite), pandan ke pou rès kòd postal yo - XNUMXak peryòd 1980-2019 la te resevwa apeprè 1300 aplikasyon pou chak ane (total an mwayèn 30 -50 mil aplikasyon pou tout peryòd la).
Dapre paramèt "kantite aplikasyon yo", yon distribisyon parfe menm kantite aplikasyon pou chak kòd postal nan tout vil la se aparan.
Estatistik sou kantite total aplikasyon pa mwa ak jou
Estatistik jeneral sou kantite total aplikasyon pa mwa ak jou nan semèn nan ant 1980 ak 2019 montre ke Mwa ki pi trankil pou depatman konstriksyon an se mwa prentan ak sezon fredi. An menm tan an, kantite envestisman ki espesifye nan aplikasyon yo varye anpil epi li diferan de mwa a mwa pafwa (gade anplis "Aktivite konstriksyon depann sou sezon an"). Pami jou yo nan semèn nan, nan Lendi chaj la sou depatman an se apeprè 20% mwens pase nan lòt jou nan semèn nan.
months = [ 'January', 'February', 'March', 'April', 'May','June', 'July', 'August', 'September', 'October', 'November', 'December' ]
data_month_count = data_month.groupby(['permit_creation_date']).count().reindex(months)
Pandan ke jen ak jiyè yo pratikman menm an tèm de kantite aplikasyon yo, an tèm de pri total estime diferans lan rive nan 100% (4,3 milya dola nan mwa me ak jiyè ak 8,2 milya dola nan mwa jen).
data_month_sum = data_month.groupby(['permit_creation_date']).sum().reindex(months)
Tan kap vini an nan endistri konstriksyon San Francisco, predi aktivite pa modèl.
Finalman, ann konpare tablo aktivite konstriksyon nan San Francisco ak tablo pri Bitcoin (2015-2018) ak tablo pri lò (1940 - 1980).
Modèl (ki soti nan modèl la angle - modèl, echantiyon) - nan analiz teknik ki estab konbinezon repete nan pri, volim oswa done endikatè yo rele. Analiz modèl baze sou youn nan aksyòm analiz teknik: "istwa repete tèt li" - yo kwè ke repete konbinezon done mennen nan yon rezilta menm jan an.
Modèl prensipal la ki ka wè sou tablo aktivite anyèl la se Sa a se yon modèl ranvèse tandans "tèt ak zepòl". Se konsa yo te rele paske tablo a sanble ak yon tèt moun (pik) ak zepòl sou kote sa yo (pi piti tèt). Lè pri a kraze liy ki konekte depresyon yo, modèl la konsidere kòm konplè epi mouvman an gen anpil chans pou yo desann.
Mouvman nan aktivite nan endistri konstriksyon San Francisco prèske konplètman kowenside ak ogmantasyon nan pri a nan lò ak bitcoin. Pèfòmans istorik twa pri ak aktivite sa yo montre resanblans remakab.
Pou kapab predi konpòtman mache konstriksyon an nan tan kap vini an, li nesesè pou kalkile koyefisyan korelasyon an ak chak nan de tandans sa yo.
Yo rele de varyab o aza korelasyon si moman korelasyon yo (oswa koyefisyan korelasyon) diferan de zewo; epi yo rele kantite ki pa korelasyon si moman korelasyon yo se zewo.
Si valè a ki kapab lakòz se pi pre 0 pase 1, Lè sa a, pa gen okenn pwen nan pale sou yon modèl klè. Sa a se yon pwoblèm matematik konplèks, ki ka pran sou pa kamarad ki pi gran ki ka enterese nan sijè sa a.
Si! san syantifik! gade nan sijè a nan plis devlopman nan endistri konstriksyon nan San Francisco: si modèl la kontinye kowenside ak pri a nan Bitcoin, Lè sa a dapre opsyon pesimis sa a — soti nan kriz la nan endistri konstriksyon nan San Francisco pa pral fasil nan peryòd la imedya apre kriz la.
Avèk yon opsyon ki pi "optimis". devlopman, repete kwasans eksponansyèl nan endistri konstriksyon posib si aktivite isit la swiv senaryo "pri lò". Nan ka sa a, nan 20-30 ane (pètèt nan 10), sektè konstriksyon ap fè fas a yon nouvo vag nan travay ak devlopman.
Mwen pral pran yon gade pi pre nan sektè endividyèl nan konstriksyon (reparasyon nan twati kay, kwizin, konstriksyon nan eskalye, twalèt, si ou gen nenpòt sijesyon sou endistri oswa lòt done - tanpri ekri nan kòmantè yo) epi konpare enflasyon pou kalite travay endividyèl ak to fiks sou prè ipotèk ak rentabilité nan obligasyon gouvènman ameriken (Fixed Mortgage Rates & US Treasury Yield).
Link nan dezyèm pati a:
Link nan kaye Jupyter:
Tanpri, pou moun ki ak Kaggle, bay Kaye yon plis (Mèsi!).
(N ap ajoute kòmantè ak eksplikasyon sou kòd la pita nan Kaye)
Link nan vèsyon angle:
Si ou renmen kontni mwen an, tanpri konsidere achte m 'yon kafe.
mèsi pou sipò ou!
Se sèlman itilizatè ki anrejistre ki ka patisipe nan sondaj la. , tanpri.
Ki sa ki lavni an kenbe pou endistri konstriksyon San Francisco a?
-
66,7%Sektè konstriksyon an gen plis chans swiv chemen Bitcoin2
-
0,0%Sektè konstriksyon an ka swiv chemen an nan pri lò0
-
0,0%Sektè a espere battage pandan 10 ane kap vini yo0
-
33,3%Devlopman sektè a pa mache dapre modèl1
3 itilizatè yo te vote. 6 itilizatè te absteni.
Sous: www.habr.com