Sta serie di articuli hè cunsacratu à u studiu di l'attività di custruzzione in a cità principale di Silicon Valley - San Francisco. San Francisco hè a "Mosca" tecnologica di u nostru mondu, utilizendu u so esempiu (cù l'aiutu di dati aperti) per osservà u sviluppu di a industria di a custruzzione in e grande cità è capitali.
A custruzzione di gràfiche è calculi hè stata fatta in (nantu à a piattaforma Kaggle.com).
Dati nantu à più di un milione di permessi di custruzzione (records in dui datasets) da u Dipartimentu di Edificiu di San Francisco - permette analizà micca solu l'attività di custruzzione in a cità, ma ancu cunsiderà criticamente l'ultime tendenze è a storia di u sviluppu di l'industria di a custruzione in l'ultimi 40 anni, trà 1980 è 2019.
I dati aperti facenu pussibule di scopra fattori principali chì anu influenzatu è influenzaranu u sviluppu di l'industria di a custruzione in a cità, dividendu in "esterni" (booms ecunomichi è crisi) è "interni" (l'influenza di e vacanze è i cicli staghjoni-annuali).
Cuntenuti
Dati aperti è rivisione di i paràmetri di basa.
Questa ùn hè micca una traduzzione di l'articulu. Scrivu nantu à LinkedIn è per ùn creà gràfiche in parechje lingue, tutti i gràfici sò in inglese.
Link à a seconda parte:
Dati di permessu di custruzzione di a cità di San Francisco - Da u Portale Open Data - . U portale hà parechje datasets nantu à u tema di a custruzzione. Dui tali datasets almacenanu è aghjurnà e dati nantu à i permessi emessi per a custruzzione o riparazione di l'uggetti in a cità:
- (850 mila dischi)
- (280 mila records, i dati sò scaricati è aghjurnati ogni settimana)
Questi datasets cuntenenu infurmazioni nantu à i permessi di custruzzione emessi, cù diverse caratteristiche di l'ughjettu per quale u permessu hè emessu. U numeru tutale di entrate (permissions) ricevute in u periodu 1980-2019 - 1 permessi.
I paràmetri principali di questu set di dati chì sò stati utilizati per l'analisi:
- permessu_data_creazione - data di creazione di l'applicazione (in fattu, u ghjornu chì principia u travagliu di custruzzione)
- descrizzione - descrizzione di l'applicazione (dui o trè parole chjave chì descrizanu u prughjettu di custruzzione (travagliu) per quale hè statu creatu u permessu)
- costu_stimata - costu stimatu (estimatu) di u travagliu di custruzzione
- costu_revisu - costu rivedutu (costu di travagliu dopu a rivalutazione, aumentu o diminuzione di i volumi iniziali di l'applicazione)
- usu_esistente - tipu d'abitazione (casa unifamiliare, bifamiliare, appartamenti, uffizii, pruduzzione, etc.)
- codice postale, locu - codice postale è coordenate di l'ughjettu
Attività annuale di custruzzione in San Francisco
U graficu sottu mostra i paràmetri costu_stimata и costu_revisu prisentatu cum'è una distribuzione di u costu tutale di u travagliu per mese.
data_cost_m = data_cost.groupby(pd.Grouper(freq='M')).sum()Per riduce i "outliers" mensili, i dati mensili sò raggruppati per annu. U graficu di a quantità di soldi investitu per annu hà ricevutu una forma più logica è analizable.
data_cost_y = data_cost.groupby(pd.Grouper(freq='Y')).sum()
Basatu annantu à u muvimentu annuale di a somma di i costi (tutti i permessi per l'annu) à e facilità di a cità I fattori ecunomichi chì anu influinzatu da 1980 à 2019 sò chjaramente visibili nant'à u numeru è u costu di prughjetti di custruzzione, o altrimenti nant'à investimenti in San Francisco real estate.
U numaru di permessi di custruzzione (u numeru di travagliu di custruzzione o u numeru di investimenti) in l'ultimi 40 anni hè stata strettamente ligata à l'attività ecunomica in Silicon Valley.
U primu piccu di l'attività di custruzzione era assuciatu cù l'hype elettronicu di a mità di l'anni 80 in a valle. L'elettronica è a recessione bancaria chì seguitanu in u 1985 hà mandatu u mercatu immubiliare regiunale in una decadenza da quale ùn hà micca ricuperatu per quasi una dicada.
Dopu quì, duie volte più (in 1993-2000 è 2009-2016) prima di u colapsu di a bolla Dotcom è u boom di a tecnulugia di l'ultimi anni. L'industria di a custruzione di San Francisco hà sperimentatu una crescita parabolica di parechji milla per centu..
Rimuovendu e cime intermedie è i bassi è lascendu i valori minimi è massimi per ogni ciculu ecunomicu, hè chjaru quantu grandi fluttuazioni di u mercatu anu afflittu l'industria in l'ultimi 40 anni.
U più grande aumentu di l'investimentu in a custruzzione hè accadutu durante u boom dot-com, quandu trà u 1993 è u 2001 $ 10 miliardi sò stati investiti in rinnuvamentu è custruzzione, o circa $ 1 miliardi annu. Se cuntamu in metri quadrati (u costu di 1 m² in u 1995 hè $ 3000), questu hè circa 350 m000 per annu per 2 anni, à partesi da u 10.
A crescita di l'investimenti totali annuali durante stu periodu hè stata di 1215%.
L'imprese chì allughjavanu l'equipaggiu di custruzzione in questu periodu eranu simili à l'imprese chì vindianu pala durante a corsa d'oru (in a listessa regione à a mità di u seculu XIX). Solu invece di pala, in l'anni 19 ci era digià grue è pompe di béton per cumpagnie di custruzzione di novu formate chì vulianu guadagnà soldi nantu à u boom di a custruzzione.
Dopu à ognuna di e parechje crisi chì l'industria di a custruzione hà sperimentatu annantu à l'anni, nantu à i prossimi dui anni post-crisi, investimenti (quantità di applicazioni per permessi) per a custruzzione cadutu da almenu 50% ogni volta.
A più grande crisi in l'industria di a custruzione di San Francisco hè accaduta in l'anni 90. Induve, cù una periodicità di 5 anni, l'industria sia hè calata (-85% in u periodu 1983-1986), poi hè tornata (+895% in u periodu 1988-1992), restandu in termini annuali in 1981, 1986, 1988. , 1993 - à u listessu livellu.
Dopu à u 1993, tutti i cali successivi in l'industria di a custruzzione ùn sò micca più di 50%. Ma avvicinà a crisa ecunomica (a causa di COVID-19) puderia creà una crisa record in l'industria di a custruzione in u periodu 2017-2021, a diminuzione di quale digià in u periodu 2017-2019 hè un totale di più di 60%.
A crescita di a pupulazione di San Francisco dinamica ancu in u periodu 1980-1993 hà mostratu una crescita quasi esponenziale. A forza ecunomica è l'energia innovativa di Silicon Valley era a basa solida nantu à quale l'iperbole di a Nova Ecunumia, u Rinascimentu Americanu è i punti-com sò stati custruiti. Era l'epicentre di a nova ecunumia. Ma à u cuntrariu di l'aumentu di l'investimenti immubiliarii, dopu à u piccu di u dot-com, a pupulazione hà veramente plateaued.
Prima di u piccu dot-com in u 2001, a crescita annuale di a pupulazione da u 1950 hè stata di circa 1% annu. Dopu, dopu à u colapsu di a bolla, l'affluenza di a nova pupulazione rallentò è da u 2001 hè stata solu 0.2 per centu annu.
In 2019 (per a prima volta da u 1950), a dinamica di crescita hà dimustratu un flussu di pupulazione (-0.21% o 7000 XNUMX persone) da a cità di San Francisco.
Aspettativa è realità quandu preparanu stimi di costu
In i datasets utilizati, i dati nantu à u costu di un permessu per un prughjettu di custruzzione sò divisi in:
- costu stimatu originale (costu_stimata)
- costu di u travagliu dopu a rivalutazione (costu_revisu)
Duranti i tempi di boom, u scopu principale di a rivalutazione hè di aumentà u costu iniziale, quandu l'investitore (u cliente di a custruzzione) mostra un appetite dopu à l'iniziu di a custruzzione.
Durante una crisa, cercanu di ùn superà i costi stimati, è l'estimi iniziali ùn anu micca cambiatu quasi. (eccettu u terrimotu di u 1989).
Sicondu u graficu custruitu nantu à a diffarenza trà u costu rivalutatu è stimatu (revised_cost - estimated_cost), pò esse osservatu chì:
A quantità di l'aumentu di u costu quandu rivalutà u voluminu di u travagliu di custruzzione dipende direttamente da i cicli di boom ecunomicu
data_spread = data_cost.assign(spread = (data_cost.revised_cost-data_cost.estimated_cost))
Duranti i periodi di crescita ecunomica rapida, i clienti di u travagliu (investitori) passanu i so fondi abbastanza generosamente, aumentendu e so dumande dopu l'iniziu di u travagliu.
U cliente (investitore), cunfidendu finanziariamente, dumanda à l'imprenditore di custruzzione o à l'architettu per allargà u permessu di custruzzione digià emessu. Questu pò esse una decisione per aumentà a lunghezza iniziale di a piscina o aumentà l'area di a casa (dopu à l'iniziu di u travagliu è l'emissione di un permessu di custruzione).
À u piccu di l'era dot-com, tali spese "addizionali" righjunghjenu un "extra" 1 billion annu.
S'è vo circate sta tavula digià in u cambiamentu percentuali, allura u piccu aumentu di a stima (100% o 2 volte u costu stimatu originale) hè accadutu in l'annu prima di u terrimotu chì hè accadutu in u 1989 vicinu à a cità. Assumimu chì dopu à u terrimotu, i prughjetti di custruzzione chì cuminciaru in u 1988 necessitanu, dopu à u terrimotu in u 1989, più tempu è fondi per l'implementazione.
À u cuntrariu, una rivisione in diminuzione di u costu stimatu (chì hè accadutu una sola volta durante u periodu da 1980 à 2019) parechji anni prima di u terrimotu hè presumibilmente dovutu à u fattu chì certi prughjetti iniziati in 1986-1987 sò stati congelati o l'investimenti in questi prughjetti sò stati tagliati. giù. À u calendariu in media per ogni prughjettu iniziatu in u 1987 - a riduzione di u costu stimatu era -20% di u pianu originale.
data_spred_percent = data_cost_y.assign(spred = ((data_cost_y.revised_cost-data_cost_y.estimated_cost)/data_cost_y.estimated_cost*100))
Un aumentu di u costu iniziale stimatu di più di 40% indicatu o era possibbilmente una cunsequenza di a bolla chì si avvicinava in u mercatu finanziariu è, in seguitu, in u mercatu di a custruzione.
Chì ghjè u mutivu di a diminuzione di a diffusione (differenza) trà i costi stimati è rivisioni dopu à 2007?
Forsi l'investituri accuminciaru à guardà attentamente i numeri (a quantità media di più di 20 anni cresce da $ 100 mila à $ 2 milioni) o forse u dipartimentu di a custruzzione, prevenendu è inibisce e bolle emergenti in u mercatu immubiliare, hà introduttu novi regule è restrizioni per riduce e pussibuli manipulazioni. è i pussibuli risichi chì surghjeranu durante l'anni di crisa.
Attività di custruzzione secondu a stagione di l'annu
Raggruppendu i dati per settimane di calendariu di l'annu (settimane 54), pudete osservà l'attività di custruzzione in a cità di San Francisco secondu a staghjunalità è u tempu di l'annu.
Per Natale, tutte l'urganisazioni di custruzzione cercanu di ottene u permessu per novi prughjetti "grandi" in u tempu. (à u listessu tempu ! u numeru ! di permessi in sti stessi mesi hè à u listessu livellu in tuttu l'annu). L'investituri, chì pensanu à ottene a so prupietà in l'annu dopu, entranu in cuntratti in i mesi d'invernu, cuntendu grandi sconti (dapoi i cuntratti d'estate, per a maiò parte, sò ghjunti à a fine à a fine di l'annu è l'imprese di custruzzione sò interessate). in riceve novi applicazioni).
Prima di Natale, i più grandi quantità di applicazioni sò presentate (aumentu da una media di 1-1,5 miliardi per mese à 5 miliardi in dicembre solu). À u listessu tempu, u numeru tutale di applicazioni per mese ferma à u listessu livellu (vede a sezione sottu: statistiche nantu à u numeru tutale di applicazioni per mese è ghjornu)
Dopu à e vacanze invernale, l'industria di a custruzzione hè attivamente pianificatu è implementendu ordini di "Natale" (senza quasi nisuna crescita di u numeru di permessi) per liberà risorse à a mità di l'annu (prima di a festa di l'Indipendenza) prima di u novu. onda di cuntratti estivi principia subitu dopu à e vacanze di ghjugnu.
data_month_year = data_month_year.assign(week_year = data_month_year.permit_creation_date.dt.week)
data_month_year = data_month_year.groupby(['week_year'])['estimated_cost'].sum()
U listessu percentuale di dati (linea aranciu) mostra ancu chì l'industria opera "lisciamente" in tuttu l'annu, ma prima è dopu à e vacanze, l'attività nantu à i permessi aumenta à 150% in u periodu trà a settimana 20-24 (prima di u ghjornu di l'Indipendenza), è diminuisce subitu dopu a vacanze finu à -70%.
Prima di Halloween è Natale, l'attività in l'industria di a custruzzione di San Francisco aumenta da 43% durante a settimana 44-150 (da u fondu à u piccu) è poi diminuite à cero durante i vacanze.
Cusì, l'industria hè in un ciculu di sei mesi, chì hè siparatu da e vacanze "U ghjornu di l'indipendenza di i Stati Uniti" (settimana 20) è "Natale" (settimana 52).
Investimentu immubiliare tutale in San Francisco
Basatu nantu à e dati nantu à i permessi di custruzzione in a cità:
L'investimentu tutale in prughjetti di custruzzione in San Francisco da u 1980 à u 2019 hè di $ 91,5 miliardi.
sf_worth = data_location_lang_long.cost.sum()
U valore di u mercatu tutale di tutti i beni immubiliarii residenziali in San Francisco valutatu da i tassi di a pruprietà (essendu u valore valutatu di tutti i beni immubiliarii è di tutte e pruprietà persunale di San Francisco) .
In quali zone di San Francisco anu investitu in l'ultimi 40 anni?
Utilizendu a biblioteca Folium, vedemu induve hè stata investita stu $ 91,5 miliardi per regione. Per fà questu, dopu avè raggruppatu i dati per codice postale, rapprisentaremu i valori resultanti utilizendu circles (a funzione Circle da a biblioteca Folium).
import folium
from folium import Circle
from folium import Marker
from folium.features import DivIcon
# map folium display
lat = data_location_lang_long.lat.mean()
long = data_location_lang_long.long.mean()
map1 = folium.Map(location = [lat, long], zoom_start = 12)
for i in range(0,len(data_location_lang_long)):
Circle(
location = [data_location_lang_long.iloc[i]['lat'], data_location_lang_long.iloc[i]['long']],
radius= [data_location_lang_long.iloc[i]['cost']/20000000],
fill = True, fill_color='#cc0000',color='#cc0000').add_to(map1)
Marker(
[data_location_mean.iloc[i]['lat'], data_location_mean.iloc[i]['long']],
icon=DivIcon(
icon_size=(6000,3336),
icon_anchor=(0,0),
html='<div style="font-size: 14pt; text-shadow: 0 0 10px #fff, 0 0 10px #fff;; color: #000";"">%s</div>'
%("$ "+ str((data_location_lang_long.iloc[i]['cost']/1000000000).round()) + ' mlrd.'))).add_to(map1)
map1
Hè chjaru da e regioni chì A maiò parte di a torta hè andata logicamente à DownTown. Dopu avè simplificatu u raggruppamentu di tutti l'uggetti per distanza à u centru di a cità è u tempu chì ci vole à ghjunghje à u centru di a cità (di sicuru, case caru sò ancu custruiti nantu à a costa), tutti i permessi sò stati divisi in 4 gruppi: "Centru". , '<0.5H Downtown', '< 1H Downtown', 'Fora SF'.
from geopy.distance import vincenty
def distance_calc (row):
start = (row['lat'], row['long'])
stop = (37.7945742, -122.3999445)
return vincenty(start, stop).meters/1000
df_pr['distance'] = df_pr.apply (lambda row: distance_calc (row),axis=1)
def downtown_proximity(dist):
'''
< 2 -> Near Downtown, >= 2, <4 -> <0.5H Downtown
>= 4, <6 -> <1H Downtown, >= 8 -> Outside SF
'''
if dist < 2:
return 'Downtown'
elif dist < 4:
return '<0.5H Downtown'
elif dist < 6:
return '<1H Downtown'
elif dist >= 6:
return 'Outside SF'
df_pr['downtown_proximity'] = df_pr.distance.apply(downtown_proximity)Di i 91,5 miliardi investiti in a cità, quasi 70 miliardi (75% di tutti l'investimenti) investiti in riparazione è custruzzione sò in u centru di a cità. (zona verde) è à l'area di a cità in un raghju di 2 km. da u centru (zona blu).
Costu mediu stimatu di una applicazione di custruzzione per distrittu di a cità
Tutte e dati, cum'è cù l'ammontu tutale d'investimentu, sò stati raggruppati per codice postale. Solu in questu casu cù u costu mediu (.mean ()) stimatu di l'applicazione per codice postale.
data_location_mean = data_location.groupby(['zipcode'])['lat','long','estimated_cost'].mean()
In i zoni ordinali di a cità (più di 2 km da u centru di a cità) - u costu mediu stimatu di una applicazione di custruzzione hè $ 50 mila.
U costu mediu stimatu in u centru di a cità hè circa trè volte più altu ($ 150 mila à $ 400 mila) chè in altri spazii ($ 30-50 mila).
In più di u costu di a terra, trè fatturi determinanu u costu tutale di a custruzzione di casa: u travagliu, i materiali è i tariffi di u guvernu. Questi trè cumpunenti sò più altu in California chì in u restu di u paese. I codici di custruzzione di California sò cunsiderati alcuni di i più cumpleti è stretti in u paese (per via di i terrimoti è i reguli ambientali), spessu necessanu materiali più caru è travagliu.
Per esempiu, u guvernu impone à i custruttori di utilizà materiali di custruzzione di qualità più altu (finestri, insulazioni, sistemi di riscaldamentu è di rinfrescante) per ottene un altu standard di efficienza energetica.
Da e statistiche generale nantu à u costu mediu di una dumanda di permessu, si distinguenu dui lochi:
- lingual vein LV - un'isula artificiale in a Baia di San Francisco. U costu mediu stimatu di un permessu di custruzzione hè $ 6,5 milioni.
- Mission Bay - (populazione 2926) U costu mediu stimatu di un permessu di custruzione hè $ 1,5 milioni.
In fatti, l'applicazione media alta in questi dui spazii hè in relazione cù u minimu numeru di applicazioni per questi posti postali (145 è 3064 rispettivamente, a custruzzione in l'isula hè assai limitata), mentre chì per u restu di i codici postali - XNUMXè u periodu 1980-2019 hà ricevutu circa 1300 applicazioni annu (totale in media 30 -50 mila applicazioni per tuttu u periodu).
Sicondu u paràmetru "numeru di applicazioni", una distribuzione perfetta di u numeru di applicazioni per codice postale in tutta a cità hè notevuli.
Statistiche nantu à u numeru tutale di applicazioni per mese è ghjornu
E statistiche generale nantu à u numeru tutale di applicazioni per mese è ghjornu di a settimana trà 1980 è 2019 mostranu chì I mesi più tranquilli per u dipartimentu di custruzzione sò i mesi di primavera è di l'invernu. À u listessu tempu, a quantità d'investimenti specificate in l'applicazioni varieghja assai è differisce da u mese à u mesi à volte (vede ancu "Attività di custruzzione secondu a stagione"). Trà i ghjorni di a settimana, u luni a carica nantu à u dipartimentu hè di circa 20% menu di l'altri ghjorni di a settimana.
months = [ 'January', 'February', 'March', 'April', 'May','June', 'July', 'August', 'September', 'October', 'November', 'December' ]
data_month_count = data_month.groupby(['permit_creation_date']).count().reindex(months)
Mentri ghjugnu è lugliu sò praticamenti listessi in quantu à u numeru di applicazioni, in quantu à u costu tutale stimatu, a diffarenza righjunghji u 100% (4,3 miliardi in maghju è lugliu è 8,2 miliardi in ghjugnu).
data_month_sum = data_month.groupby(['permit_creation_date']).sum().reindex(months)
U futuru di l'industria di a custruzzione di San Francisco, predichendu l'attività per mudelli.
Infine, paragunemu u graficu di l'attività di custruzzione in San Francisco cù u graficu di u prezzu di Bitcoin (2015-2018) è u graficu di u prezzu di l'oru (1940 - 1980).
Patrunu (da u mudellu inglese - mudellu, campionu) - in l'analisi tecnicu stabile cumminazzioni ripetuta di prezzu, voluminu o dati indicatori sò chjamati. L'analisi di u mudellu hè basatu annantu à unu di l'assiomi di l'analisi tecniche: "a storia si ripete" - si crede chì e cumminazzioni ripetuti di dati portanu à un risultatu simili.
U mudellu principale chì pò esse vistu nantu à a carta di attività annuali hè Questu hè un mudellu d'inversione di tendenza "Head and Shoulders". Chjamatu cusì perchè u graficu s'assumiglia à un capu umanu (piccu) è spalle nantu à i lati (picchi minori). Quandu u prezzu rompe a linea chì cunnetta l'abbeveratoi, u mudellu hè cunsideratu cumpletu è u muvimentu hè prubabile di esse downward.
I muvimenti in l'attività in l'industria di a custruzzione di San Francisco quasi cumpletamente coincide cù l'aumentu di u prezzu di l'oru è u bitcoin. U rendiment storicu di sti trè charts di prezzu è attività mostra similitudini notevuli.
Per pudè predichendu u cumpurtamentu di u mercatu di a custruzione in u futuru, hè necessariu di calculà u coefficient di correlazione cù ognunu di sti dui tendenzi.
Dui variàbili aleatorii sò chjamati correlati se u so momentu di correlazione (o coefficient di correlazione) hè diversu da zero; è sò chjamati quantità micca correlate se u so momentu di correlazione hè zero.
Se u valore risultatu hè più vicinu à 0 chì à 1, ùn ci hè nunda di parlà di un mudellu chjaru. Questu hè un prublema matematicu cumplessu, chì pò esse pigliatu da i camaradi anziani chì ponu esse interessatu in questu tema.
Se! pocu scientificu! fighjate à u tema di più sviluppu di l'industria di a custruzzione in San Francisco: se u mudellu cuntinueghja à coincide cù u prezzu di Bitcoin, allora sicondu sta opzione pessimista - esce da a crisa in l'industria di a custruzione in San Francisco ùn serà micca faciule in u periodu immediata post-crisa.
Cù una opzione più "ottimista". u sviluppu, a crescita esponenziale ripetuta in l'industria di a custruzione hè pussibule se l'attività quì seguita u scenariu "prezzu d'oru". In questu casu, in 20-30 anni (possibilmente in 10), u settore di a custruzzione affruntà una nova crescita in l'impieghi è u sviluppu.
Fighjuleraghju più attente à i settori individuali di a custruzzione (riparazione di tetti, cucine, custruzzione di scale, bagni, se avete suggerimenti nantu à l'industrii o altre dati - per piacè scrivite in i cumenti) è paragunate l'inflazione per i tipi di travagliu individuali cù i tassi fissi nantu à i prestiti ipotecarii è a prufittuità di i bonds di u guvernu americani (Tassi ipotecari fissi è Rendimentu di u Treasury di i Stati Uniti).
Link à a seconda parte:
Link à Jupyter Notebook:
Per piacè, per quelli chì sò cun Kaggle, dà Notebook un plus (Grazie!).
(Cumenti è spiegazioni di u codice seranu aghjuntu dopu in Notebook)
Link à a versione inglese:
Se ti piace u mo cuntenutu, cunsidereghja cumprà mi un caffè.
grazie per u vostru sustegnu!
Solu l'utilizatori registrati ponu participà à l'indagine. , per piacè.
Chì riserva u futuru per l'industria di a custruzione di San Francisco?
-
66,7%U settore di a custruzzione hè più prubabile di seguità a strada di Bitcoin2
-
0,0%U settore di a custruzzione pò seguità a strada di i prezzi d'oru0
-
0,0%U settore aspetta hype in i prossimi 10 anni0
-
33,3%U sviluppu di u settore ùn viaghja micca secondu mudelli1
3 utilizatori anu vutatu. 6 utilizatori si sò astenuti.
Source: www.habr.com