Questa serie di articoli è dedicata allo studio dell'attività edilizia nella città principale della Silicon Valley - San Francisco. San Francisco è la “Mosca” tecnologica del nostro mondo, e osserva con l’esempio (con l’aiuto degli open data) lo sviluppo del settore edile nelle grandi città e capitali.
La costruzione di grafici e calcoli è stata effettuata in (sulla piattaforma Kaggle.com).
I dati su oltre un milione di permessi di costruzione (record in due set di dati) del Dipartimento edile di San Francisco - consentono analizzare non solo l’attività edilizia della città, ma anche considerare criticamente ultime tendenze e storia dello sviluppo del settore edile negli ultimi 40 anni, tra il 1980 e il 2019.
Gli open data rendono possibile l’esplorazione principali fattori che hanno influenzato e influenzeranno lo sviluppo del settore delle costruzioni alla città, dividendoli in “esterni” (boom e crisi economiche) e “interni” (influenza delle vacanze e dei cicli stagionali-annuali).
contenuto
Open data e revisione dei parametri di base.
Questa non è una traduzione dell'articolo. Scrivo su LinkedIn e per non creare grafiche in più lingue, tutte le grafiche sono in inglese.
Link alla seconda parte:
Dati sui permessi di costruzione della città di San Francisco - Dal portale Open Data - . Il portale dispone di diversi set di dati sul tema della costruzione. Due di questi set di dati archiviano e aggiornano i dati sui permessi rilasciati per la costruzione o la riparazione di oggetti in città:
- (850mila registrazioni)
- (280mila registrazioni, i dati vengono scaricati e aggiornati settimanalmente)
Questi set di dati contengono informazioni sui permessi di costruzione rilasciati, con varie caratteristiche dell'oggetto per il quale viene rilasciato il permesso. Numero totale di voci (autorizzazioni) ricevute nel periodo 1980-2019 - 1 permessi.
I parametri principali di questo set di dati utilizzati per l'analisi:
- data_creazione_permesso — data di creazione della domanda (di fatto, il giorno in cui iniziano i lavori di costruzione)
- descrizione — descrizione della domanda (due o tre parole chiave che descrivono il progetto di costruzione (opera) per il quale è stato rilasciato il permesso)
- costo stimato — costo stimato (stimato) dei lavori di costruzione
- costo_rivisto — costo rivisto (costo del lavoro dopo la rivalutazione, aumento o diminuzione dei volumi iniziali della domanda)
- uso_esistente - tipologia abitativa (villetta mono, bifamiliare, appartamenti, uffici, produzione, ecc.)
- codice postale, posizione — codice postale e coordinate dell'oggetto
Attività di costruzione annuale a San Francisco
Il grafico seguente mostra i parametri costo stimato и costo_rivisto presentato come distribuzione del costo totale del lavoro per mese.
data_cost_m = data_cost.groupby(pd.Grouper(freq='M')).sum()Per ridurre i “valori anomali” mensili, i dati mensili sono raggruppati per anno. Il grafico della quantità di denaro investito per anno ha ricevuto una forma più logica e analizzabile.
data_cost_y = data_cost.groupby(pd.Grouper(freq='Y')).sum()
Sulla base del movimento annuale della somma dei costi (tutti i permessi dell'anno) alle strutture cittadine i fattori economici che hanno influenzato dal 1980 al 2019 sono chiaramente visibili sul numero e sul costo dei progetti di costruzione, o comunque sugli investimenti nel settore immobiliare di San Francisco.
Il numero di permessi di costruzione (il numero di lavori di costruzione o il numero di investimenti) negli ultimi 40 anni è stato strettamente correlato all’attività economica nella Silicon Valley.
Il primo picco dell'attività edilizia è legato al clamore dell'elettronica della metà degli anni '80 nella valle. La conseguente recessione dell'elettronica e del settore bancario nel 1985 mandò il mercato immobiliare regionale in un declino dal quale non si riprese per quasi un decennio.
Successivamente, altre due volte (nel 1993-2000 e nel 2009-2016) prima dello scoppio della bolla delle Dotcom e del boom tecnologico degli ultimi anni Il settore edile di San Francisco ha registrato una crescita parabolica di diverse migliaia di punti percentuali..
Eliminando i picchi e i minimi intermedi e lasciando i valori minimi e massimi per ciascun ciclo economico, è chiaro come le grandi fluttuazioni del mercato abbiano afflitto il settore negli ultimi 40 anni.
Il maggiore aumento degli investimenti nell’edilizia si è verificato durante il boom delle dot-com, quando tra il 1993 e il 2001 sono stati investiti 10 miliardi di dollari in ristrutturazioni e costruzioni, ovvero circa 1 miliardo di dollari all’anno. Se contiamo in metri quadrati (il costo di 1 m² nel 1995 è di 3000 dollari), si tratta di circa 350 m000 all’anno per 2 anni, a partire dal 10.
La crescita degli investimenti totali annuali durante questo periodo è stata pari al 1215%.
Le aziende che noleggiavano macchine edili in questo periodo erano simili alle aziende che vendevano pale durante la corsa all'oro (nella stessa regione a metà del XIX secolo). Solo che al posto delle pale negli anni 19 c'erano già gru e pompe per calcestruzzo per le imprese edili di nuova costituzione che volevano trarre profitto dal boom edilizio.
Dopo ciascuna delle tante crisi che il settore edile ha vissuto nel corso degli anni, nei due anni successivi alla crisi, gli investimenti (importo delle richieste di autorizzazione) per l'edilizia è diminuito di almeno il 50% ogni volta.
Le maggiori crisi del settore edile di San Francisco si sono verificate negli anni '90. Dove, con periodicità quinquennale, il settore è crollato (-5% nel periodo 85-1983), per poi risalire (+1986% nel periodo 895-1988), rimanendo in termini annuali nel 1992, 1981, 1986 , 1988 - allo stesso livello.
Dopo il 1993, tutti i cali successivi nel settore edile ammontavano a non più del 50%. Ma avvicinarsi alla crisi economica (a causa del COVID-19) potrebbe creare una crisi record nel settore delle costruzioni nel periodo 2017-2021, il cui calo già nel periodo 2017-2019 ammonta complessivamente a oltre il 60%.
Crescita della popolazione di San Francisco dinamiche anche nel periodo 1980-1993 ha registrato una crescita quasi esponenziale. La forza economica e l’energia innovativa della Silicon Valley hanno costituito la solida base su cui è stata costruita l’iperbole della New Economy, del Rinascimento americano e delle dot-com. Era l’epicentro della nuova economia. Ma a differenza dell’aumento degli investimenti immobiliari, dopo il picco delle dot-com, la popolazione in realtà si è stabilizzata.
Prima del picco delle dot-com nel 2001, la crescita annuale della popolazione dal 1950 è stata di circa l’1% annuo. Poi, dopo lo scoppio della bolla, l’afflusso di nuova popolazione è rallentato e dal 2001 è stato solo dello 0.2% annuo.
Nel 2019 (per la prima volta dal 1950), la dinamica di crescita ha mostrato un deflusso di popolazione (-0.21% ovvero 7000 persone) dalla città di San Francisco.
Aspettative e realtà nella preparazione delle stime dei costi
Nei dataset utilizzati, i dati sul costo di un permesso per un progetto di costruzione sono suddivisi in:
- costo stimato originale (costo stimato)
- costo del lavoro dopo la rivalutazione (costo_rivisto)
Durante i periodi di boom, lo scopo principale della rivalutazione è aumentare il costo iniziale, quando l'investitore (il cliente della costruzione) mostra interesse dopo l'inizio della costruzione.
Durante una crisi, cercano di non superare i costi stimati e le stime iniziali non subiscono praticamente modifiche (ad eccezione del terremoto del 1989).
Secondo il grafico costruito sulla differenza tra il costo rivalutato e quello stimato (costo_rivisto - costo_stimato), si può osservare che:
L'entità dell'aumento dei costi in caso di rivalutazione del volume dei lavori di costruzione dipende direttamente dai cicli del boom economico
data_spread = data_cost.assign(spread = (data_cost.revised_cost-data_cost.estimated_cost))
Durante i periodi di rapida crescita economica, i clienti del lavoro (investitori) spendono i loro fondi in modo piuttosto generoso, aumentando le loro richieste dopo l'inizio dei lavori.
Il cliente (investitore), sentendosi finanziariamente sicuro, chiede all'imprenditore edile o all'architetto di estendere il permesso di costruzione già rilasciato. Potrebbe trattarsi della decisione di aumentare la lunghezza iniziale della piscina o di aumentare l'area della casa (dopo l'inizio dei lavori e il rilascio del permesso di costruzione).
Al culmine dell’era delle dot-com, tali spese “aggiuntive” hanno raggiunto un miliardo “extra” all’anno.
Se si guarda questa tabella già in termini di variazione percentuale, allora il picco di aumento della stima (100% o 2 volte il costo originariamente stimato) si è verificato nell'anno precedente al terremoto avvenuto nel 1989 vicino alla città. Presumo che dopo il terremoto, i progetti di costruzione iniziati nel 1988 abbiano richiesto, dopo il terremoto del 1989, più tempo e fondi per la realizzazione.
Viceversa, una revisione al ribasso del costo stimato (avvenuta una sola volta nel periodo dal 1980 al 2019) diversi anni prima del terremoto è presumibilmente dovuta al fatto che alcuni progetti iniziati nel 1986-1987 furono congelati o gli investimenti in tali progetti furono tagliati giù. In orario in media per ogni progetto iniziato nel 1987 - la riduzione del costo stimato è stata pari al -20% del piano originario.
data_spred_percent = data_cost_y.assign(spred = ((data_cost_y.revised_cost-data_cost_y.estimated_cost)/data_cost_y.estimated_cost*100))
Un aumento dei costi inizialmente stimati di oltre il 40% indicava o forse era una conseguenza dell'avvicinarsi della bolla nel mercato finanziario e successivamente in quello edile.
Qual è la ragione della diminuzione dello spread (differenza) tra i costi stimati e quelli rivisti dopo il 2007?
Forse gli investitori hanno iniziato a guardare con attenzione ai numeri (l’importo medio in 20 anni è aumentato da 100mila a 2 milioni di dollari) o forse il dipartimento delle costruzioni, prevenendo e inibendo la formazione di bolle nel mercato immobiliare, ha introdotto nuove regole e restrizioni per ridurre possibili manipolazioni e i possibili rischi che si presenteranno durante gli anni di crisi.
Attività di costruzione a seconda della stagione dell'anno
Raggruppando i dati per settimane di calendario dell'anno (54 settimane), è possibile osservare l'attività edilizia nella città di San Francisco in base alla stagionalità e al periodo dell'anno.
Entro Natale, tutte le organizzazioni edili stanno cercando di ottenere in tempo il permesso per nuovi “grandi” progetti. (allo stesso tempo! il numero! di permessi in questi stessi mesi è allo stesso livello durante tutto l'anno). Gli investitori, che intendono acquistare la loro proprietà entro il prossimo anno, stipulano contratti nei mesi invernali, contando su forti sconti (poiché i contratti estivi, per la maggior parte, scadono entro la fine dell'anno e le imprese di costruzione sono interessate nel ricevere nuove candidature).
Prima di Natale vengono presentate le maggiori richieste (aumento da una media di 1-1,5 miliardi al mese a 5 miliardi nel solo dicembre). Allo stesso tempo, il numero totale di domande per mese rimane allo stesso livello (vedi sezione seguente: statistiche sul numero totale di domande per mese e giorno)
Dopo le vacanze invernali, il settore edile sta pianificando e attuando attivamente le ordinanze “natalizie” (con un aumento quasi nullo del numero di permessi) al fine di liberare risorse entro la metà dell’anno (prima delle festività del Giorno dell’Indipendenza) prima del nuovo L'ondata di contratti estivi inizia subito dopo le vacanze di giugno.
data_month_year = data_month_year.assign(week_year = data_month_year.permit_creation_date.dt.week)
data_month_year = data_month_year.groupby(['week_year'])['estimated_cost'].sum()
Gli stessi dati percentuali (linea arancione) mostrano anche che il settore opera “senza intoppi” durante tutto l’anno, ma prima e dopo le vacanze, l’attività sui permessi aumenta al 150% nel periodo tra la settimana 20-24 (prima del Giorno dell’Indipendenza), e diminuisce subito dopo le ferie fino al -70%.
Prima di Halloween e Natale, l’attività nel settore edile di San Francisco aumenta del 43% durante la settimana 44-150 (dal basso al picco) per poi diminuire a zero durante le vacanze.
Pertanto, il settore si trova in un ciclo di sei mesi, separato dalle festività “Giorno dell’Indipendenza degli Stati Uniti” (settimana 20) e “Natale” (settimana 52).
Investimento immobiliare totale a San Francisco
Sulla base dei dati sui permessi di costruire in città:
L’investimento totale in progetti di costruzione a San Francisco dal 1980 al 2019 è di 91,5 miliardi di dollari.
sf_worth = data_location_lang_long.cost.sum()
Il valore di mercato totale di tutti gli immobili residenziali a San Francisco valutato dalle tasse sulla proprietà (essendo il valore stimato di tutti gli immobili e tutti i beni personali di proprietà di San Francisco) .
In quali zone di San Francisco hanno investito negli ultimi 40 anni?
Utilizzando la libreria Folium, vediamo dove sono stati investiti questi 91,5 miliardi di dollari per regione. Per fare ciò, dopo aver raggruppato i dati per codice postale, rappresenteremo i valori risultanti utilizzando dei cerchi (la funzione Circle della libreria Folium).
import folium
from folium import Circle
from folium import Marker
from folium.features import DivIcon
# map folium display
lat = data_location_lang_long.lat.mean()
long = data_location_lang_long.long.mean()
map1 = folium.Map(location = [lat, long], zoom_start = 12)
for i in range(0,len(data_location_lang_long)):
Circle(
location = [data_location_lang_long.iloc[i]['lat'], data_location_lang_long.iloc[i]['long']],
radius= [data_location_lang_long.iloc[i]['cost']/20000000],
fill = True, fill_color='#cc0000',color='#cc0000').add_to(map1)
Marker(
[data_location_mean.iloc[i]['lat'], data_location_mean.iloc[i]['long']],
icon=DivIcon(
icon_size=(6000,3336),
icon_anchor=(0,0),
html='<div style="font-size: 14pt; text-shadow: 0 0 10px #fff, 0 0 10px #fff;; color: #000";"">%s</div>'
%("$ "+ str((data_location_lang_long.iloc[i]['cost']/1000000000).round()) + ' mlrd.'))).add_to(map1)
map1
Dalle Regioni questo è chiaro La maggior parte della torta è logicamente andata a DownTown. Avendo semplificato il raggruppamento di tutti gli oggetti in base alla distanza dal centro città e al tempo necessario per raggiungerlo (ovviamente sulla costa si stanno costruendo anche case costose), tutti i permessi sono stati divisi in 4 gruppi: "Centro città" , "<0.5 ore in centro", "< 1 ora in centro", "fuori San Francisco".
from geopy.distance import vincenty
def distance_calc (row):
start = (row['lat'], row['long'])
stop = (37.7945742, -122.3999445)
return vincenty(start, stop).meters/1000
df_pr['distance'] = df_pr.apply (lambda row: distance_calc (row),axis=1)
def downtown_proximity(dist):
'''
< 2 -> Near Downtown, >= 2, <4 -> <0.5H Downtown
>= 4, <6 -> <1H Downtown, >= 8 -> Outside SF
'''
if dist < 2:
return 'Downtown'
elif dist < 4:
return '<0.5H Downtown'
elif dist < 6:
return '<1H Downtown'
elif dist >= 6:
return 'Outside SF'
df_pr['downtown_proximity'] = df_pr.distance.apply(downtown_proximity)Dei 91,5 miliardi investiti nella città, quasi 70 miliardi (il 75% di tutti gli investimenti) investiti in riparazioni e costruzioni sono nel centro della città (zona verde) e al centro cittadino nel raggio di 2 km. dal centro (zona blu).
Costo medio stimato di una richiesta di costruzione per distretto cittadino
Tutti i dati, come l'importo totale dell'investimento, sono stati raggruppati per codice postale. Solo in questo caso con il costo medio stimato (.mean()) dell'applicazione per codice postale.
data_location_mean = data_location.groupby(['zipcode'])['lat','long','estimated_cost'].mean()
Nelle zone ordinarie della città (a più di 2 km dal centro città) il costo medio stimato per una richiesta di costruzione è di 50mila dollari.
Il costo medio stimato nell'area del centro città è circa tre volte superiore (da 150mila a 400mila dollari) rispetto ad altre aree (da 30 a 50mila dollari).
Oltre al costo del terreno, tre fattori determinano il costo totale della costruzione di una casa: manodopera, materiali e tasse governative. Queste tre componenti sono più elevate in California che nel resto del paese. I regolamenti edilizi della California sono considerati tra i più completi e rigorosi del paese (a causa delle normative antisismiche e ambientali), spesso richiedono materiali e manodopera più costosi.
Ad esempio, il governo richiede ai costruttori di utilizzare materiali da costruzione di qualità superiore (finestre, isolamento, sistemi di riscaldamento e raffreddamento) per raggiungere elevati standard di efficienza energetica.
Dalle statistiche generali sul costo medio di una richiesta di autorizzazione, si distinguono due località:
- Treasure Island - un'isola artificiale nella baia di San Francisco. Il costo medio stimato di un permesso di costruzione è di 6,5 milioni di dollari.
- Mission Bay — (popolazione 2926) Il costo medio stimato di un permesso di costruzione è di 1,5 milioni di dollari.
In effetti, l'elevata media di applicazione in queste due aree è correlata con il minor numero di domande per queste località postali (rispettivamente 145 e 3064, la costruzione sull'isola è molto limitata), mentre per il resto dei codici postali - XNUMXe nel periodo 1980-2019 sono pervenute circa 1300 domande all’anno (totale in media 30 -50mila domande per l'intero periodo).
Secondo il parametro “numero di domande” si nota una distribuzione perfettamente uniforme del numero di domande per codice postale in tutta la città.
Statistiche sul numero totale di domande per mese e giorno
Le statistiche complessive sul numero totale di domande per mese e giorno della settimana tra il 1980 e il 2019 mostrano che I mesi più tranquilli per il reparto costruzioni sono quelli primaverili e invernali. Allo stesso tempo, l'importo degli investimenti specificati nelle domande varia notevolmente e talvolta differisce di mese in mese (vedi anche “Attività di costruzione in base alla stagione”). Tra i giorni della settimana, il lunedì il carico del reparto è di circa il 20% in meno rispetto agli altri giorni della settimana.
months = [ 'January', 'February', 'March', 'April', 'May','June', 'July', 'August', 'September', 'October', 'November', 'December' ]
data_month_count = data_month.groupby(['permit_creation_date']).count().reindex(months)
Mentre giugno e luglio sono praticamente uguali in termini di numero di domande, in termini di costo totale stimato la differenza raggiunge il 100% (4,3 miliardi a maggio e luglio e 8,2 miliardi a giugno).
data_month_sum = data_month.groupby(['permit_creation_date']).sum().reindex(months)
Il futuro del settore edile di San Francisco, prevedendo l'attività in base ai modelli.
Infine, confrontiamo il grafico dell'attività edilizia a San Francisco con il grafico dei prezzi Bitcoin (2015-2018) e il grafico dei prezzi dell'oro (1940-1980).
modello (dal modello inglese - modello, campione) - nell'analisi tecnica vengono chiamate combinazioni ripetitive stabili di prezzo, volume o dati indicatori. L'analisi dei modelli si basa su uno degli assiomi dell'analisi tecnica: "la storia si ripete" - si ritiene che combinazioni ripetute di dati portino a un risultato simile.
Lo schema principale che può essere visto sul grafico delle attività annuali è Questo è un modello di inversione di tendenza “Testa e spalle”. Così chiamato perché il grafico assomiglia ad una testa umana (picco) e spalle sui lati (picchi minori). Quando il prezzo rompe la linea che collega i minimi, il pattern è considerato completo ed è probabile che il movimento sia al ribasso.
I movimenti dell’attività nel settore edile di San Francisco coincidono quasi completamente con l’aumento del prezzo dell’oro e del bitcoin. La performance storica di questi tre grafici di prezzo e attività mostra notevoli somiglianze.
Per poter prevedere il comportamento futuro del mercato delle costruzioni, è necessario calcolare il coefficiente di correlazione con ciascuna di queste due tendenze.
Due variabili casuali si dicono correlate se il loro momento di correlazione (o coefficiente di correlazione) è diverso da zero; e sono dette quantità incorrelate se il loro momento di correlazione è zero.
Se il valore risultante è più vicino a 0 che a 1, non ha senso parlare di uno schema chiaro. Questo è un problema matematico complesso, che può essere affrontato dai compagni più anziani che potrebbero essere interessati a questo argomento.
Se! non scientifico! guardiamo il tema dell'ulteriore sviluppo del settore edile a San Francisco: se il modello continua a coincidere con il prezzo di Bitcoin, allora secondo questa opzione pessimistica — Uscire dalla crisi del settore edile a San Francisco non sarà facile nell’immediato periodo post-crisi.
Con un’opzione più “ottimista”. sviluppo, una crescita esponenziale ripetuta nel settore edile è possibile se l’attività qui segue lo scenario del “prezzo dell’oro”. In questo caso, tra 20-30 anni (forse tra 10), il settore delle costruzioni dovrà affrontare una nuova ondata di occupazione e sviluppo.
Darò uno sguardo più da vicino ai singoli settori dell'edilizia (riparazione di tetti, cucine, costruzione di scale, bagni, se avete suggerimenti su industrie o altri dati - scrivete nei commenti) e confronterò l'inflazione per i singoli tipi di lavoro con tassi fissi sui mutui ipotecari e redditività dei titoli di Stato statunitensi (tassi ipotecari fissi e rendimento dei titoli del Tesoro USA).
Link alla seconda parte:
Collegamento al taccuino Jupyter:
Per favore, per coloro che sono con Kaggle, dai a Notebook un vantaggio (grazie!).
(Commenti e spiegazioni del codice verranno aggiunti successivamente in Notebook)
Link alla versione inglese:
Se ti piacciono i miei contenuti, considera l'idea di offrirmi un caffè.
Grazie per il vostro sostegno!
Solo gli utenti registrati possono partecipare al sondaggio. Per favore.
Cosa riserva il futuro al settore edile di San Francisco?
-
66,7%È più probabile che il settore delle costruzioni segua il percorso di Bitcoin2
-
0,0%Il settore delle costruzioni potrebbe seguire il percorso dei prezzi dell’oro0
-
0,0%Il settore prevede grandi aspettative per i prossimi 10 anni0
-
33,3%Lo sviluppo del settore non procede secondo schemi1
3 utenti hanno votato. 6 utenti si sono astenuti.
Fonte: habr.com