Această serie de articole este dedicată studiului activității de construcții în principalul oraș Silicon Valley - San Francisco. San Francisco este „Moscova” tehnologică a lumii noastre, folosindu-și exemplul (cu ajutorul datelor deschise) pentru a observa dezvoltarea industriei construcțiilor în marile orașe și capitale.
Construcția graficelor și calculelor a fost realizată în (pe platforma Kaggle.com).
Datele privind mai mult de un milion de autorizații de construire (înregistrări în două seturi de date) de la Departamentul de Construcții din San Francisco - permit analiza nu numai activitatea de construcții din oraș, dar și luați în considerare critic ultimele tendințe și istoria dezvoltării industriei construcțiilor în ultimii 40 de ani, între 1980 și 2019.
Datele deschise fac posibilă explorarea principalii factori care au influenţat şi vor influenţa dezvoltarea industriei construcţiilor în oraș, împărțindu-le în „externe” (boom-uri și crize economice) și „interne” (influența vacanțelor și a ciclurilor sezonier-anuale).
Conținut
Date deschise și revizuirea parametrilor de referință.
Aceasta nu este o traducere a articolului. Scriu pe LinkedIn și pentru a nu crea grafică în mai multe limbi, toate graficele sunt în engleză.
Link către partea a doua:
Date privind permisele de construcție ale orașului San Francisco - Din portalul de date deschise - . Portalul are mai multe seturi de date pe tema construcției. Două astfel de seturi de date stochează și actualizează datele privind autorizațiile eliberate pentru construirea sau repararea obiectelor în oraș:
- (850 de mii de înregistrări)
- (280 de mii de înregistrări, datele sunt descărcate și actualizate săptămânal)
Aceste seturi de date conțin informații despre autorizațiile de construcție emise, cu diferite caracteristici ale obiectului pentru care se eliberează autorizația. Numărul total de intrări (permisiuni) primite în perioada 1980-2019 - 1 permise.
Principalii parametri din acest set de date care au fost utilizați pentru analiză:
- data_creării_permisului — data creării cererii (de fapt, ziua în care încep lucrările de construcție)
- Descriere — descrierea cererii (două sau trei cuvinte cheie care descriu proiectul de construcție (lucrarea) pentru care a fost creată autorizația)
- cost estimat — costul estimat (estimat) al lucrărilor de construcție
- cost_revizuit — cost revizuit (costul muncii după reevaluare, creștere sau scădere a volumelor inițiale ale aplicației)
- utilizare_existentă - tip de locuință (casă cu una, două familii, apartamente, birouri, producție etc.)
- cod poștal, locație — codul poștal și coordonatele obiectului
Activitate anuală de construcții în San Francisco
Graficul de mai jos prezintă parametrii cost estimat и cost_revizuit prezentat ca o distribuție a costului total al lucrării pe lună.
data_cost_m = data_cost.groupby(pd.Grouper(freq='M')).sum()Pentru a reduce „valorile aberante” lunare, datele lunare sunt grupate pe an. Graficul sumei de bani investite pe an a primit o formă mai logică și mai analizabilă.
data_cost_y = data_cost.groupby(pd.Grouper(freq='Y')).sum()
Pe baza mișcării anuale a sumei costurilor (toate autorizațiile pentru anul) către facilitățile orașului factorii economici care au influențat din 1980 până în 2019 sunt clar vizibili cu privire la numărul și costul proiectelor de construcție sau în alt mod privind investițiile în imobiliare din San Francisco.
Numărul de autorizații de construire (numărul de locuri de muncă în construcții sau numărul de investiții) din ultimii 40 de ani a fost strâns legat de activitatea economică din Silicon Valley.
Primul vârf al activității de construcții a fost asociat cu hype-ul electronic de la mijlocul anilor 80 în vale. Recesiunea electronică și bancară care a urmat din 1985 a dus piața imobiliară regională într-un declin din care nu și-a revenit timp de aproape un deceniu.
După aceea, încă de două ori (în 1993-2000 și 2009-2016) înainte de prăbușirea bulei Dotcom și de boom-ul tehnologic din ultimii ani. Industria construcțiilor din San Francisco a cunoscut o creștere parabolică de câteva mii de procente..
Prin eliminarea vârfurilor și jgheaburilor intermediare și lăsând valorile minime și maxime pentru fiecare ciclu economic, este clar cât de mari fluctuații ale pieței au afectat industria în ultimii 40 de ani.
Cea mai mare creștere a investițiilor în construcții a avut loc în timpul boom-ului dot-com, când între 1993 și 2001 s-au investit 10 miliarde USD în renovare și construcție, sau aproximativ 1 miliard USD pe an. Dacă numărăm în metri pătrați (costul de 1 m² în 1995 este de 3000 USD), aceasta este aproximativ 350 m000 pe an timp de 2 ani, începând din 10.
Creșterea investițiilor totale anuale în această perioadă a fost de 1215%.
Firmele care au închiriat utilaje de construcții în această perioadă erau asemănătoare firmelor care vindeau lopeți în timpul goanei aurului (în aceeași regiune la mijlocul secolului al XIX-lea). Doar în loc de lopeți, în anii 19 existau deja macarale și pompe de beton pentru firmele de construcții nou formate care doreau să facă bani pe boom-ul construcțiilor.
După fiecare dintre numeroasele crize pe care le-a experimentat industria construcțiilor de-a lungul anilor, în următorii doi ani post-criză, investiţii (cantitatea cererilor de autorizare) pentru construcție a scăzut cu cel puțin 50% de fiecare dată.
Cele mai mari crize din industria construcțiilor din San Francisco au avut loc în anii 90. Unde, cu o periodicitate de 5 ani, industria fie a scăzut (-85% în perioada 1983-1986), apoi a crescut din nou (+895% în perioada 1988-1992), rămânând în termeni anuali în 1981, 1986, 1988. , 1993 - la același nivel.
După 1993, toate scăderile ulterioare în industria construcțiilor nu s-au ridicat la mai mult de 50%. Dar se apropie de criza economică (din cauza COVID-19) ar putea crea o criză record în industria construcțiilor în perioada 2017-2021, al cărei declin deja în perioada 2017-2019 se ridică la un total de peste 60%.
Creșterea populației din San Francisco dinamica si in perioada 1980-1993 a prezentat o creștere aproape exponențială. Puterea economică și energia inovatoare a Silicon Valley a fost fundația solidă pe care s-a construit hiperbola Noii Economii, Renașterii americane și a punctelor de comunicare. A fost epicentrul noii economii. Însă, spre deosebire de creșterea investițiilor imobiliare, după vârful dot-com, populația s-a situat de fapt în plată.
Înainte de vârful dot-com din 2001, creșterea anuală a populației din 1950 a fost de aproximativ 1% pe an. Apoi, după prăbușirea bulei, afluxul de noi populații a încetinit și din 2001 a fost de doar 0.2 la sută pe an.
În 2019 (pentru prima dată din 1950), dinamica creșterii a arătat un flux de populație (-0.21% sau 7000 de persoane) din orașul San Francisco.
Așteptări și realitate la pregătirea estimărilor de costuri
În seturile de date utilizate, datele privind costul unei autorizații pentru un proiect de construcție sunt împărțite în:
- costul estimat inițial (cost estimat)
- costul lucrării după reevaluare (cost_revizuit)
În perioadele de boom, scopul principal al reevaluării este creșterea costului inițial, atunci când investitorul (clientul construcțiilor) manifestă un apetit după începerea construcției.
În timpul unei crize, ei încearcă să nu depășească costurile estimate, iar estimările inițiale nu suferă practic nicio modificare (cu excepția cutremurului din 1989).
Conform graficului construit pe diferența dintre costul reevaluat și cel estimat (revised_cost - estimated_cost), se poate observa că:
Valoarea creșterii costurilor la reevaluarea volumului lucrărilor de construcție depinde direct de ciclurile de boom economic
data_spread = data_cost.assign(spread = (data_cost.revised_cost-data_cost.estimated_cost))
În perioadele de creștere economică rapidă, clienții de muncă (investitorii) își cheltuiesc fondurile destul de generos, crescându-și cererile după începerea lucrului.
Clientul (investitorul), simțindu-se încrezător din punct de vedere financiar, cere antreprenorului de construcții sau arhitectului să prelungească autorizația de construire deja eliberată. Aceasta poate fi o decizie de a mări lungimea inițială a piscinei sau de a mări suprafața casei (după începerea lucrărilor și eliberarea unei autorizații de construire).
În vârful erei dot-com, astfel de cheltuieli „suplimentare” au ajuns la un „în plus” de 1 miliard pe an.
Dacă vă uitați la acest tabel deja în modificare procentuală, atunci creșterea maximă a estimării (de 100% sau de 2 ori costul estimat inițial) a avut loc în anul anterior cutremurului care a avut loc în 1989 în apropierea orașului. Presupun că după cutremur, proiectele de construcții începute în 1988 au necesitat, după cutremurul din 1989, mai mult timp și fonduri pentru implementare.
În schimb, o revizuire descendentă a costului estimat (care a avut loc o singură dată în perioada 1980-2019) cu câțiva ani înainte de cutremur se datorează probabil faptului că unele proiecte demarate în 1986-1987 au fost înghețate sau investițiile în aceste proiecte au fost reduse. jos. La timp în medie pentru fiecare proiect început în 1987 - reducerea costului estimat a fost de -20% din planul inițial.
data_spred_percent = data_cost_y.assign(spred = ((data_cost_y.revised_cost-data_cost_y.estimated_cost)/data_cost_y.estimated_cost*100))
O creștere a costului estimat inițial de peste 40% a indicat sau a fost posibil o consecință a bulei apropiate pe piața financiară și ulterior pe piața construcțiilor.
Care este motivul scăderii diferenței (diferența) dintre costurile estimate și revizuite după 2007?
Poate că investitorii au început să se uite cu atenție la cifre (suma medie pe 20 de ani a crescut de la 100 de mii de dolari la 2 milioane de dolari) sau poate că departamentul de construcții, prevenind și inhibând bulele emergente pe piața imobiliară, a introdus noi reguli și restricții pentru a reduce posibilele manipulări. și posibilele riscuri care vor apărea în anii de criză.
Activitate de constructii in functie de sezonul anului
Prin gruparea datelor pe săptămâni calendaristice ale anului (54 de săptămâni), puteți observa activitatea de construcție în orașul San Francisco în funcție de sezonalitate și perioada anului.
Până la Crăciun, toate organizațiile de construcții încearcă să obțină autorizații pentru noi proiecte „mari” la timp. (în același timp! numărul! de autorizații în aceleași luni este la același nivel pe tot parcursul anului). Investitorii, care plănuiesc să-și primească proprietatea în anul următor, încheie contracte în lunile de iarnă, mizând pe reduceri mari (întrucât contractele de vară, în cea mai mare parte, se încheie până la sfârșitul anului, iar companiile de construcții sunt interesate la primirea de noi cereri).
Înainte de Crăciun, se depun cele mai mari sume de cereri (creștere de la o medie de 1-1,5 miliarde pe lună la 5 miliarde doar în decembrie). În același timp, numărul total de cereri pe lună rămâne la același nivel (vezi secțiunea de mai jos: statistici privind numărul total de cereri pe lună și zi)
După sărbătorile de iarnă, industria construcțiilor planifică și implementează activ comenzi de „Crăciun” (fără aproape nicio creștere a numărului de autorizații) pentru a elibera resurse până la jumătatea anului (înainte de sărbătoarea Zilei Independenței) înainte de noul valul de contracte de vară începe imediat după vacanța din iunie.
data_month_year = data_month_year.assign(week_year = data_month_year.permit_creation_date.dt.week)
data_month_year = data_month_year.groupby(['week_year'])['estimated_cost'].sum()
Aceleași date procentuale (linia portocalie) mai arată că industria funcționează „liniște” pe tot parcursul anului, dar înainte și după sărbători, activitatea pe autorizații crește la 150% în perioada dintre săptămâna 20-24 (înainte de Ziua Independenței), și scade imediat după vacanță până la -70%.
Înainte de Halloween și Crăciun, activitatea în industria construcțiilor din San Francisco crește cu 43% în săptămâna 44-150 (de la jos până la vârf) și apoi scade la zero în timpul sărbătorilor.
Astfel, industria se află într-un ciclu de șase luni, care este separat de sărbătorile „Ziua Independenței SUA” (săptămâna 20) și „Crăciunul” (săptămâna 52).
Investiții imobiliare totale în San Francisco
Pe baza datelor privind autorizațiile de construire din oraș:
Investiția totală în proiecte de construcții din San Francisco din 1980 până în 2019 este de 91,5 miliarde de dolari.
sf_worth = data_location_lang_long.cost.sum()
Valoarea totală de piață a tuturor bunurilor imobiliare rezidențiale din San Francisco, evaluată prin impozite pe proprietate (fiind valoarea evaluată a tuturor bunurilor imobiliare și a tuturor proprietăților personale deținute de San Francisco) .
În ce zone din San Francisco au investit în ultimii 40 de ani?
Folosind biblioteca Folium, să vedem unde au fost investiți acesti 91,5 miliarde de dolari pe regiune. Pentru a face acest lucru, după gruparea datelor după codul poștal, vom reprezenta valorile rezultate folosind cercuri (funcția Cerc din biblioteca Folium).
import folium
from folium import Circle
from folium import Marker
from folium.features import DivIcon
# map folium display
lat = data_location_lang_long.lat.mean()
long = data_location_lang_long.long.mean()
map1 = folium.Map(location = [lat, long], zoom_start = 12)
for i in range(0,len(data_location_lang_long)):
Circle(
location = [data_location_lang_long.iloc[i]['lat'], data_location_lang_long.iloc[i]['long']],
radius= [data_location_lang_long.iloc[i]['cost']/20000000],
fill = True, fill_color='#cc0000',color='#cc0000').add_to(map1)
Marker(
[data_location_mean.iloc[i]['lat'], data_location_mean.iloc[i]['long']],
icon=DivIcon(
icon_size=(6000,3336),
icon_anchor=(0,0),
html='<div style="font-size: 14pt; text-shadow: 0 0 10px #fff, 0 0 10px #fff;; color: #000";"">%s</div>'
%("$ "+ str((data_location_lang_long.iloc[i]['cost']/1000000000).round()) + ' mlrd.'))).add_to(map1)
map1
Din regiuni este clar că Cea mai mare parte a plăcintei a mers în mod logic în DownTown. După ce s-a simplificat gruparea tuturor obiectelor în funcție de distanța până la centrul orașului și de timpul necesar pentru a ajunge în centrul orașului (desigur, se construiesc și case scumpe pe coastă), toate autorizațiile au fost împărțite în 4 grupuri: „Downtown” , „<0.5 ore în centru”, „< 1 oră în centru”, „În afara SF”.
from geopy.distance import vincenty
def distance_calc (row):
start = (row['lat'], row['long'])
stop = (37.7945742, -122.3999445)
return vincenty(start, stop).meters/1000
df_pr['distance'] = df_pr.apply (lambda row: distance_calc (row),axis=1)
def downtown_proximity(dist):
'''
< 2 -> Near Downtown, >= 2, <4 -> <0.5H Downtown
>= 4, <6 -> <1H Downtown, >= 8 -> Outside SF
'''
if dist < 2:
return 'Downtown'
elif dist < 4:
return '<0.5H Downtown'
elif dist < 6:
return '<1H Downtown'
elif dist >= 6:
return 'Outside SF'
df_pr['downtown_proximity'] = df_pr.distance.apply(downtown_proximity)Din cele 91,5 miliarde investite în oraș, aproape 70 de miliarde (75% din totalul investițiilor) investite în reparații și construcții sunt în centrul orașului. (zona verde) si catre zona orasului pe o raza de 2 km. din centru (zona albastra).
Costul mediu estimat al unei cereri de construcție pe districtul orașului
Toate datele, la fel ca și suma totală a investiției, au fost grupate pe cod poștal. Doar în acest caz cu costul mediu (.mean()) estimat al aplicației prin cod poștal.
data_location_mean = data_location.groupby(['zipcode'])['lat','long','estimated_cost'].mean()
În zonele obișnuite ale orașului (la mai mult de 2 km de centrul orașului) - costul mediu estimat al unei cereri de construcție este de 50 mii USD.
Costul mediu estimat în zona centrului orașului este de aproximativ trei ori mai mare (150 mii USD până la 400 mii USD) decât în alte zone (30-50 mii USD).
Pe lângă costul terenului, trei factori determină costul total al construcției casei: forța de muncă, materialele și taxele guvernamentale. Aceste trei componente sunt mai mari în California decât în restul țării. Codurile de construcție din California sunt considerate unele dintre cele mai cuprinzătoare și stricte din țară (din cauza cutremurelor și a reglementărilor de mediu), necesitând adesea materiale și forță de muncă mai scumpe.
De exemplu, guvernul cere constructorilor să folosească materiale de construcție de calitate superioară (ferestre, izolații, sisteme de încălzire și răcire) pentru a atinge standarde înalte de eficiență energetică.
Din statisticile generale privind costul mediu al unei cereri de autorizare, se remarcă două locații:
- Treasure Island - o insulă artificială în Golful San Francisco. Costul mediu estimat al unei autorizații de construire este de 6,5 milioane de dolari.
- Mission Bay — (populație 2926) Costul mediu estimat al unei autorizații de construire este de 1,5 milioane USD.
De fapt, aplicarea medie ridicată în aceste două domenii este legată cu cel mai mic număr de cereri pentru aceste locații poștale (145 și respectiv 3064, construcția pe insulă este foarte limitată), în timp ce pentru restul codurilor poștale - XNUMXiar perioada 1980-2019 a primit aproximativ 1300 de cereri pe an (total în medie 30 -50 mii cereri pentru întreaga perioadă).
Conform parametrului „număr de aplicații”, se remarcă o distribuție perfect uniformă a numărului de cereri per cod poștal în întreg orașul.
Statistici privind numărul total de cereri pe lună și zi
Statisticile generale privind numărul total de cereri pe lună și zi a săptămânii între 1980 și 2019 arată că Cele mai liniștite luni pentru departamentul de construcții sunt lunile de primăvară și iarnă. În același timp, cantitatea de investiții specificată în aplicații variază foarte mult și diferă uneori de la lună la lună (vezi suplimentar „Activitatea de construcții în funcție de sezon”). Dintre zilele săptămânii, luni sarcina pe departament este cu aproximativ 20% mai mică decât în alte zile ale săptămânii.
months = [ 'January', 'February', 'March', 'April', 'May','June', 'July', 'August', 'September', 'October', 'November', 'December' ]
data_month_count = data_month.groupby(['permit_creation_date']).count().reindex(months)
În timp ce iunie și iulie sunt practic la fel ca număr de cereri, în ceea ce privește costul total estimat diferența ajunge la 100% (4,3 miliarde în mai și iulie și 8,2 miliarde în iunie).
data_month_sum = data_month.groupby(['permit_creation_date']).sum().reindex(months)
Viitorul industriei construcțiilor din San Francisco, prezicerea activității după modele.
În cele din urmă, să comparăm graficul activității de construcții din San Francisco cu graficul prețului Bitcoin (2015-2018) și graficul prețului aurului (1940 - 1980).
Model (din modelul englezesc - model, eșantion) - în analiza tehnică se numesc combinații repetate stabile de date de preț, volum sau indicator. Analiza modelelor se bazează pe una dintre axiomele analizei tehnice: „istoria se repetă” - se crede că combinațiile repetate de date duc la un rezultat similar.
Principalul model care poate fi observat pe graficul anual de activitate este Acesta este un model de inversare a tendinței „Cap și umeri”. Numit așa pentru că graficul arată ca un cap uman (vârf) și umerii pe părțile laterale (vârfurile mai mici). Când prețul rupe linia care leagă jgheaburile, modelul este considerat complet și este probabil ca mișcarea să fie descendentă.
Mișcările de activitate din industria construcțiilor din San Francisco coincid aproape complet cu creșterea prețului aurului și bitcoin. Performanța istorică a acestor trei grafice de preț și activitate arată asemănări notabile.
Pentru a putea prezice comportamentul pieței construcțiilor în viitor, este necesar să se calculeze coeficientul de corelaţie cu fiecare dintre aceste două tendinţe.
Două variabile aleatoare se numesc corelate dacă momentul lor de corelație (sau coeficientul de corelație) este diferit de zero; și se numesc mărimi necorelate dacă momentul lor de corelare este zero.
Dacă valoarea rezultată este mai aproape de 0 decât de 1, atunci nu are rost să vorbim despre un model clar. Aceasta este o problemă matematică complexă, care poate fi preluată de camarazi mai în vârstă care ar putea fi interesați de acest subiect.
Dacă! neştiinţific! uitați-vă la subiectul dezvoltării ulterioare a industriei construcțiilor din San Francisco: dacă modelul continuă să coincidă cu prețul Bitcoin, atunci conform acestei opţiuni pesimiste — ieșirea din criza din industria construcțiilor din San Francisco nu va fi ușoară în perioada imediat post-criză.
Cu o variantă mai „optimistă”. dezvoltare, creșterea repetă exponențială în industria construcțiilor este posibilă dacă activitatea de aici urmează scenariul „prețului aurului”. În acest caz, în 20-30 de ani (posibil în 10), sectorul construcțiilor se va confrunta cu o nouă creștere a angajării și dezvoltării.
Voi arunca o privire mai atentă asupra sectoarelor individuale de construcții (reparații de acoperișuri, bucătării, construcție de scări, băi, dacă aveți sugestii despre industrii sau alte date - vă rugăm să scrieți în comentarii) și voi compara inflația pentru tipurile individuale de muncă cu rate fixe la împrumuturile ipotecare și profitabilitatea obligațiunilor guvernamentale din SUA (Fixed Mortgage Rates & US Treasury Yield).
Link către partea a doua:
Link către Jupyter Notebook:
Vă rog, pentru cei care sunt cu Kaggle, acordați notebook-ului un plus (Mulțumesc!).
(Comentariile și explicațiile despre cod vor fi adăugate mai târziu în Notebook)
Link către versiunea în limba engleză:
Dacă îți place conținutul meu, te rog să-mi cumperi o cafea.
mulțumesc pentru sprijin!
Numai utilizatorii înregistrați pot participa la sondaj. , Vă rog.
Ce ne rezervă viitorul pentru industria construcțiilor din San Francisco?
-
66,7%Sectorul construcțiilor este mai probabil să urmeze calea Bitcoin2
-
0,0%Sectorul construcțiilor poate urma calea prețurilor aurului0
-
0,0%Sectorul se așteaptă la hype în următorii 10 ani0
-
33,3%Dezvoltarea sectorului nu merge conform tiparelor1
Au votat 3 de utilizatori. 6 utilizatori s-au abținut.
Sursa: www.habr.com