Aquesta sèrie d'articles està dedicada a l'estudi de l'activitat de la construcció a la principal ciutat de Silicon Valley - San Francisco. San Francisco és la "Moscou" tecnològica del nostre món, utilitzant el seu exemple (amb l'ajuda de dades obertes) per observar el desenvolupament de la indústria de la construcció a les grans ciutats i capitals.
S'ha realitzat la construcció de gràfics i càlculs a (a la plataforma Kaggle.com).
Les dades de més d'un milió de permisos de construcció (registres en dos conjunts de dades) del Departament d'Edificació de San Francisco ho permeten analitzar no només l'activitat de construcció a la ciutat, però també considerar críticament últimes tendències i història de desenvolupament de la indústria de la construcció durant els últims 40 anys, entre 1980 i 2019.
Les dades obertes permeten explorar principals factors que han influït i influiran en el desenvolupament del sector de la construcció a la ciutat, dividint-los en “externs” (auges i crisis econòmiques) i “interns” (influència de les vacances i cicles estacionals-anuals).
Contingut
Dades obertes i revisió dels paràmetres de referència.
Aquesta no és una traducció de l'article. Escric a LinkedIn i per no crear gràfics en diversos idiomes, tots els gràfics estan en anglès.
Enllaç a la segona part:
Dades del permís de construcció de la ciutat de San Francisco - Des del portal de dades obertes - . El portal té diversos conjunts de dades sobre el tema de la construcció. Dos d'aquests conjunts de dades emmagatzemen i actualitzen dades sobre permisos emesos per a la construcció o reparació d'objectes a la ciutat:
- (850 mil registres)
- (280 mil registres, les dades es descarreguen i s'actualitzen setmanalment)
Aquests conjunts de dades contenen informació sobre llicències de construcció emeses, amb diverses característiques de l'objecte per al qual s'expedeix el permís. Nombre total d'entrades (permisos) rebudes en el període 1980-2019 - 1 permisos.
Els principals paràmetres d'aquest conjunt de dades que s'han utilitzat per a l'anàlisi:
- data_de_creació_permís — data de creació de la sol·licitud (de fet, el dia en què s'inicien les obres de construcció)
- descripció — descripció de la sol·licitud (dues o tres paraules clau que descriuen el projecte de construcció (obra) per al qual es va crear el permís)
- Cost estimat — Cost estimat (estimat) de les obres de construcció
- cost_revisat — cost revisat (cost de treball després de la revaloració, augment o disminució dels volums inicials de l'aplicació)
- ús_existent - tipus d'habitatge (casa unifamiliar, bifamiliar, apartaments, oficines, producció, etc.)
- codi postal, ubicació — codi postal i coordenades de l'objecte
Activitat anual de construcció a San Francisco
El gràfic següent mostra els paràmetres Cost estimat и cost_revisat es presenta com una distribució del cost total de l'obra per mes.
data_cost_m = data_cost.groupby(pd.Grouper(freq='M')).sum()Per reduir els "outliers" mensuals, les dades mensuals s'agrupen per any. El gràfic de la quantitat de diners invertits per any ha rebut una forma més lògica i analitzable.
data_cost_y = data_cost.groupby(pd.Grouper(freq='Y')).sum()
Basat en el moviment anual de la suma de costos (tots els permisos de l'any) a les instal·lacions de la ciutat Els factors econòmics que van influir des del 1980 fins al 2019 són clarament visibles sobre el nombre i el cost dels projectes de construcció, o en cas contrari sobre les inversions en béns arrels de San Francisco.
El nombre de llicències de construcció (el nombre de treballs de construcció o el nombre d'inversions) durant els darrers 40 anys ha estat estretament relacionat amb l'activitat econòmica a Silicon Valley.
El primer pic de l'activitat de la construcció es va associar amb el bombo electrònic de mitjans dels anys 80 a la vall. La consegüent recessió de l'electrònica i la banca el 1985 va fer que el mercat immobiliari regional caigués en un declivi del qual no es va recuperar durant gairebé una dècada.
Després d'això, dues vegades més (el 1993-2000 i el 2009-2016) abans de l'enfonsament de la bombolla Dotcom i el boom tecnològic dels darrers anys. La indústria de la construcció de San Francisco ha experimentat un creixement parabòlic de diversos milers per cent..
Amb l'eliminació dels pics i baixes intermedis i deixant els valors mínims i màxims per a cada cicle econòmic, queda clar com les grans fluctuacions del mercat han afectat la indústria durant els últims 40 anys.
El major augment de la inversió en construcció es va produir durant el boom de les punt com, quan entre 1993 i 2001 es van invertir 10 milions de dòlars en renovació i construcció, o aproximadament 1 milions de dòlars anuals. Si comptem en metres quadrats (el cost d'1 m² l'any 1995 és de 3000 $), això és aproximadament 350 m000 per any durant 2 anys, a partir de 10.
El creixement de les inversions totals anuals durant aquest període va ascendir al 1215%.
Les empreses que llogaven material de construcció durant aquest període eren semblants a les empreses que venien pales durant la febre de l'or (a la mateixa regió a mitjans del segle XIX). Només que en lloc de pales, als anys 19 ja hi havia grues i bombes de formigó per a empreses constructores de nova creació que volien guanyar diners amb el boom de la construcció.
Després de cadascuna de les moltes crisis que ha viscut el sector de la construcció al llarg dels anys, durant els dos anys posteriors a la crisi, les inversions (import de les sol·licituds de llicències) per a la construcció va baixar almenys un 50% cada vegada.
Les crisis més grans de la indústria de la construcció de San Francisco es van produir als anys 90. On, amb una periodicitat de 5 anys, la indústria va caure (-85% en el període 1983-1986), després va tornar a augmentar (+895% en el període 1988-1992), mantenint-se en termes anuals els anys 1981, 1986, 1988. , 1993 - al mateix nivell.
Després de 1993, totes les caigudes posteriors en el sector de la construcció no van superar el 50%. Però s'acosta a la crisi econòmica (a causa del COVID-19) podria crear una crisi rècord en el sector de la construcció en el període 2017-2021, el descens del qual ja en el període 2017-2019 ascendeix a un total de més del 60%.
Creixement demogràfic de San Francisco dinàmica en el període 1980-1993 també va mostrar un creixement gairebé exponencial. La força econòmica i l'energia innovadora de Silicon Valley va ser la base sòlida sobre la qual es va construir la hipèrbole de la Nova Economia, el Renaixement americà i les punt-com. Va ser l'epicentre de la nova economia. Però, a diferència de l'augment de la inversió immobiliària, després del pic de les punt com, la població es va estabilizar.
Abans del pic de punt com el 2001, el creixement anual de la població des de 1950 ha estat aproximadament de l'1% anual. Després, després del col·lapse de la bombolla, l'entrada de nova població es va alentir i des del 2001 només ha estat del 0.2 per cent anual.
El 2019 (per primera vegada des del 1950), la dinàmica de creixement va mostrar una sortida de població (-0.21% o 7000 persones) de la ciutat de San Francisco.
Expectativa i realitat a l'hora d'elaborar les estimacions de costos
En els conjunts de dades utilitzats, les dades sobre el cost d'un permís per a un projecte de construcció es divideixen en:
- cost estimat original (Cost estimat)
- cost del treball després de la revaloració (cost_revisat)
Durant els temps de boom, l'objectiu principal de la revaloració és augmentar el cost inicial, quan l'inversor (el client de la construcció) mostra apetit després de l'inici de la construcció.
Durant una crisi, intenten no superar els costos estimats, i les estimacions inicials pràcticament no experimenten canvis (excepte el terratrèmol de 1989).
Segons el gràfic construït sobre la diferència entre el cost revalorat i estimat (cost_revisat - cost_estimat), es pot observar que:
La quantitat d'augment de costos quan es revalora el volum de l'obra depèn directament dels cicles de boom econòmic
data_spread = data_cost.assign(spread = (data_cost.revised_cost-data_cost.estimated_cost))
Durant els períodes de ràpid creixement econòmic, els clients del treball (inversors) gasten els seus fons amb força generositat, augmentant les seves peticions després de l'inici del treball.
El client (inversor), amb confiança econòmica, demana al constructor o a l'arquitecte que prorrogui la llicència d'obres ja emesa. Aquesta pot ser una decisió per augmentar la longitud inicial de la piscina o augmentar l'àrea de la casa (després de l'inici de les obres i l'emissió d'un permís de construcció).
En el punt àlgid de l'era de les punt-com, aquestes despeses "addicionals" van assolir 1 milions "extra" per any.
Si observeu aquesta taula ja en canvi percentual, aleshores l'augment màxim de l'estimació (100% o 2 vegades el cost estimat original) es va produir l'any anterior al terratrèmol que es va produir el 1989 prop de la ciutat. Suposo que després del terratrèmol, els projectes de construcció que van començar l'any 1988 van requerir, després del terratrèmol de 1989, més temps i fons per a la seva implementació.
Per contra, una revisió a la baixa del cost estimat (que només es va produir una vegada durant el període de 1980 a 2019) diversos anys abans del terratrèmol es deu probablement al fet que alguns projectes iniciats el 1986-1987 es van congelar o es van retallar les inversions en aquests projectes. cap avall. En la data prevista de mitjana per a cada projecte iniciat l'any 1987 - la reducció del cost estimat va ser del -20% del pla original.
data_spred_percent = data_cost_y.assign(spred = ((data_cost_y.revised_cost-data_cost_y.estimated_cost)/data_cost_y.estimated_cost*100))
Un augment del cost estimat inicial de més d'un 40% indicava o possiblement va ser conseqüència de l'aproximació de la bombolla en el mercat financer i, posteriorment, de la construcció.
Quina és la raó de la disminució del diferencial (diferència) entre els costos estimats i revisats després del 2007?
Potser els inversors van començar a mirar detingudament els números (la quantitat mitjana durant 20 anys va augmentar de 100 a 2 milions de dòlars) o potser el departament de construcció, prevenint i inhibint les bombolles emergents al mercat immobiliari, va introduir noves regles i restriccions per reduir possibles manipulacions. i els possibles riscos que sorgiran durant els anys de crisi.
Activitat de construcció en funció de l'estació de l'any
Agrupant les dades per setmanes naturals de l'any (54 setmanes), podeu observar l'activitat de construcció a la ciutat de San Francisco en funció de l'estacionalitat i l'època de l'any.
Per Nadal, totes les organitzacions de construcció estan intentant obtenir permisos per a nous projectes "grans" a temps. (al mateix temps! el nombre! de permisos en aquests mateixos mesos està al mateix nivell durant tot l'any). Els inversors, que tenen previst rebre la seva propietat durant l'any vinent, subscriuen contractes durant els mesos d'hivern, comptant amb grans descomptes (ja que els contractes d'estiu, en la seva majoria, s'acaben a finals d'any i les empreses constructores estan interessades). en rebre noves sol·licituds).
Abans de Nadal, es presenten les sol·licituds més grans (augment d'una mitjana d'1-1,5 milions al mes a 5 milions només al desembre). Al mateix temps, el nombre total de sol·licituds per mes es manté al mateix nivell (vegeu la secció següent: estadístiques sobre el nombre total de sol·licituds per mes i dies)
Després de les vacances d'hivern, el sector de la construcció està activament planificant i implementant comandes de "Nadal" (sense gairebé augment del nombre de permisos) per tal d'alliberar recursos a mitjans d'any (abans de la festa de la Independència) abans de la nova. L'onada de contractes d'estiu comença immediatament després de les vacances de juny.
data_month_year = data_month_year.assign(week_year = data_month_year.permit_creation_date.dt.week)
data_month_year = data_month_year.groupby(['week_year'])['estimated_cost'].sum()
Les mateixes dades percentuals (línia taronja) també mostren que la indústria funciona "suau" durant tot l'any, però abans i després de les vacances, l'activitat dels permisos augmenta fins al 150% en el període entre la setmana 20-24 (abans del Dia de la Independència), i disminueix immediatament després de les vacances fins al -70%.
Abans de Halloween i Nadal, l'activitat a la indústria de la construcció de San Francisco augmenta un 43% durant la setmana 44-150 (de baix a màxim) i després disminueix a zero durant les vacances.
Així, la indústria es troba en un cicle de sis mesos, que està separat per les festes "Dia de la Independència dels EUA" (setmana 20) i "Nadal" (setmana 52).
Inversió total immobiliària a San Francisco
A partir de les dades de llicències d'obres a la ciutat:
La inversió total en projectes de construcció a San Francisco del 1980 al 2019 és de 91,5 milions de dòlars.
sf_worth = data_location_lang_long.cost.sum()
El valor total de mercat de tots els béns immobles residencials a San Francisco avaluat per impostos sobre la propietat (és el valor de taxació de tots els béns immobles i tots els béns personals propietat de San Francisco) .
En quines zones de San Francisco s'ha invertit durant els darrers 40 anys?
Utilitzant la biblioteca Folium, vegem on es van invertir aquests 91,5 milions de dòlars per regió. Per fer-ho, havent agrupat les dades per codi postal, representarem els valors resultants mitjançant cercles (la funció Cercle de la biblioteca Folium).
import folium
from folium import Circle
from folium import Marker
from folium.features import DivIcon
# map folium display
lat = data_location_lang_long.lat.mean()
long = data_location_lang_long.long.mean()
map1 = folium.Map(location = [lat, long], zoom_start = 12)
for i in range(0,len(data_location_lang_long)):
Circle(
location = [data_location_lang_long.iloc[i]['lat'], data_location_lang_long.iloc[i]['long']],
radius= [data_location_lang_long.iloc[i]['cost']/20000000],
fill = True, fill_color='#cc0000',color='#cc0000').add_to(map1)
Marker(
[data_location_mean.iloc[i]['lat'], data_location_mean.iloc[i]['long']],
icon=DivIcon(
icon_size=(6000,3336),
icon_anchor=(0,0),
html='<div style="font-size: 14pt; text-shadow: 0 0 10px #fff, 0 0 10px #fff;; color: #000";"">%s</div>'
%("$ "+ str((data_location_lang_long.iloc[i]['cost']/1000000000).round()) + ' mlrd.'))).add_to(map1)
map1
Des de les regions queda clar que La major part del pastís lògicament va anar a DownTown. Després d'haver simplificat l'agrupació de tots els objectes per distància al centre de la ciutat i el temps que triga a arribar al centre de la ciutat (per descomptat, també s'estan construint cases cares a la costa), tots els permisos es van dividir en 4 grups: 'Centre de la ciutat' , "<0.5 h al centre de la ciutat", "< 1 h al centre de la ciutat", "fora de SF".
from geopy.distance import vincenty
def distance_calc (row):
start = (row['lat'], row['long'])
stop = (37.7945742, -122.3999445)
return vincenty(start, stop).meters/1000
df_pr['distance'] = df_pr.apply (lambda row: distance_calc (row),axis=1)
def downtown_proximity(dist):
'''
< 2 -> Near Downtown, >= 2, <4 -> <0.5H Downtown
>= 4, <6 -> <1H Downtown, >= 8 -> Outside SF
'''
if dist < 2:
return 'Downtown'
elif dist < 4:
return '<0.5H Downtown'
elif dist < 6:
return '<1H Downtown'
elif dist >= 6:
return 'Outside SF'
df_pr['downtown_proximity'] = df_pr.distance.apply(downtown_proximity)Dels 91,5 milions invertits a la ciutat, gairebé 70 milions (el 75% de totes les inversions) invertits en reparacions i construcció es troben al centre de la ciutat. (zona verda) i a la zona de la ciutat en un radi de 2 km. des del centre (zona blava).
Cost mitjà estimat d'una aplicació de construcció per districte de la ciutat
Totes les dades, igual que amb l'import total de la inversió, es van agrupar per codi postal. Només en aquest cas amb el cost mitjà (.mean()) estimat de l'aplicació per codi postal.
data_location_mean = data_location.groupby(['zipcode'])['lat','long','estimated_cost'].mean()
A les zones habituals de la ciutat (a més de 2 km del centre de la ciutat): el cost mitjà estimat d'una aplicació de construcció és de 50 mil dòlars.
El cost mitjà estimat a la zona del centre de la ciutat és aproximadament tres vegades més gran (entre 150 i 400 dòlars) que en altres àrees (entre 30 i 50 mil dòlars).
A més del cost del sòl, tres factors determinen el cost total de la construcció d'habitatges: mà d'obra, materials i taxes governamentals. Aquests tres components són més elevats a Califòrnia que a la resta del país. Els codis de construcció de Califòrnia es consideren alguns dels més complets i estrictes del país (a causa dels terratrèmols i les regulacions ambientals), sovint requereixen materials i mà d'obra més cars.
Per exemple, el govern exigeix que els constructors utilitzin materials de construcció de millor qualitat (finestres, aïllaments, sistemes de calefacció i refrigeració) per assolir uns alts estàndards d'eficiència energètica.
De les estadístiques generals sobre el cost mitjà d'una sol·licitud de permís, destaquen dues ubicacions:
- L'illa del tresor - una illa artificial a la badia de San Francisco. El cost mitjà estimat d'un permís de construcció és de 6,5 milions de dòlars.
- Mission Bay — (població 2926) El cost mitjà estimat d'un permís de construcció és d'1,5 milions de dòlars.
De fet, l'elevada aplicació mitjana en aquestes dues àrees està relacionada amb el menor nombre de sol·licituds per a aquestes ubicacions postals (145 i 3064 respectivament, la construcció a l'illa és molt limitada), mentre que per a la resta de codis postals - XNUMXi el període 1980-2019 va rebre aproximadament 1300 sol·licituds per any (total de mitjana 30-50 mil sol·licituds durant tot el període).
Segons el paràmetre “nombre d'aplicacions”, es nota una distribució perfectament uniforme del nombre d'aplicacions per codi postal per tota la ciutat.
Estadístiques del nombre total de sol·licituds per mes i dies
Les estadístiques generals sobre el nombre total de sol·licituds per mes i dies de la setmana entre 1980 i 2019 mostren que Els mesos més tranquils per al departament de construcció són els mesos de primavera i hivern. Al mateix temps, la quantitat d'inversions especificada a les sol·licituds varia molt i de vegades varia d'un mes a un altre (vegeu addicionalment “Activitat de construcció segons temporada”). Entre els dies de la setmana, el dilluns la càrrega al departament és aproximadament un 20% menor que la resta de dies de la setmana.
months = [ 'January', 'February', 'March', 'April', 'May','June', 'July', 'August', 'September', 'October', 'November', 'December' ]
data_month_count = data_month.groupby(['permit_creation_date']).count().reindex(months)
Mentre que juny i juliol són pràcticament iguals pel que fa al nombre de sol·licituds, pel que fa al cost total estimat la diferència arriba al 100% (4,3 milions al maig i juliol i 8,2 milions al juny).
data_month_sum = data_month.groupby(['permit_creation_date']).sum().reindex(months)
El futur de la indústria de la construcció de San Francisco, predint l'activitat per patrons.
Finalment, comparem el gràfic de l'activitat de la construcció a San Francisco amb el gràfic de preus de Bitcoin (2015-2018) i el gràfic de preus de l'or (1940-1980).
Patró (del patró anglès - model, mostra) - en l'anàlisi tècnica s'anomenen combinacions repetitives estables de dades de preu, volum o indicador. L'anàlisi de patrons es basa en un dels axiomes de l'anàlisi tècnica: "la història es repeteix": es creu que les combinacions repetides de dades condueixen a un resultat similar.
El patró principal que es pot veure al gràfic d'activitats anuals és Aquest és un patró d'inversió de tendència "Cap i espatlles". Anomenat així perquè el gràfic sembla un cap humà (pic) i espatlles als costats (pics menors). Quan el preu trenca la línia que connecta els abeuradors, el patró es considera complet i és probable que el moviment sigui a la baixa.
Els moviments de l'activitat a la indústria de la construcció de San Francisco coincideixen gairebé completament amb l'augment del preu de l'or i el bitcoin. L'evolució històrica d'aquests tres gràfics de preus i activitats mostra semblances notables.
Per poder predir el comportament del mercat de la construcció en el futur, cal calcular el coeficient de correlació amb cadascuna d'aquestes dues tendències.
Dues variables aleatòries s'anomenen correlacionades si el seu moment de correlació (o coeficient de correlació) és diferent de zero; i s'anomenen magnituds no correlacionades si el seu moment de correlació és zero.
Si el valor resultant és més proper a 0 que a 1, no té sentit parlar d'un patró clar. Aquest és un problema matemàtic complex, que poden assumir els companys més grans que poden estar interessats en aquest tema.
Si! poc científic! mireu el tema del desenvolupament posterior de la indústria de la construcció a San Francisco: si el patró continua coincidint amb el preu de Bitcoin, aleshores segons aquesta opció pessimista — Sortir de la crisi del sector de la construcció a San Francisco no serà fàcil en el període immediat posterior a la crisi.
Amb una opció més “optimista”. desenvolupament, el creixement exponencial repetit de la indústria de la construcció és possible si l'activitat aquí segueix l'escenari del "preu de l'or". En aquest cas, d'aquí a 20-30 anys (possiblement en 10), el sector de la construcció s'enfrontarà a un nou augment de l'ocupació i el desenvolupament.
Miraré més de prop els sectors individuals de la construcció (reparació de teulades, cuines, construcció d'escales, banys, si teniu algun suggeriment sobre indústries o altres dades; si us plau, escriu als comentaris) i compararé la inflació per a tipus de treball individuals amb les taxes fixes dels préstecs hipotecaris i la rendibilitat dels bons governamentals dels EUA (Fixed Mortgage Rates & US Treasury Yield).
Enllaç a la segona part:
Enllaç a Jupyter Notebook:
Si us plau, per a aquells que estiguin amb Kaggle, doneu un avantatge a Notebook (gràcies!).
(Els comentaris i les explicacions del codi s'afegiran més endavant al Bloc de notes)
Enllaç a la versió en anglès:
Si us agrada el meu contingut, penseu en comprar-me un cafè.
gràcies pel teu recolzament!
Només els usuaris registrats poden participar en l'enquesta. si us plau.
Quin futur li depara a la indústria de la construcció de San Francisco?
-
66,7%És més probable que el sector de la construcció segueixi el camí de Bitcoin2
-
0,0%El sector de la construcció pot seguir el camí dels preus de l'or0
-
0,0%El sector espera bombo durant els propers 10 anys0
-
33,3%El desenvolupament del sector no va seguint pautes1
Han votat 3 usuaris. 6 usuaris es van abstenir.
Font: www.habr.com