Denne serien med artikler er viet studiet av byggeaktivitet i hovedbyen Silicon Valley - San Francisco. San Francisco er det teknologiske "Moskva" i vår verden, og bruker sitt eksempel (ved hjelp av åpne data) for å observere utviklingen av byggebransjen i store byer og hovedsteder.
Konstruksjon av grafer og beregninger ble utført i (på Kaggle.com-plattformen).
Data om mer enn en million byggetillatelser (registreringer i to datasett) fra San Francisco Building Department - tillater analysere ikke bare byggeaktiviteten i byen, men også kritisk vurdere siste trender og historie med utvikling av byggebransjen de siste 40 årene, mellom 1980 og 2019.
Åpne data gjør det mulig å utforske hovedfaktorer som har påvirket og vil påvirke utviklingen i byggebransjen i byen, og deler dem inn i "eksterne" (økonomiske høykonjunkturer og kriser) og "interne" (påvirkning av helligdager og sesongmessige årssykluser).
Innhold
Åpne data og gjennomgang av grunnlinjeparametere.
Dette er ikke en oversettelse av artikkelen. Jeg skriver på LinkedIn og for ikke å lage grafikk på flere språk er all grafikk på engelsk.
Link til andre del:
City of San Francisco Byggetillatelsesdata - Fra Open Data Portal - . Portalen har flere datasett om temaet konstruksjon. To slike datasett lagrer og oppdaterer data om tillatelser gitt for bygging eller reparasjon av objekter i byen:
- (850 tusen poster)
- (280 tusen poster, data lastes ned og oppdateres ukentlig)
Disse datasettene inneholder informasjon om utstedte byggetillatelser, med ulike kjennetegn på objektet det gis tillatelse for. Totalt antall mottatte oppføringer (tillatelser). i perioden 1980-2019 - 1 137 695 tillatelser.
Hovedparametrene fra dette datasettet som ble brukt til analyse:
- permit_creation_date — dato for opprettelse av søknaden (faktisk dagen da byggearbeidet begynner)
- beskrivelse — beskrivelse av søknaden (to eller tre nøkkelord som beskriver byggeprosjektet (arbeidet) som tillatelsen ble opprettet for)
- estimert kostnad — estimert (estimert) kostnad for byggearbeid
- revidert_kostnad – revidert kostnad (arbeidskostnad etter revaluering, økning eller reduksjon av de første volumene av søknaden)
- eksisterende_bruk - type bolig (en-, to-familiehus, leiligheter, kontorer, produksjon, etc.)
- postnummer, plassering — postnummer og objektkoordinater
Årlig byggeaktivitet i San Francisco
Grafen nedenfor viser parameterne estimert kostnad и revidert_kostnad presentert som en fordeling av de totale arbeidskostnadene per måned.
data_cost_m = data_cost.groupby(pd.Grouper(freq='M')).sum()For å redusere månedlige "outliers" er månedlige data gruppert etter år. Grafen over mengden investerte penger etter år har fått en mer logisk og analyserbar form.
data_cost_y = data_cost.groupby(pd.Grouper(freq='Y')).sum()
Basert på den årlige bevegelsen av summen av kostnader (alle tillatelser for året) til byanlegg økonomiske faktorer som påvirket fra 1980 til 2019 er godt synlige på antall og kostnader for byggeprosjekter, eller på annen måte på investeringer i San Francisco eiendom.
Antall byggetillatelser (antall byggejobber eller antall investeringer) de siste 40 årene har vært nært knyttet til økonomisk aktivitet i Silicon Valley.
Den første toppen av byggeaktiviteten var assosiert med elektronikkhypen på midten av 80-tallet i dalen. Den påfølgende elektronikk- og bankresesjonen i 1985 sendte det regionale eiendomsmarkedet i en nedgang som det ikke kom seg fra på nesten et tiår.
Etter det, to ganger til (i 1993-2000 og 2009-2016) før sammenbruddet av Dotcom-boblen og teknologiboomen de siste årene San Franciscos byggeindustri har opplevd parabolsk vekst på flere tusen prosent..
Ved å fjerne de mellomliggende toppene og bunnene og legge igjen minimums- og maksimumsverdiene for hver økonomisk syklus, er det tydelig hvor store markedssvingninger har plaget industrien de siste 40 årene.
Den største økningen i investeringer i konstruksjon skjedde under dot-com-boomen, da mellom 1993 og 2001 ble det investert 10 milliarder dollar i renovering og konstruksjon, eller omtrent 1 milliard dollar per år. Hvis vi regner i kvadratmeter (kostnaden på 1 m² i 1995 er $3000 350), er dette omtrent 000 2 m10 per år i 1993 år, fra og med XNUMX.
Veksten i årlige totale investeringer i denne perioden utgjorde 1215 %.
Bedriftene som leide anleggsutstyr i denne perioden var lik selskapene som solgte spader under gullrushet (i samme region på midten av 19-tallet). Bare i stedet for spader, fantes det allerede på 2000-tallet kraner og betongpumper for nystiftede byggefirmaer som ville tjene penger på byggeboomen.
Etter hver av de mange krisene som byggebransjen har opplevd gjennom årene, over de neste to årene etter krisen, investeringer (mengde søknader om tillatelser) for bygging falt med minst 50 % hver gang.
De største krisene i byggebransjen i San Francisco skjedde på 90-tallet. Der hvor industrien med en periodisitet på 5 år enten falt (-85 % i perioden 1983-1986), for så å stege igjen (+895 % i perioden 1988-1992), forble i årlige termer i 1981, 1986, 1988 , 1993 - på samme nivå.
Etter 1993 utgjorde alle påfølgende nedganger i byggebransjen ikke mer enn 50%. Men nærmer seg økonomisk krise (på grunn av covid-19) kunne skape rekordkrise i byggebransjen i perioden 2017-2021, hvis nedgang allerede i perioden 2017-2019 utgjør til sammen mer enn 60 %.
San Franciscos befolkningsvekst dynamikk i perioden 1980-1993 også viste nesten eksponentiell vekst. Den økonomiske styrken og nyskapende energien til Silicon Valley var det solide grunnlaget som hyperbolen til den nye økonomien, den amerikanske renessansen og dot-coms ble bygget på. Det var episenteret for den nye økonomien. Men i motsetning til økningen i eiendomsinvesteringer, etter dot-com-toppen, platået faktisk befolkningen.
Før dot-com-toppen i 2001 har den årlige befolkningsveksten siden 1950 vært omtrent 1 % per år. Så, etter boblens kollaps, avtok tilstrømningen av ny befolkning og har siden 2001 bare vært på 0.2 prosent per år.
I 2019 (for første gang siden 1950) viste vekstdynamikken en utstrømning av befolkning (-0.21% eller 7000 mennesker) fra byen San Francisco.
Forventning og realitet ved utarbeidelse av kostnadsoverslag
I datasettene som brukes er data om kostnadene ved tillatelse til et byggeprosjekt delt inn i:
- opprinnelig estimert kostnad (estimert kostnad)
- kostnad for arbeid etter revaluering (revidert_kostnad)
I høykonjunktur er hovedformålet med revaluering å øke startkostnaden, når investoren (byggekunden) viser appetitt etter byggestart.
Under en krise prøver de å ikke overstige de estimerte kostnadene, og de første estimatene gjennomgår praktisk talt ingen endringer (bortsett fra jordskjelvet i 1989).
I henhold til grafen bygget på forskjellen mellom revaluert og estimert kostnad (revidert_kostnad - estimert_kostnad), kan det observeres at:
Mengden kostnadsøkning ved revaluering av volumet av byggearbeid avhenger direkte av de økonomiske høykonjunkturene
data_spread = data_cost.assign(spread = (data_cost.revised_cost-data_cost.estimated_cost))
I perioder med rask økonomisk vekst bruker arbeidskunder (investorer) pengene sine ganske sjenerøst, og øker forespørslene etter arbeidets begynnelse.
Kunden (investoren), som føler seg økonomisk trygg, ber byggeentreprenøren eller arkitekten forlenge den allerede utstedte byggetillatelsen. Dette kan være en beslutning om å øke den opprinnelige lengden på bassenget eller øke husets areal (etter oppstart av arbeidet og utstedelse av byggetillatelse).
På toppen av dot-com-tiden nådde slike "ekstra" utgifter en "ekstra" 1 milliard per år.
Hvis du ser på denne tabellen allerede i prosentvis endring, så skjedde toppøkningen i estimatet (100% eller 2 ganger den opprinnelige estimerte kostnaden) året før jordskjelvet som skjedde i 1989 nær byen. Jeg antar at etter jordskjelvet krevde byggeprosjekter som startet i 1988, etter jordskjelvet i 1989, mer tid og midler til gjennomføring.
Motsatt skyldes en nedjustering av estimert kostnad (som bare skjedde én gang i perioden fra 1980 til 2019) flere år før jordskjelvet at noen prosjekter startet i 1986-1987 ble frosset eller at investeringene i disse prosjektene ble kuttet. ned. Etter planen i gjennomsnitt for hvert prosjekt startet i 1987 - reduksjonen i estimert kostnad var -20% av den opprinnelige planen.
data_spred_percent = data_cost_y.assign(spred = ((data_cost_y.revised_cost-data_cost_y.estimated_cost)/data_cost_y.estimated_cost*100))
En økning i den opprinnelige estimerte kostnaden på mer enn 40 % indikerte eller var muligens en konsekvens av den nærmer seg boble i finansmarkedet og senere byggemarkedet.
Hva er årsaken til nedgangen i spredningen (forskjellen) mellom estimerte og reviderte kostnader etter 2007?
Kanskje investorer begynte å se nøye på tallene (gjennomsnittsbeløpet over 20 år økte fra $100 tusen til $2 millioner) eller kanskje byggeavdelingen, som forhindret og hemmet nye bobler i eiendomsmarkedet, introduserte nye regler og restriksjoner for å redusere mulige manipulasjoner og mulige risikoer som vil oppstå i kriseår.
Byggeaktivitet avhengig av årstid
Ved å gruppere dataene etter kalenderuker i året (54 uker), kan du observere byggeaktivitet i byen San Francisco avhengig av sesongvariasjoner og tid på året.
Innen jul prøver alle byggeorganisasjoner å få tillatelse til nye «store» prosjekter i tide. (samtidig! antall! tillatelser i disse samme månedene er på samme nivå hele året). Investorer som planlegger å få eiendommen sin innen neste år, inngår kontrakter i vintermånedene, og regner med store rabatter (siden sommerkontrakter for det meste går ut mot slutten av året og byggefirmaer er interessert ved å motta nye søknader).
Før jul sendes de største mengdene søknader inn (økning fra gjennomsnittlig 1-1,5 milliarder per måned til 5 milliarder bare i desember). Samtidig forblir det totale antall søknader per måned på samme nivå (se avsnittet nedenfor: statistikk over totalt antall søknader etter måned og dag)
Etter vinterferien planlegger og implementerer byggebransjen «jule»-bestillinger (med nesten ingen økning i antall tillatelser) for å frigjøre ressurser innen midten av året (før frigjøringsdagen) før den nye bølge av sommerkontrakter begynner rett etter juniferien.
data_month_year = data_month_year.assign(week_year = data_month_year.permit_creation_date.dt.week)
data_month_year = data_month_year.groupby(['week_year'])['estimated_cost'].sum()
De samme prosentvise dataene (oransje strek) viser også at bransjen fungerer «jevnt» gjennom hele året, men før og etter ferien øker aktiviteten på tillatelser til 150 % i perioden mellom uke 20-24 (før uavhengighetsdagen), og synker umiddelbart etter ferien opp til -70 %.
Før Halloween og jul øker aktiviteten i byggebransjen i San Francisco med 43 % i løpet av uke 44-150 (fra bunn til topp) og synker deretter til null i løpet av høytiden.
Dermed er industrien i en seks-måneders syklus, som er atskilt av høytidene "US Independence Day" (uke 20) og "Christmas" (uke 52).
Total eiendomsinvestering i San Francisco
Basert på data om byggetillatelser i byen:
Den totale investeringen i byggeprosjekter i San Francisco fra 1980 til 2019 er 91,5 milliarder dollar.
sf_worth = data_location_lang_long.cost.sum()
Den totale markedsverdien av all boligeiendom i San Francisco beregnet etter eiendomsskatt (som den takserte verdien av all eiendom og all personlig eiendom som eies av San Francisco) .
Hvilke områder i San Francisco har investert i de siste 40 årene?
Ved å bruke Folium-biblioteket, la oss se hvor disse 91,5 milliarder dollar ble investert etter region. For å gjøre dette, etter å ha gruppert dataene etter postnummer, vil vi representere de resulterende verdiene ved å bruke sirkler (Sirkel-funksjonen fra Folium-biblioteket).
import folium
from folium import Circle
from folium import Marker
from folium.features import DivIcon
# map folium display
lat = data_location_lang_long.lat.mean()
long = data_location_lang_long.long.mean()
map1 = folium.Map(location = [lat, long], zoom_start = 12)
for i in range(0,len(data_location_lang_long)):
Circle(
location = [data_location_lang_long.iloc[i]['lat'], data_location_lang_long.iloc[i]['long']],
radius= [data_location_lang_long.iloc[i]['cost']/20000000],
fill = True, fill_color='#cc0000',color='#cc0000').add_to(map1)
Marker(
[data_location_mean.iloc[i]['lat'], data_location_mean.iloc[i]['long']],
icon=DivIcon(
icon_size=(6000,3336),
icon_anchor=(0,0),
html='<div style="font-size: 14pt; text-shadow: 0 0 10px #fff, 0 0 10px #fff;; color: #000";"">%s</div>'
%("$ "+ str((data_location_lang_long.iloc[i]['cost']/1000000000).round()) + ' mlrd.'))).add_to(map1)
map1
Det er tydelig fra regionene at Det meste av kaken gikk logisk nok til DownTown. Etter å ha forenklet grupperingen av alle objekter etter avstand til sentrum og tiden det tar å komme til sentrum (selvfølgelig bygges det dyre hus på kysten), ble alle tillatelser delt inn i 4 grupper: 'Downtown' , '<0.5H sentrum', '< 1H sentrum', 'Utenfor SF'.
from geopy.distance import vincenty
def distance_calc (row):
start = (row['lat'], row['long'])
stop = (37.7945742, -122.3999445)
return vincenty(start, stop).meters/1000
df_pr['distance'] = df_pr.apply (lambda row: distance_calc (row),axis=1)
def downtown_proximity(dist):
'''
< 2 -> Near Downtown, >= 2, <4 -> <0.5H Downtown
>= 4, <6 -> <1H Downtown, >= 8 -> Outside SF
'''
if dist < 2:
return 'Downtown'
elif dist < 4:
return '<0.5H Downtown'
elif dist < 6:
return '<1H Downtown'
elif dist >= 6:
return 'Outside SF'
df_pr['downtown_proximity'] = df_pr.distance.apply(downtown_proximity)Av de 91,5 milliarder som er investert i byen, er nesten 70 milliarder (75 % av alle investeringer) investert i reparasjoner og bygging i sentrum (grønn sone) og til byområdet innenfor en radius på 2 km. fra sentrum (blå sone).
Gjennomsnittlig estimert kostnad for en byggesøknad etter bydel
Alle data, som med det totale investeringsbeløpet, ble gruppert etter postnummer. Bare i dette tilfellet med gjennomsnittlig (.mean()) estimert kostnad for applikasjonen etter postnummer.
data_location_mean = data_location.groupby(['zipcode'])['lat','long','estimated_cost'].mean()
I vanlige områder av byen (mer enn 2 km fra sentrum) - den gjennomsnittlige estimerte kostnaden for en byggesøknad er $50 tusen.
Gjennomsnittlig beregnet kostnad i sentrumsområdet er omtrent tre ganger høyere ($150 tusen til $400 tusen) enn i andre områder ($30-50 tusen).
I tillegg til kostnadene for land, bestemmer tre faktorer den totale kostnaden for boligbygging: arbeid, materialer og offentlige avgifter. Disse tre komponentene er høyere i California enn i resten av landet. Californias byggeforskrifter regnes som noen av de mest omfattende og strenge i landet (på grunn av jordskjelv og miljøforskrifter), som ofte krever dyrere materialer og arbeidskraft.
Regjeringen krever for eksempel at byggherrer bruker byggematerialer av høyere kvalitet (vinduer, isolasjon, varme- og kjølesystemer) for å oppnå høye energieffektivitetsstandarder.
Fra den generelle statistikken over gjennomsnittlig kostnad for en tillatelsessøknad skiller to steder seg ut:
- Treasure Island - en kunstig øy i San Francisco Bay. Den gjennomsnittlige kostnaden for en byggetillatelse er 6,5 millioner dollar.
- Mission Bay — (befolkning 2926) Den gjennomsnittlige estimerte kostnaden for en byggetillatelse er 1,5 millioner dollar.
Faktisk er den høye gjennomsnittlige applikasjonen i disse to områdene relatert med minst antall søknader for disse poststedene (henholdsvis 145 og 3064 er byggingen på øya svært begrenset), mens for resten av postnumrene - XNUMXog perioden 1980-2019 mottok ca 1300 søknader per år (totalt i snitt 30 -50 tusen søknader for hele perioden).
I henhold til parameteren "antall søknader" er en perfekt jevn fordeling av antall søknader per postnummer over hele byen merkbar.
Statistikk over totalt antall søknader etter måned og dag
Samlet statistikk over totalt antall søknader etter måned og ukedag mellom 1980 og 2019 viser at De roligste månedene for byggeavdelingen er vår- og vintermånedene. Samtidig varierer mengden av investeringer spesifisert i søknader sterkt og varierer fra måned til måned med flere ganger (se i tillegg "Byggeaktivitet avhengig av årstid"). Blant ukedagene på mandag er belastningen på avdelingen ca. 20 % mindre enn på andre ukedager.
months = [ 'January', 'February', 'March', 'April', 'May','June', 'July', 'August', 'September', 'October', 'November', 'December' ]
data_month_count = data_month.groupby(['permit_creation_date']).count().reindex(months)
Mens juni og juli er praktisk talt det samme når det gjelder antall søknader, når forskjellen når det gjelder den totale estimerte kostnaden 100 % (4,3 milliarder i mai og juli og 8,2 milliarder i juni).
data_month_sum = data_month.groupby(['permit_creation_date']).sum().reindex(months)
Fremtiden til byggeindustrien i San Francisco, forutsi aktivitet etter mønstre.
Til slutt, la oss sammenligne konstruksjonsaktivitetsdiagrammet i San Francisco med Bitcoin-prisdiagrammet (2015-2018) og gullprisdiagrammet (1940 - 1980).
Mønster (fra engelsk mønster - modell, prøve) - i teknisk analyse kalles stabile repeterende kombinasjoner av pris, volum eller indikatordata. Mønsteranalyse er basert på et av aksiomene til teknisk analyse: "historien gjentar seg selv" - det antas at gjentatte kombinasjoner av data fører til et lignende resultat.
Hovedmønsteret som kan sees på det årlige aktivitetskartet er Dette er et "Head and Shoulders"-trendvendt mønster. Så kalt fordi diagrammet ser ut som et menneskelig hode (topp) og skuldre på sidene (mindre topper). Når prisen bryter linjen som forbinder trauene, anses mønsteret som komplett og bevegelsen vil sannsynligvis være nedadgående.
Bevegelser i aktivitet i byggebransjen i San Francisco faller nesten helt sammen med økningen i prisen på gull og bitcoin. Den historiske ytelsen til disse tre pris- og aktivitetsdiagrammene viser bemerkelsesverdige likheter.
For å kunne forutsi atferden til byggemarkedet i fremtiden, det er nødvendig å beregne korrelasjonskoeffisienten med hver av disse to trendene.
To tilfeldige variabler kalles korrelerte hvis deres korrelasjonsmoment (eller korrelasjonskoeffisient) er forskjellig fra null; og kalles ukorrelerte størrelser hvis deres korrelasjonsmoment er null.
Hvis den resulterende verdien er nærmere 0 enn 1, er det ingen vits i å snakke om et klart mønster. Dette er et komplekst matematisk problem, som kan tas opp av eldre kamerater som kan være interessert i dette emnet.
Hvis! uvitenskapelig! se på emnet for videreutvikling av byggebransjen i San Francisco: hvis mønsteret fortsetter å falle sammen med prisen på Bitcoin, så i henhold til dette pessimistiske alternativet — Det vil ikke være lett å komme seg ut av krisen i byggebransjen i San Francisco umiddelbart etter krisen.
Med et mer "optimistisk" alternativ utvikling, gjentatt eksponentiell vekst i byggebransjen er mulig dersom aktiviteten her følger «gullpris»-scenarioet. I dette tilfellet, om 20-30 år (muligens om 10), vil byggesektoren møte en ny bølge i sysselsetting og utvikling.
Jeg skal se nærmere på enkeltsektorer innen bygg og anlegg (reparasjon av tak, kjøkken, bygging av trapper, bad, hvis du har forslag til bransjer eller andre data - vennligst skriv i kommentarfeltet) og sammenligne inflasjonen for enkelte typer arbeid med faste renter på boliglån og lønnsomheten til amerikanske statsobligasjoner (Fixed Mortgage Rates & US Treasury Yield).
Link til andre del:
Link til Jupyter Notebook:
Vær så snill, for de som er med Kaggle, gi Notebook et pluss (Takk!).
(Kommentarer og forklaringer av koden vil bli lagt til senere i Notebook)
Link til engelsk versjon:
Hvis du liker innholdet mitt, kan du vurdere å kjøpe en kaffe til meg.
takk for støtten!
Kun registrerte brukere kan delta i undersøkelsen. , vær så snill.
Hva vil fremtiden bringe for San Franciscos byggeindustri?
-
66,7%Byggesektoren er mer sannsynlig å følge veien til Bitcoin2
-
0,0%Byggesektoren kan følge banen til gullpriser0
-
0,0%Sektoren forventer hype i løpet av de neste 10 årene0
-
33,3%Utviklingen av sektoren går ikke etter mønster1
3 brukere stemte. 6 brukere avsto.
Kilde: www.habr.com