Denne serie af artikler er afsat til studiet af byggeaktivitet i hovedbyen Silicon Valley - San Francisco. San Francisco er det teknologiske "Moskva" i vores verden, der bruger sit eksempel (ved hjælp af åbne data) til at observere udviklingen af byggeindustrien i store byer og hovedstæder.
Konstruktion af grafer og beregninger blev udført i (på Kaggle.com platformen).
Data om mere end en million byggetilladelser (registreringer i to datasæt) fra San Francisco Building Department - tillader analysere ikke kun byggeaktiviteten i byen, men også kritisk overveje seneste trends og udviklingshistorie i byggebranchen gennem de sidste 40 år, mellem 1980 og 2019.
Åbne data gør det muligt at udforske hovedfaktorer, der har påvirket og vil påvirke byggebranchens udvikling i byen, opdele dem i "ydre" (økonomiske højkonjunkturer og kriser) og "interne" (påvirkning af helligdage og sæsonbestemte-årlige cyklusser).
Indhold
Åbne data og gennemgang af baseline parametre.
Dette er ikke en oversættelse af artiklen. Jeg skriver på LinkedIn og for ikke at lave grafik på flere sprog er al grafik på engelsk.
Link til anden del:
City of San Francisco byggetilladelsesdata - fra Open Data Portal - . Portalen har flere datasæt om emnet byggeri. To sådanne datasæt gemmer og opdaterer data om tilladelser udstedt til konstruktion eller reparation af objekter i byen:
- (850 tusind optegnelser)
- (280 tusind optegnelser, data downloades og opdateres ugentligt)
Disse datasæt indeholder oplysninger om udstedte byggetilladelser med forskellige karakteristika for den genstand, som tilladelsen er givet til. Samlet antal modtagne poster (tilladelser). i perioden 1980-2019 - 1 tilladelser.
De vigtigste parametre fra dette datasæt, der blev brugt til analyse:
- permit_creation_date — dato for oprettelse af ansøgningen (faktisk den dag, hvor byggearbejdet påbegyndes)
- beskrivelse — beskrivelse af ansøgningen (to eller tre nøgleord, der beskriver det byggeprojekt (arbejde), som tilladelsen blev oprettet for)
- anslåede_omkostninger — anslåede (anslåede) omkostninger til byggearbejde
- reviderede_omkostninger — reviderede omkostninger (omkostninger til arbejde efter revaluering, stigning eller reduktion af ansøgningens oprindelige mængder)
- eksisterende_brug - boligtype (en-, tofamilieshus, lejligheder, kontorer, produktion osv.)
- postnummer, placering — postnummer og objektkoordinater
Årlig byggeaktivitet i San Francisco
Grafen nedenfor viser parametrene anslåede_omkostninger и reviderede_omkostninger præsenteret som en fordeling af de samlede udgifter til arbejde på måned.
data_cost_m = data_cost.groupby(pd.Grouper(freq='M')).sum()For at reducere månedlige "outliers" er månedlige data grupperet efter år. Grafen over mængden af investerede penge efter år har fået en mere logisk og analyserbar form.
data_cost_y = data_cost.groupby(pd.Grouper(freq='Y')).sum()
Baseret på den årlige bevægelse af summen af omkostninger (alle tilladelser for året) til byens faciliteter økonomiske faktorer, der påvirkede fra 1980 til 2019, er tydeligt synlige på antallet og omkostningerne ved byggeprojekter eller på anden måde på investeringer i fast ejendom i San Francisco.
Antallet af byggetilladelser (antallet af byggejobs eller antallet af investeringer) gennem de seneste 40 år har været tæt forbundet med den økonomiske aktivitet i Silicon Valley.
Det første højdepunkt i byggeaktiviteten var forbundet med elektronikhypen i midten af 80'erne i dalen. Den efterfølgende elektronik- og bankrecession i 1985 sendte det regionale ejendomsmarked ud i et fald, som det ikke kom sig over i næsten et årti.
Derefter to gange mere (i 1993-2000 og 2009-2016) før Dotcom-boblens kollaps og de seneste års teknologiboom San Franciscos byggeindustri har oplevet parabolsk vækst på flere tusinde procent..
Ved at fjerne de mellemliggende toppe og lavpunkter og efterlade minimums- og maksimumværdier for hver økonomisk cyklus, er det tydeligt, hvor store markedsudsving har plaget industrien over de sidste 40 år.
Den største stigning i investeringer i byggeri skete under dot-com-boomet, hvor der mellem 1993 og 2001 blev investeret 10 milliarder dollars i renovering og byggeri, eller cirka 1 milliard dollars om året. Hvis vi tæller i kvadratmeter (udgiften til 1 m² i 1995 er $3000), er det cirka 350 m000 om året i 2 år, startende i 10.
Væksten i de årlige samlede investeringer i denne periode udgjorde 1215%.
De virksomheder, der lejede entreprenørmateriel i denne periode, lignede de virksomheder, der solgte skovle under guldfeberen (i samme region i midten af 19-tallet). Kun i stedet for skovle var der allerede i 2000'erne kraner og betonpumper til nystiftede byggefirmaer, der ville tjene penge på byggeboomet.
Efter hver af de mange kriser, som byggebranchen har oplevet gennem årene, over de næste to år efter krisen, investeringer (mængde af ansøgninger om tilladelser) til byggeri faldt med mindst 50 % hver gang.
De største kriser i byggebranchen i San Francisco fandt sted i 90'erne. Hvor industrien med en periodicitet på 5 år enten faldt (-85% i perioden 1983-1986), så steg igen (+895% i perioden 1988-1992), forbliver i årlige termer i 1981, 1986, 1988 , 1993 - på samme niveau.
Efter 1993 udgjorde alle efterfølgende fald i byggebranchen ikke mere end 50%. Men nærmer sig økonomisk krise (på grund af COVID-19) kunne skabe en rekordkrise i byggebranchen i perioden 2017-2021, hvis tilbagegang allerede i perioden 2017-2019 udgør i alt mere end 60 %.
San Franciscos befolkningstilvækst dynamik i perioden 1980-1993 også viste næsten eksponentiel vækst. Den økonomiske styrke og innovative energi i Silicon Valley var det solide grundlag, hvorpå hyperbolen fra den nye økonomi, den amerikanske renæssance og dot-coms blev bygget. Det var epicentret for den nye økonomi. Men i modsætning til stigningen i ejendomsinvesteringer, efter dot-com-toppen, steg befolkningen faktisk.
Før dot-com-toppen i 2001 har den årlige befolkningstilvækst siden 1950 været omkring 1 % om året. Derefter, efter boblens kollaps, faldt tilstrømningen af ny befolkning ned og har siden 2001 kun været på 0.2 procent om året.
I 2019 (for første gang siden 1950) viste vækstdynamikken en udstrømning af befolkning (-0.21% eller 7000 mennesker) fra byen San Francisco.
Forventning og realitet ved udarbejdelse af omkostningsoverslag
I de anvendte datasæt er data om omkostningerne ved en tilladelse til et byggeprojekt opdelt i:
- oprindelige estimerede omkostninger (anslåede_omkostninger)
- omkostninger til arbejde efter opskrivning (reviderede_omkostninger)
I højkonjunktur er hovedformålet med opskrivning at øge startomkostningerne, når investoren (byggekunden) viser appetit efter byggestart.
Under en krise forsøger de ikke at overstige de estimerede omkostninger, og de oprindelige estimater undergår stort set ingen ændringer (bortset fra jordskælvet i 1989).
I henhold til grafen bygget på forskellen mellem de revaluerede og estimerede omkostninger (revised_cost - estimated_cost), kan det observeres, at:
Størrelsen af omkostningsstigningen ved omvurdering af mængden af byggearbejde afhænger direkte af de økonomiske højkonjunkturer
data_spread = data_cost.assign(spread = (data_cost.revised_cost-data_cost.estimated_cost))
I perioder med hurtig økonomisk vækst bruger arbejdskunder (investorer) deres midler ganske generøst og øger deres anmodninger efter arbejdets start.
Kunden (investoren), der føler sig økonomisk sikker, beder entreprenøren eller arkitekten om at forlænge den allerede udstedte byggetilladelse. Dette kan være en beslutning om at øge poolens oprindelige længde eller øge husets areal (efter arbejdets start og udstedelsen af en byggetilladelse).
På toppen af dot-com-æraen nåede sådanne "ekstra" udgifter op på "ekstra" 1 milliard om året.
Hvis du ser på denne tabel allerede i procentvis ændring, så skete topstigningen i estimatet (100% eller 2 gange den oprindelige anslåede pris) året før jordskælvet, der fandt sted i 1989 nær byen. Jeg går ud fra, at efter jordskælvet krævede byggeprojekter, der startede i 1988, efter jordskælvet i 1989, mere tid og midler til gennemførelse.
Omvendt skyldes en nedjustering af de estimerede omkostninger (som kun fandt sted én gang i perioden fra 1980 til 2019) flere år før jordskælvet, at nogle projekter, der blev startet i 1986-1987, blev fastfrosset, eller at investeringer i disse projekter blev skåret ned. ned. Planmæssigt i gennemsnit for hvert projekt startet i 1987 - reduktionen i de anslåede omkostninger var -20% af den oprindelige plan.
data_spred_percent = data_cost_y.assign(spred = ((data_cost_y.revised_cost-data_cost_y.estimated_cost)/data_cost_y.estimated_cost*100))
En stigning i de oprindelige estimerede omkostninger på mere end 40 % indikerede eller var muligvis en konsekvens af den nærmede boble på det finansielle og efterfølgende byggemarked.
Hvad er årsagen til faldet i spredningen (forskellen) mellem de estimerede og reviderede omkostninger efter 2007?
Måske begyndte investorer omhyggeligt at se på tallene (det gennemsnitlige beløb over 20 år steg fra $100 tusind til $2 millioner) eller måske indførte byggeafdelingen, der forhindrede og hæmmede nye bobler på ejendomsmarkedet, nye regler og restriktioner for at reducere mulige manipulationer og mulige risici, der vil opstå i kriseår.
Byggeaktivitet afhængig af årstiden
Ved at gruppere dataene efter kalenderuger i året (54 uger), kan du observere byggeaktivitet i byen San Francisco afhængigt af sæsonbestemthed og tidspunkt på året.
Til jul forsøger alle byggeorganisationer at få tilladelser til nye "store" projekter i tide. (samtidig! antallet af tilladelser i de samme måneder er på samme niveau hele året). Investorer, der planlægger at få deres ejendom inden for det næste år, indgår kontrakter i vintermånederne og regner med store rabatter (da sommerkontrakter for det meste er ved at udløbe ved årets udgang, og byggefirmaer er interesserede ved modtagelse af nye ansøgninger).
Inden jul sendes de største mængder af ansøgninger ind (stigning fra gennemsnitligt 1-1,5 milliarder om måneden til 5 milliarder alene i december). Samtidig forbliver det samlede antal ansøgninger pr. måned på samme niveau (se nedenfor afsnit: statistik over det samlede antal ansøgninger efter måned og dag)
Efter vinterferien er byggebranchen i gang med at planlægge og implementere "jule"-bestillinger (næsten uden stigning i antallet af tilladelser) for at frigøre ressourcer midt på året (inden uafhængighedsdagens ferie) inden den nye bølge af sommerkontrakter begynder umiddelbart efter juniferien.
data_month_year = data_month_year.assign(week_year = data_month_year.permit_creation_date.dt.week)
data_month_year = data_month_year.groupby(['week_year'])['estimated_cost'].sum()
De samme procentvise data (orange streg) viser også, at branchen kører "jævnt" hele året, men før og efter ferien stiger aktiviteten på tilladelser til 150 % i perioden mellem uge 20-24 (før uafhængighedsdagen), og falder umiddelbart efter ferien op til -70%.
Før Halloween og jul stiger aktiviteten i byggebranchen i San Francisco med 43 % i uge 44-150 (fra bund til top) og falder derefter til nul i løbet af helligdagene.
Således er branchen i en seks-måneders cyklus, som er adskilt af helligdagene "US Independence Day" (uge 20) og "Christmas" (uge 52).
Samlet ejendomsinvestering i San Francisco
Baseret på data om byggetilladelser i byen:
Den samlede investering i byggeprojekter i San Francisco fra 1980 til 2019 er 91,5 milliarder dollars.
sf_worth = data_location_lang_long.cost.sum()
Den samlede markedsværdi af alle boligejendomme i San Francisco vurderet af ejendomsskatter (der er den vurderede værdi af al fast ejendom og al personlig ejendom ejet af San Francisco) .
Hvilke områder af San Francisco har investeret i i løbet af de sidste 40 år?
Lad os ved hjælp af Folium-biblioteket se, hvor disse $91,5 milliarder blev investeret efter region. For at gøre dette, efter at have grupperet dataene efter postnummer, repræsenterer vi de resulterende værdier ved hjælp af cirkler (cirkelfunktionen fra Folium-biblioteket).
import folium
from folium import Circle
from folium import Marker
from folium.features import DivIcon
# map folium display
lat = data_location_lang_long.lat.mean()
long = data_location_lang_long.long.mean()
map1 = folium.Map(location = [lat, long], zoom_start = 12)
for i in range(0,len(data_location_lang_long)):
Circle(
location = [data_location_lang_long.iloc[i]['lat'], data_location_lang_long.iloc[i]['long']],
radius= [data_location_lang_long.iloc[i]['cost']/20000000],
fill = True, fill_color='#cc0000',color='#cc0000').add_to(map1)
Marker(
[data_location_mean.iloc[i]['lat'], data_location_mean.iloc[i]['long']],
icon=DivIcon(
icon_size=(6000,3336),
icon_anchor=(0,0),
html='<div style="font-size: 14pt; text-shadow: 0 0 10px #fff, 0 0 10px #fff;; color: #000";"">%s</div>'
%("$ "+ str((data_location_lang_long.iloc[i]['cost']/1000000000).round()) + ' mlrd.'))).add_to(map1)
map1
Det fremgår tydeligt af regionerne Det meste af kagen gik logisk nok til DownTown. Efter at have forenklet grupperingen af alle objekter efter afstand til bymidten og den tid, det tager at komme til bymidten (selvfølgelig bygges der også dyre huse på kysten), blev alle tilladelser opdelt i 4 grupper: 'Downtown' , '<0.5H Downtown', '< 1H Downtown', 'Udenfor SF'.
from geopy.distance import vincenty
def distance_calc (row):
start = (row['lat'], row['long'])
stop = (37.7945742, -122.3999445)
return vincenty(start, stop).meters/1000
df_pr['distance'] = df_pr.apply (lambda row: distance_calc (row),axis=1)
def downtown_proximity(dist):
'''
< 2 -> Near Downtown, >= 2, <4 -> <0.5H Downtown
>= 4, <6 -> <1H Downtown, >= 8 -> Outside SF
'''
if dist < 2:
return 'Downtown'
elif dist < 4:
return '<0.5H Downtown'
elif dist < 6:
return '<1H Downtown'
elif dist >= 6:
return 'Outside SF'
df_pr['downtown_proximity'] = df_pr.distance.apply(downtown_proximity)Af de 91,5 milliarder, der er investeret i byen, er næsten 70 milliarder (75 % af alle investeringer) investeret i reparationer og byggeri i byens centrum (grøn zone) og til byområdet inden for en radius af 2 km. fra midten (blå zone).
Gennemsnitlige estimerede omkostninger ved en byggeansøgning efter bydistrikt
Alle data, som med det samlede investeringsbeløb, blev grupperet efter postnummer. Kun i dette tilfælde med de gennemsnitlige (.mean()) anslåede omkostninger ved applikationen efter postnummer.
data_location_mean = data_location.groupby(['zipcode'])['lat','long','estimated_cost'].mean()
I almindelige områder af byen (mere end 2 km fra byens centrum) - den gennemsnitlige anslåede pris for en byggeansøgning er $50 tusind.
Den gennemsnitlige estimerede omkostning i bymidteområdet er cirka tre gange højere ($150 tusind til $400 tusind) end i andre områder ($30-50 tusind).
Ud over omkostningerne ved jord bestemmer tre faktorer de samlede omkostninger ved boligbyggeri: arbejdskraft, materialer og offentlige gebyrer. Disse tre komponenter er højere i Californien end i resten af landet. Californiens byggekoder betragtes som nogle af de mest omfattende og strenge i landet (på grund af jordskælv og miljøbestemmelser), som ofte kræver dyrere materialer og arbejdskraft.
For eksempel kræver regeringen, at bygherrer bruger byggematerialer af højere kvalitet (vinduer, isolering, varme- og kølesystemer) for at opnå høje energieffektivitetsstandarder.
Fra den generelle statistik over de gennemsnitlige omkostninger ved en ansøgning om tilladelse skiller to steder sig ud:
- Treasure Island - en kunstig ø i San Francisco Bay. Den gennemsnitlige anslåede pris for en byggetilladelse er 6,5 millioner dollars.
- Mission Bay — (befolkning 2926) Den gennemsnitlige anslåede pris for en byggetilladelse er 1,5 millioner dollars.
Faktisk hænger den høje gennemsnitlige anvendelse i disse to områder sammen med det mindste antal ansøgninger til disse poststeder (henholdsvis 145 og 3064 er byggeriet på øen meget begrænset), mens for resten af postnumrene - XNUMXog perioden 1980-2019 modtog cirka 1300 ansøgninger om året (i alt i gennemsnit 30 -50 tusinde ansøgninger for hele perioden).
Ifølge parameteren "antal ansøgninger" er en perfekt jævn fordeling af antallet af ansøgninger pr. postnummer i hele byen mærkbar.
Statistik over det samlede antal ansøgninger fordelt på måned og dag
Samlet statistik over det samlede antal ansøgninger fordelt på måned og ugedag mellem 1980 og 2019 viser, at De roligste måneder for byggeafdelingen er forårs- og vintermånederne. Samtidig varierer mængden af investeringer specificeret i ansøgninger meget og varierer fra måned til måned til tider (se yderligere "Byggeaktivitet afhængig af sæson"). Blandt ugens dage er belastningen på afdelingen om mandagen ca. 20 % mindre end på andre ugedage.
months = [ 'January', 'February', 'March', 'April', 'May','June', 'July', 'August', 'September', 'October', 'November', 'December' ]
data_month_count = data_month.groupby(['permit_creation_date']).count().reindex(months)
Mens juni og juli praktisk talt er ens med hensyn til antallet af ansøgninger, når forskellen med hensyn til de samlede estimerede omkostninger op på 100 % (4,3 milliarder i maj og juli og 8,2 milliarder i juni).
data_month_sum = data_month.groupby(['permit_creation_date']).sum().reindex(months)
Fremtiden for byggeindustrien i San Francisco, der forudsiger aktivitet efter mønstre.
Lad os endelig sammenligne byggeaktivitetsdiagrammet i San Francisco med Bitcoin-prisdiagrammet (2015-2018) og guldprisdiagrammet (1940 - 1980).
mønster (fra det engelske mønster - model, sample) - i teknisk analyse kaldes stabile gentagne kombinationer af pris, volumen eller indikatordata. Mønsteranalyse er baseret på et af aksiomerne for teknisk analyse: "historien gentager sig selv" - det antages, at gentagne kombinationer af data fører til et lignende resultat.
Det vigtigste mønster, der kan ses på det årlige aktivitetsdiagram er Dette er et "Head and Shoulders"-trendsmønster. Så navngivet, fordi diagrammet ligner et menneskeligt hoved (top) og skuldre på siderne (mindre toppe). Når prisen bryder linjen, der forbinder trugene, anses mønsteret for at være komplet, og bevægelsen vil sandsynligvis være nedadgående.
Bevægelser i aktiviteten i byggebranchen i San Francisco falder næsten fuldstændig sammen med stigningen i prisen på guld og bitcoin. Den historiske præstation af disse tre pris- og aktivitetsdiagrammer viser bemærkelsesværdige ligheder.
For at kunne forudsige byggemarkedets adfærd i fremtiden, det er nødvendigt at beregne korrelationskoefficienten med hver af disse to tendenser.
To stokastiske variable kaldes korrelerede, hvis deres korrelationsmoment (eller korrelationskoefficient) er forskellig fra nul; og kaldes ukorrelerede størrelser, hvis deres korrelationsmoment er nul.
Hvis den resulterende værdi er tættere på 0 end på 1, så nytter det ikke noget at tale om et klart mønster. Dette er et komplekst matematisk problem, som kan blive taget op af ældre kammerater, som kan være interesserede i dette emne.
Hvis! uvidenskabeligt! se på emnet for videreudvikling af byggebranchen i San Francisco: hvis mønsteret fortsætter med at falde sammen med prisen på Bitcoin, så ifølge denne pessimistiske mulighed — at komme ud af krisen i byggebranchen i San Francisco vil ikke være let i den umiddelbare periode efter krisen.
Med en mere "optimistisk" mulighed udvikling er gentagen eksponentiel vækst i byggebranchen mulig, hvis aktiviteten her følger "guldpris"-scenariet. I dette tilfælde vil byggesektoren om 20-30 år (muligvis om 10) stå over for en ny stigning i beskæftigelse og udvikling.
Jeg vil se nærmere på de enkelte byggesektorer (reparation af tage, køkkener, opførelse af trapper, badeværelser, hvis du har forslag til brancher eller andre data - skriv gerne i kommentarerne) og sammenligne inflationen for de enkelte typer arbejde med faste renter på realkreditlån og rentabiliteten af amerikanske statsobligationer (Fixed Mortgage Rates & US Treasury Yield).
Link til anden del:
Link til Jupyter Notebook:
Venligst, for dem, der er med Kaggle, giv Notebook et plus (tak!).
(Kommentarer og forklaringer af koden vil blive tilføjet senere i Notebook)
Link til engelsk version:
Hvis du kan lide mit indhold, så overvej at købe en kop kaffe til mig.
tak for din støtte!
Kun registrerede brugere kan deltage i undersøgelsen. , Vær venlig.
Hvad bringer fremtiden for San Franciscos byggeindustri?
-
66,7 %Byggesektoren er mere tilbøjelig til at følge Bitcoin2s vej
-
0,0 %Byggesektoren kan følge guldprisernes vej 0
-
0,0 %Sektoren forventer hype over de næste 10 år0
-
33,3 %Udviklingen af sektoren går ikke efter mønstre1
3 brugere stemte. 6 brugere undlod at stemme.
Kilde: www.habr.com