Hierdie reeks artikels word gewy aan die studie van konstruksie-aktiwiteit in die hoofstad Silicon Valley - San Francisco. San Francisco is die tegnologiese "Moskou" van ons wêreld, wat sy voorbeeld (met behulp van oop data) gebruik om die ontwikkeling van die konstruksiebedryf in groot stede en hoofstede waar te neem.
Die konstruksie van grafieke en berekeninge is uitgevoer in (op die Kaggle.com-platform).
Data oor meer as 'n miljoen boupermitte (rekords in twee datastelle) van die San Francisco Building Department - laat toe ontleed nie net konstruksie-aktiwiteit in die stad nie, maar ook krities oorweeg nuutste tendense en geskiedenis van ontwikkeling van die konstruksiebedryf oor die afgelope 40 jaar, tussen 1980 en 2019.
Oop data maak dit moontlik om te verken hooffaktore wat die ontwikkeling van die konstruksiebedryf beïnvloed en sal beïnvloed in die stad, verdeel hulle in "ekstern" (ekonomiese oplewing en krisisse) en "interne" (die invloed van vakansiedae en seisoenale-jaarlikse siklusse).
inhoud
Oop data en hersiening van basislynparameters.
Dit is nie 'n vertaling van die artikel nie. Ek skryf op LinkedIn en om nie grafika in verskeie tale te skep nie, is alle grafika in Engels.
Skakel na deel twee:
Stad San Francisco-boupermitdata - vanaf oop dataportaal - . Die portaal het verskeie datastelle oor die onderwerp van konstruksie. Twee sulke datastelle stoor en werk data op oor permitte wat uitgereik is vir die konstruksie of herstel van voorwerpe in die stad:
- (850 duisend rekords)
- (280 duisend rekords, data word weekliks afgelaai en opgedateer)
Hierdie datastelle bevat inligting oor uitgereikte konstruksiepermitte, met verskeie kenmerke van die voorwerp waarvoor die permit uitgereik word. Totale aantal inskrywings (toestemmings) ontvang in die tydperk 1980-2019 - 1 137 695 permitte.
Die belangrikste parameters van hierdie datastel wat vir ontleding gebruik is:
- permit_creation_date — datum van skepping van die aansoek (in werklikheid, die dag waarop bouwerk begin)
- beskrywing — beskrywing van die aansoek (twee of drie sleutelwoorde wat die konstruksieprojek (werk) beskryf waarvoor die permit geskep is)
- Beraamde koste — beraamde (geskatte) koste van konstruksiewerk
- hersiene_koste — hersiene koste (koste van werk na herwaardasie, verhoging of afname van die aanvanklike volumes van die aansoek)
- bestaande_gebruik - tipe behuising (een-, twee-gesin huis, woonstelle, kantore, produksie, ens.)
- poskode, ligging — poskode en voorwerpkoördinate
Jaarlikse konstruksie-aktiwiteit in San Francisco
Die grafiek hieronder toon die parameters Beraamde koste и hersiene_koste aangebied as 'n verdeling van die totale koste van werk per maand.
data_cost_m = data_cost.groupby(pd.Grouper(freq='M')).sum()Om maandelikse "uitskieters" te verminder, word maandelikse data volgens jaar gegroepeer. Die grafiek van die bedrag belê geld per jaar het 'n meer logiese en analiseerbare vorm gekry.
data_cost_y = data_cost.groupby(pd.Grouper(freq='Y')).sum()
Gebaseer op die jaarlikse beweging van die som van koste (alle permitte vir die jaar) na stadsfasiliteite ekonomiese faktore wat van 1980 tot 2019 beïnvloed het, is duidelik sigbaar op die aantal en koste van konstruksieprojekte, of andersins op beleggings in San Francisco-eiendom.
Die aantal boupermitte (die aantal konstruksiewerksgeleenthede of die aantal beleggings) oor die afgelope 40 jaar hou nou verband met ekonomiese aktiwiteit in Silicon Valley.
Die eerste hoogtepunt van konstruksie-aktiwiteit is geassosieer met die elektroniese hype van die middel-80's in die vallei. Die daaropvolgende elektronika- en bankresessie in 1985 het die streekseiendomsmark in 'n afname gestuur waarvan dit vir byna 'n dekade nie herstel het nie.
Daarna nog twee keer (in 1993-2000 en 2009-2016) voor die ineenstorting van die Dotcom-borrel en die tegnologie-oplewing van die afgelope jare San Francisco se konstruksiebedryf het paraboliese groei van etlike duisend persent ervaar..
Deur die intermediêre pieke en daltjies te verwyder en die minimum en maksimum waardes vir elke ekonomiese siklus te laat, is dit duidelik hoe groot markskommelings die bedryf die afgelope 40 jaar geteister het.
Die grootste toename in belegging in konstruksie het plaasgevind tydens die dot-com-oplewing, toe tussen 1993 en 2001 $10 miljard in opknapping en konstruksie belê is, of ongeveer $1 miljard per jaar. As ons in vierkante meter tel (die koste van 1 m² in 1995 is $3000 350), is dit ongeveer 000 2 m10 per jaar vir 1993 jaar, vanaf XNUMX.
Die groei van jaarlikse totale beleggings gedurende hierdie tydperk het 1215% beloop.
Die maatskappye wat konstruksietoerusting gedurende hierdie tydperk gehuur het, was soortgelyk aan die maatskappye wat grawe tydens die goudstormloop (in dieselfde streek in die middel van die 19de eeu) verkoop het. Slegs in plaas van grawe was daar in die 2000's reeds hyskrane en betonpompe vir nuutgestigte konstruksiemaatskappye wat geld wou maak op die bou-oplewing.
Na elk van die vele krisisse wat die konstruksiebedryf oor die jare beleef het, oor die volgende twee post-krisis jare, beleggings (hoeveelheid aansoeke om permitte) vir konstruksie het elke keer met minstens 50% gedaal.
Die grootste krisisse in die San Francisco-konstruksiebedryf het in die 90's plaasgevind. Waar die bedryf met 'n periodisiteit van 5 jaar óf gedaal het (-85% in die tydperk 1983-1986), dan weer gestyg (+895% in die tydperk 1988-1992), wat in jaarlikse terme in 1981, 1986, 1988 oorbly. , 1993 - op dieselfde vlak.
Na 1993 het alle daaropvolgende dalings in die konstruksiebedryf nie meer as 50% beloop nie. Maar ekonomiese krisis nader (weens COVID-19) kan 'n rekordkrisis in die konstruksiebedryf skep in die tydperk 2017-2021, waarvan die afname reeds in die tydperk 2017-2019 'n totaal van meer as 60% beloop.
San Francisco bevolkingsgroei dinamika in die tydperk 1980-1993 ook byna eksponensiële groei getoon het. Die ekonomiese krag en innoverende energie van Silicon Valley was die stewige fondament waarop die hiperbool van die Nuwe Ekonomie, die Amerikaanse Renaissance en die dot-coms gebou is. Dit was die episentrum van die nuwe ekonomie. Maar anders as die styging in eiendomsbeleggings, het die bevolking ná die punt-kom-piek eintlik platgeval.
Voor die puntkom-piek in 2001 was die jaarlikse bevolkingsgroei sedert 1950 ongeveer 1% per jaar. Toe, ná die ineenstorting van die borrel, het die instroming van nuwe bevolking verlangsaam en was sedert 2001 slegs 0.2 persent per jaar.
In 2019 (vir die eerste keer sedert 1950) het die groeidinamika 'n uitvloei van bevolking (-0.21% of 7000 XNUMX mense) uit die stad San Francisco getoon.
Verwagting en realiteit wanneer kosteberamings opgestel word
In die datastelle wat gebruik word, word data oor die koste van 'n permit vir 'n konstruksieprojek verdeel in:
- oorspronklike beraamde koste (Beraamde koste)
- koste van werk na herwaardasie (hersiene_koste)
Tydens bloeityd is die hoofdoel van herwaardasie om die aanvanklike koste te verhoog, wanneer die belegger (die konstruksiekliënt) 'n aptyt toon na die begin van konstruksie.
Tydens 'n krisis probeer hulle om nie die beraamde koste te oorskry nie, en die aanvanklike skattings ondergaan feitlik geen veranderinge nie (behalwe vir die 1989 aardbewing).
Volgens die grafiek wat gebou is op die verskil tussen die herwaardeerde en beraamde koste (hersiene_koste - beraamde_koste), kan waargeneem word dat:
Die hoeveelheid kosteverhoging wanneer die volume konstruksiewerk herwaardeer word, hang direk af van die ekonomiese opbloei-siklusse
data_spread = data_cost.assign(spread = (data_cost.revised_cost-data_cost.estimated_cost))
Gedurende tydperke van vinnige ekonomiese groei, bestee kliënte van werk (beleggers) hul fondse redelik mildelik, wat hul versoeke verhoog na die aanvang van werk.
Die kliënt (belegger), wat finansieel selfversekerd voel, vra die konstruksiekontrakteur of argitek om die reeds uitgereikte boupermit te verleng. Dit kan 'n besluit wees om die aanvanklike lengte van die swembad te vergroot of die oppervlakte van die huis te vergroot (na die begin van werk en die uitreiking van 'n boupermit).
Op die hoogtepunt van die dot-com-era het sulke "bykomende" uitgawes 'n "ekstra" 1 miljard per jaar bereik.
As jy kyk na hierdie tabel reeds in persentasie verandering, dan het die piek toename in die skatting (100% of 2 keer die oorspronklike beraamde koste) plaasgevind in die jaar voor die aardbewing wat plaasgevind het in 1989 naby die stad. Ek neem aan dat konstruksieprojekte wat in 1988 begin het, ná die aardbewing, ná die aardbewing in 1989, meer tyd en fondse vir implementering vereis het.
Omgekeerd, 'n afwaartse hersiening van die beraamde koste (wat slegs een keer gedurende die tydperk van 1980 tot 2019 plaasgevind het) etlike jare voor die aardbewing is vermoedelik te wyte aan die feit dat sommige projekte wat in 1986-1987 begin is, gevries is of beleggings in hierdie projekte gesny is. af. Op skedule gemiddeld vir elke projek wat in 1987 begin is - die vermindering in die geraamde koste was -20% van die oorspronklike plan.
data_spred_percent = data_cost_y.assign(spred = ((data_cost_y.revised_cost-data_cost_y.estimated_cost)/data_cost_y.estimated_cost*100))
'n Styging in die aanvanklike geraamde koste van meer as 40% het aangedui of was moontlik 'n gevolg van die naderende borrel in die finansiële en later die konstruksiemark.
Wat is die rede vir die afname in die verspreiding (verskil) tussen die beraamde en hersiene koste na 2007?
Miskien het beleggers noukeurig na die syfers begin kyk (die gemiddelde bedrag oor 20 jaar het van $100 duisend tot $2 miljoen toegeneem) of miskien het die konstruksieafdeling, wat opkomende borrels in die eiendomsmark voorkom en inhibeer, nuwe reëls en beperkings ingestel om moontlike manipulasies te verminder en moontlike risiko's wat gedurende krisisjare sal ontstaan.
Konstruksie-aktiwiteit afhangende van die seisoen van die jaar
Deur die data volgens kalenderweke van die jaar (54 weke) te groepeer, kan jy konstruksie-aktiwiteit in die stad San Francisco waarneem, afhangende van seisoenaliteit en tyd van die jaar.
Teen Kersfees probeer alle konstruksie-organisasies betyds toestemming kry vir nuwe "groot" projekte. (terselfdertyd! die aantal! permitte in dieselfde maande is op dieselfde vlak deur die jaar). Beleggers, wat beplan om hul eiendom binne die volgende jaar te kry, sluit kontrakte in die wintermaande, reken op groot afslag (aangesien somerkontrakte, vir die grootste deel, teen die einde van die jaar tot 'n einde kom en konstruksiemaatskappye belangstel in die ontvangs van nuwe aansoeke).
Voor Kersfees word die grootste hoeveelhede aansoeke ingedien (toename van gemiddeld 1-1,5 miljard per maand tot 5 miljard in Desember alleen). Terselfdertyd bly die totale aantal aansoeke per maand op dieselfde vlak (sien onderstaande afdeling: statistieke oor totale aantal aansoeke per maand en dag)
Na die wintervakansie is die konstruksiebedryf aktief besig om "Kersfees"-bestellings te beplan en te implementeer (met byna geen toename in die aantal permitte nie) om hulpbronne teen die middel van die jaar (voor die Onafhanklikheidsdagvakansie) voor die nuwe golf van somerkontrakte begin onmiddellik na die Junie-vakansie.
data_month_year = data_month_year.assign(week_year = data_month_year.permit_creation_date.dt.week)
data_month_year = data_month_year.groupby(['week_year'])['estimated_cost'].sum()
Dieselfde persentasie data (oranje lyn) wys ook dat die bedryf “glad” deur die jaar funksioneer, maar voor en na die vakansie neem aktiwiteit op permitte toe tot 150% in die tydperk tussen week 20-24 (voor Onafhanklikheidsdag), en daal onmiddellik na die vakansie tot -70%.
Voor Halloween en Kersfees neem aktiwiteit in die San Francisco-konstruksiebedryf toe met 43% gedurende die week 44-150 (van onder tot hoogtepunt) en neem dan af tot nul gedurende die vakansie.
Die bedryf is dus in 'n siklus van ses maande, wat geskei word deur die vakansiedae "US Independence Day" (week 20) en "Kersfees" (week 52).
Totale eiendomsbelegging in San Francisco
Gebaseer op data oor boupermitte in die stad:
Die totale belegging in konstruksieprojekte in San Francisco van 1980 tot 2019 is $91,5 miljard.
sf_worth = data_location_lang_long.cost.sum()
Die totale markwaarde van alle residensiële eiendom in San Francisco geassesseer deur eiendomsbelasting (synde die aangeslane waarde van alle vaste eiendom en alle persoonlike eiendom wat deur San Francisco besit word) .
In watter gebiede van San Francisco het die afgelope 40 jaar belê?
Deur die Folium-biblioteek te gebruik, kom ons kyk waar hierdie $91,5 miljard per streek belê is. Om dit te doen, nadat ons die data volgens poskode gegroepeer het, sal ons die resulterende waardes verteenwoordig met behulp van sirkels (die Circle-funksie van die Folium-biblioteek).
import folium
from folium import Circle
from folium import Marker
from folium.features import DivIcon
# map folium display
lat = data_location_lang_long.lat.mean()
long = data_location_lang_long.long.mean()
map1 = folium.Map(location = [lat, long], zoom_start = 12)
for i in range(0,len(data_location_lang_long)):
Circle(
location = [data_location_lang_long.iloc[i]['lat'], data_location_lang_long.iloc[i]['long']],
radius= [data_location_lang_long.iloc[i]['cost']/20000000],
fill = True, fill_color='#cc0000',color='#cc0000').add_to(map1)
Marker(
[data_location_mean.iloc[i]['lat'], data_location_mean.iloc[i]['long']],
icon=DivIcon(
icon_size=(6000,3336),
icon_anchor=(0,0),
html='<div style="font-size: 14pt; text-shadow: 0 0 10px #fff, 0 0 10px #fff;; color: #000";"">%s</div>'
%("$ "+ str((data_location_lang_long.iloc[i]['cost']/1000000000).round()) + ' mlrd.'))).add_to(map1)
map1
Dit is duidelik uit die streke dat Die meeste van die pastei het logieserwys na DownTown gegaan. Nadat die groepering van alle voorwerpe volgens afstand na die middestad en die tyd wat dit neem om by die middestad te kom vereenvoudig het (natuurlik word duur huise ook aan die kus gebou), is alle permitte in 4 groepe verdeel: 'Downtown' , '<0.5H Downtown', '< 1H Downtown', 'Buite SF'.
from geopy.distance import vincenty
def distance_calc (row):
start = (row['lat'], row['long'])
stop = (37.7945742, -122.3999445)
return vincenty(start, stop).meters/1000
df_pr['distance'] = df_pr.apply (lambda row: distance_calc (row),axis=1)
def downtown_proximity(dist):
'''
< 2 -> Near Downtown, >= 2, <4 -> <0.5H Downtown
>= 4, <6 -> <1H Downtown, >= 8 -> Outside SF
'''
if dist < 2:
return 'Downtown'
elif dist < 4:
return '<0.5H Downtown'
elif dist < 6:
return '<1H Downtown'
elif dist >= 6:
return 'Outside SF'
df_pr['downtown_proximity'] = df_pr.distance.apply(downtown_proximity)Van die 91,5 miljard wat in die stad belê is, is byna 70 miljard (75% van alle beleggings) wat in herstelwerk en konstruksie belê word in die middestad (groen sone) en na die stadsgebied binne 'n radius van 2 km. vanaf die middel (blou sone).
Gemiddelde beraamde koste van 'n konstruksie-aansoek volgens stadsdistrik
Alle data, soos met die totale beleggingsbedrag, is volgens poskode gegroepeer. Slegs in hierdie geval met die gemiddelde (.mean()) beraamde koste van die aansoek deur poskode.
data_location_mean = data_location.groupby(['zipcode'])['lat','long','estimated_cost'].mean()
In gewone gebiede van die stad (meer as 2 km van die middestad) - die gemiddelde geraamde koste van 'n konstruksie-aansoek is $50 duisend.
Die gemiddelde geraamde koste in die middestad is ongeveer drie keer hoër ($150 duisend tot $400 duisend) as in ander gebiede ($30-50 duisend).
Benewens die koste van grond, bepaal drie faktore die totale koste van huisbou: arbeid, materiaal en staatsgelde. Hierdie drie komponente is hoër in Kalifornië as in die res van die land. Kalifornië se boukodes word beskou as van die mees omvattende en strengste in die land (as gevolg van aardbewing en omgewingsregulasies), wat dikwels duurder materiaal en arbeid vereis.
Die regering vereis byvoorbeeld van bouers om boumateriaal van hoër gehalte (vensters, isolasie, verwarming en verkoelingstelsels) te gebruik om hoë energiedoeltreffendheidstandaarde te bereik.
Uit die algemene statistieke oor die gemiddelde koste van 'n permitaansoek, staan twee liggings uit:
- Treasure Island - 'n kunsmatige eiland in San Francisco Bay. Die gemiddelde geraamde koste van 'n boupermit is $6,5 miljoen.
- Mission Bay — (bevolking 2926 1,5) Die gemiddelde geraamde koste van 'n boupermit is $XNUMX miljoen.
Trouens, die hoë gemiddelde toediening in hierdie twee gebiede hou verband met die minste aantal aansoeke vir hierdie posplekke (145 en 3064 onderskeidelik, konstruksie op die eiland is baie beperk), terwyl vir die res van die poskodes - XNUMXen die tydperk 1980-2019 het ongeveer 1300 XNUMX aansoeke per jaar ontvang (totaal gemiddeld 30 -50 duisend aansoeke vir die hele tydperk).
Volgens die parameter "aantal aansoeke" is 'n perfek eweredige verspreiding van die aantal aansoeke per poskode regdeur die stad opmerklik.
Statistiek oor die totale aantal aansoeke per maand en dag
Algehele statistieke oor die totale aantal aansoeke volgens maand en dag van die week tussen 1980 en 2019 toon dat Die stilste maande vir die konstruksie-afdeling is die lente- en wintermaande. Terselfdertyd verskil die hoeveelheid beleggings wat in aansoeke gespesifiseer word baie en verskil van maand tot maand by tye (sien addisioneel “Konstruksie-aktiwiteit afhangende van die seisoen”). Onder die dae van die week is die las op die departement op Maandag ongeveer 20% minder as op ander dae van die week.
months = [ 'January', 'February', 'March', 'April', 'May','June', 'July', 'August', 'September', 'October', 'November', 'December' ]
data_month_count = data_month.groupby(['permit_creation_date']).count().reindex(months)
Terwyl Junie en Julie feitlik dieselfde is wat die aantal aansoeke betref, bereik die verskil in terme van die totale geraamde koste 100% (4,3 miljard in Mei en Julie en 8,2 miljard in Junie).
data_month_sum = data_month.groupby(['permit_creation_date']).sum().reindex(months)
Die toekoms van die San Francisco-konstruksiebedryf, wat aktiwiteit deur patrone voorspel.
Laastens, kom ons vergelyk die konstruksie-aktiwiteitskaart in San Francisco met die Bitcoin-pryskaart (2015-2018) en die goudpryskaart (1940 - 1980).
patroon (van die Engelse patroon - model, monster) - in tegniese ontleding word stabiele herhalende kombinasies van prys-, volume- of aanwyserdata genoem. Patroonanalise is gebaseer op een van die aksiomas van tegniese ontleding: "geskiedenis herhaal homself" - daar word geglo dat herhaalde kombinasies van data tot 'n soortgelyke resultaat lei.
Die hoofpatroon wat op die jaarlikse aktiwiteitskaart gesien kan word, is Dit is 'n "kop en skouers"-neigingspatroon. So genoem omdat die grafiek soos 'n menslike kop (piek) en skouers aan die kante (minder pieke) lyk. Wanneer die prys die lyn wat die trog verbind, breek, word die patroon as voltooi beskou en die beweging sal waarskynlik afwaarts wees.
Bewegings in aktiwiteit in die San Francisco-konstruksiebedryf val byna heeltemal saam met die styging in die prys van goud en bitcoin. Die historiese prestasie van hierdie drie prys- en aktiwiteitskaarte toon noemenswaardige ooreenkomste.
Om die gedrag van die konstruksiemark in die toekoms te kan voorspel, dit is nodig om die korrelasiekoëffisiënt te bereken met elk van hierdie twee tendense.
Twee ewekansige veranderlikes word gekorreleerd genoem as hul korrelasiemoment (of korrelasiekoëffisiënt) verskil van nul; en word ongekorreleerde groothede genoem as hul korrelasiemoment nul is.
As die resulterende waarde nader aan 0 as aan 1 is, is dit geen sin om van 'n duidelike patroon te praat nie. Dit is 'n komplekse wiskundige probleem wat deur ouer kamerade aangepak kan word wat dalk in hierdie onderwerp belangstel.
As! onwetenskaplik! kyk na die onderwerp van verdere ontwikkeling van die konstruksiebedryf in San Francisco: as die patroon steeds saamval met die prys van Bitcoin, dan volgens hierdie pessimistiese opsie - om uit die krisis in die konstruksiebedryf in San Francisco te kom, sal nie maklik wees in die onmiddellike na-krisis tydperk nie.
Met 'n meer "optimistiese" opsie ontwikkeling, is herhaalde eksponensiële groei in die konstruksiebedryf moontlik as aktiwiteit hier die “goudprys”-scenario volg. In hierdie geval sal die konstruksiesektor oor 20-30 jaar (moontlik oor 10) 'n nuwe oplewing in indiensneming en ontwikkeling in die gesig staar.
Ek sal 'n nader kyk na individuele sektore van konstruksie (herstel van dakke, kombuise, konstruksie van trappe, badkamers, as jy enige voorstelle het oor nywerhede of ander data - skryf asseblief in die kommentaar) en vergelyk inflasie vir individuele tipes werk met vaste koerse op verbandlenings en die winsgewendheid van Amerikaanse staatseffekte (Vaste Verbandkoerse en Amerikaanse Tesourie-opbrengs).
Skakel na deel twee:
Skakel na Jupyter Notebook:
Asseblief, vir diegene wat saam met Kaggle is, gee Notebook 'n pluspunt (Dankie!).
(Kommentaar en verduidelikings van die kode sal later in Notebook bygevoeg word)
Skakel na Engelse weergawe:
As jy my inhoud geniet, oorweeg dit asseblief om vir my 'n koffie te koop.
dankie vir jou ondersteuning!
Slegs geregistreerde gebruikers kan aan die opname deelneem. , asseblief.
Wat hou die toekoms vir San Francisco se konstruksiebedryf in?
-
66,7%Die konstruksiesektor is meer geneig om die pad van Bitcoin2 te volg
-
0,0%Die konstruksiesektor kan dalk die pad van goudpryse volg
-
0,0%Die sektor verwag hype oor die volgende 10 jaar0
-
33,3%Die ontwikkeling van die sektor verloop nie volgens patrone nie1
3 gebruikers het gestem. 6 gebruikers het buite stemming gebly.
Bron: will.com