Denna artikelserie ägnas åt studiet av byggverksamhet i huvudstaden Silicon Valley - San Francisco. San Francisco är det tekniska "Moskva" i vår värld och använder sitt exempel (med hjälp av öppna data) för att observera utvecklingen av byggbranschen i storstäder och huvudstäder.
Konstruktionen av grafer och beräkningar utfördes i (på Kaggle.com-plattformen).
Data om mer än en miljon bygglov (register i två datamängder) från San Francisco Building Department - tillåter analysera inte bara byggverksamheten i staden, men också kritiskt överväga senaste trenderna och utvecklingen av byggbranschen under de senaste 40 åren, mellan 1980 och 2019.
Öppna data gör det möjligt att utforska huvudfaktorer som har påverkat och kommer att påverka byggbranschens utveckling i staden, dela in dem i "extern" (ekonomiska högkonjunkturer och kriser) och "inre" (påverkan av helgdagar och säsongsbetonade årscykler).
Innehåll
Öppna data och granskning av baslinjeparametrar.
Detta är inte en översättning av artikeln. Jag skriver på LinkedIn och för att inte skapa grafik på flera språk är all grafik på engelska.
Länk till del två:
City of San Francisco bygglovsdata - från Open Data Portal - . Portalen har flera datamängder om ämnet konstruktion. Två sådana datamängder lagrar och uppdaterar data om tillstånd som utfärdats för konstruktion eller reparation av objekt i staden:
- (850 tusen poster)
- (280 tusen poster, data laddas ner och uppdateras varje vecka)
Dessa datamängder innehåller information om utfärdade bygglov, med olika egenskaper hos det objekt som tillståndet ges för. Totalt antal mottagna poster (behörigheter). under perioden 1980-2019 - 1 137 695 tillstånd.
Huvudparametrarna från denna datauppsättning som användes för analys:
- permit_creation_date — Datum för skapande av ansökan (i själva verket den dag då byggnadsarbetet påbörjas)
- beskrivning — Beskrivning av ansökan (två eller tre nyckelord som beskriver byggprojektet (arbetet) för vilket tillståndet skapades)
- beräknad kostnad — uppskattad (beräknad) kostnad för byggnadsarbeten
- reviderad_kostnad — reviderad kostnad (kostnad för arbete efter omvärdering, ökning eller minskning av ansökans initiala volymer)
- existerande_användning - typ av bostad (en-, tvåfamiljshus, lägenheter, kontor, produktion, etc.)
- postnummer, plats — postnummer och objektkoordinater
Årlig byggaktivitet i San Francisco
Grafen nedan visar parametrarna beräknad kostnad и reviderad_kostnad presenteras som en fördelning av den totala kostnaden för arbetet per månad.
data_cost_m = data_cost.groupby(pd.Grouper(freq='M')).sum()För att minska månatliga "avvikande värden" grupperas månadsdata efter år. Grafen över mängden investerade pengar per år har fått en mer logisk och analyserbar form.
data_cost_y = data_cost.groupby(pd.Grouper(freq='Y')).sum()
Baserat på den årliga förflyttningen av summan av kostnader (alla tillstånd för året) till stadens anläggningar ekonomiska faktorer som påverkade från 1980 till 2019 är tydligt synliga på antalet och kostnaderna för byggprojekt, eller på annat sätt på investeringar i fastigheter i San Francisco.
Antalet bygglov (antal byggjobb eller antal investeringar) under de senaste 40 åren har varit nära relaterat till den ekonomiska aktiviteten i Silicon Valley.
Den första toppen av byggverksamheten var förknippad med elektronikhypen i mitten av 80-talet i dalen. Den efterföljande lågkonjunkturen för elektronik och banker 1985 gjorde att den regionala fastighetsmarknaden sjönk från vilken den inte återhämtade sig på nästan ett decennium.
Därefter två gånger till (1993-2000 och 2009-2016) innan Dotcom-bubblan kollapsade och de senaste årens teknologiboom San Franciscos byggindustri har upplevt en parabolisk tillväxt på flera tusen procent..
Genom att ta bort de mellanliggande topparna och dalarna och lämna minimi- och maximivärden för varje ekonomisk cykel, är det tydligt hur stora marknadsfluktuationer har plågat branschen under de senaste 40 åren.
Den största ökningen av investeringar i byggnation skedde under dot-com-boomen, då mellan 1993 och 2001 investerades 10 miljarder dollar i renovering och byggnation, eller cirka 1 miljard dollar per år. Om vi räknar i kvadratmeter (kostnaden för 1 m² 1995 är 3000 350 USD) är detta cirka 000 2 m10 per år i 1993 år, med start XNUMX.
Tillväxten av årliga totala investeringar under denna period uppgick till 1215%.
De företag som hyrde entreprenadmaskiner under denna period liknade de företag som sålde spadar under guldrushen (i samma region i mitten av 19-talet). Bara istället för spadar fanns redan på 2000-talet kranar och betongpumpar för nybildade byggföretag som ville tjäna pengar på byggboomen.
Efter var och en av de många kriser som byggbranschen har upplevt genom åren, under de kommande två åren efter krisen, investeringar (mängd ansökningar om tillstånd) för byggande minskat med minst 50 % varje gång.
De största kriserna i byggbranschen i San Francisco inträffade på 90-talet. Där industrin, med en periodicitet på 5 år, antingen föll (-85 % under perioden 1983-1986), sedan steg igen (+895 % under perioden 1988-1992), kvar i årliga termer 1981, 1986, 1988 , 1993 - på samma nivå.
Efter 1993 uppgick alla efterföljande nedgångar inom byggbranschen till högst 50 %. Men närmar sig ekonomisk kris (på grund av covid-19) skulle kunna skapa en rekordkris i byggbranschen under perioden 2017-2021, vars nedgång redan under perioden 2017-2019 uppgår till totalt mer än 60 %.
San Franciscos befolkningstillväxt dynamik under perioden 1980-1993 också visade nästan exponentiell tillväxt. Silicon Valleys ekonomiska styrka och innovativa energi var den solida grunden på vilken överdriften av den nya ekonomin, den amerikanska renässansen och dot-coms byggdes. Det var epicentrum för den nya ekonomin. Men till skillnad från ökningen av fastighetsinvesteringar, efter dot-com-toppen, platåerade befolkningen faktiskt.
Innan dot-com-toppen 2001 har den årliga befolkningstillväxten sedan 1950 varit ungefär 1 % per år. Sedan, efter bubblans kollaps, avtog tillströmningen av ny befolkning och har sedan 2001 bara varit 0.2 procent per år.
Under 2019 (för första gången sedan 1950) visade tillväxtdynamiken ett utflöde av befolkning (-0.21% eller 7000 XNUMX personer) från staden San Francisco.
Förväntningar och verklighet vid upprättande av kostnadsuppskattningar
I de datauppsättningar som används är uppgifter om kostnaden för ett tillstånd för ett byggprojekt indelade i:
- ursprunglig beräknad kostnad (beräknad kostnad)
- kostnad för arbete efter omvärdering (reviderad_kostnad)
Under högkonjunktur är huvudsyftet med omvärdering att öka initialkostnaden, när investeraren (byggkunden) visar aptit efter byggstart.
Under en kris försöker de att inte överstiga de beräknade kostnaderna, och de initiala uppskattningarna genomgår praktiskt taget inga förändringar (förutom jordbävningen 1989).
Enligt grafen som bygger på skillnaden mellan den omvärderade och uppskattade kostnaden (revised_cost - estimated_cost), kan det observeras att:
Mängden kostnadsökning vid omvärdering av volymen av byggarbete beror direkt på de ekonomiska högkonjunkturerna
data_spread = data_cost.assign(spread = (data_cost.revised_cost-data_cost.estimated_cost))
Under perioder av snabb ekonomisk tillväxt spenderar arbetskunder (investerare) sina pengar ganska generöst och ökar sina förfrågningar efter arbetets början.
Kunden (investeraren), som känner sig ekonomiskt säker, ber byggentreprenören eller arkitekten att förlänga det redan utfärdade bygglovet. Detta kan vara ett beslut att öka poolens initiala längd eller att öka husets yta (efter arbetets början och utfärdandet av bygglov).
På toppen av dot-com-eran nådde sådana "extra" utgifter "extra" 1 miljard per år.
Om du tittar på denna tabell redan i procentuell förändring, så inträffade toppökningen i uppskattningen (100% eller 2 gånger den ursprungliga uppskattade kostnaden) året före jordbävningen som inträffade 1989 nära staden. Jag antar att efter jordbävningen krävde byggprojekt som påbörjades 1988, efter jordbävningen 1989, mer tid och medel för genomförande.
Omvänt beror en nedrevidering av den beräknade kostnaden (som endast inträffade en gång under perioden 1980 till 2019) flera år före jordbävningen antagligen på att vissa projekt som startade 1986-1987 frystes eller att investeringar i dessa projekt skars ned. ner. I tid i genomsnitt för varje projekt som startade 1987 - minskningen av den beräknade kostnaden var -20 % av den ursprungliga planen.
data_spred_percent = data_cost_y.assign(spred = ((data_cost_y.revised_cost-data_cost_y.estimated_cost)/data_cost_y.estimated_cost*100))
En ökning av den initiala beräknade kostnaden på mer än 40 % tydde på eller var möjligen en konsekvens av den annalkande bubblan på finansmarknaden och därefter byggmarknaden.
Vad är orsaken till att spridningen (skillnaden) mellan beräknade och reviderade kostnader minskat efter 2007?
Kanske började investerare noggrant titta på siffrorna (det genomsnittliga beloppet över 20 år ökade från 100 2 USD till XNUMX miljoner USD) eller kanske byggavdelningen, som förhindrade och hämmade uppkomsten av bubblor på fastighetsmarknaden, införde nya regler och restriktioner för att minska möjliga manipulationer och eventuella risker som kommer att uppstå under krisår.
Byggaktivitet beroende på årstid
Genom att gruppera data efter kalenderveckor på året (54 veckor) kan du observera byggaktivitet i staden San Francisco beroende på säsong och tid på året.
Till jul försöker alla byggorganisationer få tillstånd för nya "stora" projekt i tid. (samtidigt! antalet! tillstånd under samma månader ligger på samma nivå under hela året). Investerare som planerar att ta emot sin fastighet inom nästa år, ingår kontrakt under vintermånaderna och räknar med stora rabatter (eftersom sommarkontrakten för det mesta går ut i slutet av året och byggföretag är intresserade när du tar emot nya ansökningar).
Inför jul lämnas de största mängderna ansökningar in (ökning från i genomsnitt 1-1,5 miljarder per månad till 5 miljarder bara i december). Samtidigt ligger det totala antalet ansökningar per månad på samma nivå (se nedan avsnitt: statistik över totalt antal ansökningar per månad och dag)
Efter vinterlovet planerar och genomför byggbranschen aktivt ”julorder” (med nästan ingen ökning av antalet tillstånd) för att frigöra resurser till mitten av året (före självständighetsdagen) inför den nya våg av sommarkontrakt börjar direkt efter junilovet.
data_month_year = data_month_year.assign(week_year = data_month_year.permit_creation_date.dt.week)
data_month_year = data_month_year.groupby(['week_year'])['estimated_cost'].sum()
Samma procentuella data (orange linje) visar också att branschen fungerar "smidigt" under hela året, men före och efter semestern ökar aktiviteten på tillstånd till 150 % under perioden mellan vecka 20-24 (före självständighetsdagen), och minskar direkt efter semestern upp till -70%.
Inför Halloween och jul ökar aktiviteten i byggbranschen i San Francisco med 43 % under vecka 44-150 (från botten till topp) och minskar sedan till noll under semestern.
Således befinner sig branschen i en sexmånaderscykel, som är åtskilda av helgdagarna "US Independence Day" (vecka 20) och "Jul" (vecka 52).
Totala fastighetsinvesteringar i San Francisco
Baserat på uppgifter om bygglov i staden:
Den totala investeringen i byggprojekt i San Francisco från 1980 till 2019 är 91,5 miljarder dollar.
sf_worth = data_location_lang_long.cost.sum()
Det totala marknadsvärdet av alla bostadsfastigheter i San Francisco bedömt av fastighetsskatter (är det taxerade värdet av all fastighet och all personlig egendom som ägs av San Francisco) .
Vilka områden i San Francisco har investerat i under de senaste 40 åren?
Med hjälp av Folium-biblioteket, låt oss se var dessa 91,5 miljarder dollar investerades per region. För att göra detta, efter att ha grupperat data efter postnummer, kommer vi att representera de resulterande värdena med hjälp av cirklar (cirkelfunktionen från Folium-biblioteket).
import folium
from folium import Circle
from folium import Marker
from folium.features import DivIcon
# map folium display
lat = data_location_lang_long.lat.mean()
long = data_location_lang_long.long.mean()
map1 = folium.Map(location = [lat, long], zoom_start = 12)
for i in range(0,len(data_location_lang_long)):
Circle(
location = [data_location_lang_long.iloc[i]['lat'], data_location_lang_long.iloc[i]['long']],
radius= [data_location_lang_long.iloc[i]['cost']/20000000],
fill = True, fill_color='#cc0000',color='#cc0000').add_to(map1)
Marker(
[data_location_mean.iloc[i]['lat'], data_location_mean.iloc[i]['long']],
icon=DivIcon(
icon_size=(6000,3336),
icon_anchor=(0,0),
html='<div style="font-size: 14pt; text-shadow: 0 0 10px #fff, 0 0 10px #fff;; color: #000";"">%s</div>'
%("$ "+ str((data_location_lang_long.iloc[i]['cost']/1000000000).round()) + ' mlrd.'))).add_to(map1)
map1
Det framgår av regionerna att Det mesta av kakan gick logiskt till DownTown. Efter att ha förenklat grupperingen av alla objekt efter avstånd till centrum och den tid det tar att ta sig till centrum (naturligtvis byggs dyra hus också vid kusten), delades alla tillstånd in i 4 grupper: 'Downtown' , '<0.5H Downtown', '< 1H Downtown', 'Utanför SF'.
from geopy.distance import vincenty
def distance_calc (row):
start = (row['lat'], row['long'])
stop = (37.7945742, -122.3999445)
return vincenty(start, stop).meters/1000
df_pr['distance'] = df_pr.apply (lambda row: distance_calc (row),axis=1)
def downtown_proximity(dist):
'''
< 2 -> Near Downtown, >= 2, <4 -> <0.5H Downtown
>= 4, <6 -> <1H Downtown, >= 8 -> Outside SF
'''
if dist < 2:
return 'Downtown'
elif dist < 4:
return '<0.5H Downtown'
elif dist < 6:
return '<1H Downtown'
elif dist >= 6:
return 'Outside SF'
df_pr['downtown_proximity'] = df_pr.distance.apply(downtown_proximity)Av de 91,5 miljarder som investerats i staden finns nästan 70 miljarder (75 % av alla investeringar) som investerats i reparationer och byggnation i stadens centrum (grön zon) och till stadsområdet inom en radie av 2 km. från mitten (blå zon).
Genomsnittlig beräknad kostnad för en byggansökan per stadsdel
All data, liksom det totala investeringsbeloppet, grupperades efter postnummer. Endast i detta fall med den genomsnittliga (.mean()) uppskattade kostnaden för applikationen per postnummer.
data_location_mean = data_location.groupby(['zipcode'])['lat','long','estimated_cost'].mean()
I vanliga delar av staden (mer än 2 km från stadens centrum) - den genomsnittliga beräknade kostnaden för en byggansökan är 50 tusen dollar.
Den genomsnittliga beräknade kostnaden i centrumområdet är cirka tre gånger högre ($150 tusen till $400 tusen) än i andra områden ($30-50 tusen).
Utöver kostnaden för mark bestämmer tre faktorer den totala kostnaden för husbyggande: arbete, material och statliga avgifter. Dessa tre komponenter är högre i Kalifornien än i resten av landet. Kaliforniens byggregler anses vara några av de mest omfattande och stränga i landet (på grund av jordbävning och miljöbestämmelser), som ofta kräver dyrare material och arbetskraft.
Till exempel kräver regeringen att byggare använder byggmaterial av högre kvalitet (fönster, isolering, värme- och kylsystem) för att uppnå höga energieffektivitetsstandarder.
Från den allmänna statistiken över den genomsnittliga kostnaden för en tillståndsansökan sticker två platser ut:
- Treasure Island - en konstgjord ö i San Francisco Bay. Den genomsnittliga beräknade kostnaden för ett bygglov är 6,5 miljoner dollar.
- Mission Bay — (befolkning 2926 1,5) Den genomsnittliga beräknade kostnaden för ett bygglov är XNUMX miljoner dollar.
Faktum är att den höga genomsnittliga tillämpningen i dessa två områden är relaterad med minst antal ansökningar för dessa postorter (145 respektive 3064, byggandet på ön är mycket begränsat), medan för resten av postnumren - XNUMXoch perioden 1980-2019 fick cirka 1300 XNUMX ansökningar per år (totalt i genomsnitt 30 -50 tusen ansökningar för hela perioden).
Enligt parametern "antal ansökningar" märks en perfekt jämn fördelning av antalet ansökningar per postnummer över hela staden.
Statistik över det totala antalet ansökningar per månad och dag
Övergripande statistik över det totala antalet ansökningar per månad och veckodag mellan 1980 och 2019 visar att De lugnaste månaderna för byggavdelningen är vår- och vintermånaderna. Samtidigt varierar mängden investeringar som anges i ansökningarna mycket och skiljer sig från månad till månad ibland (se vidare "Byggverksamhet beroende på säsong"). Bland veckodagarna är belastningen på avdelningen på måndag cirka 20 % mindre än övriga veckodagar.
months = [ 'January', 'February', 'March', 'April', 'May','June', 'July', 'August', 'September', 'October', 'November', 'December' ]
data_month_count = data_month.groupby(['permit_creation_date']).count().reindex(months)
Medan juni och juli är praktiskt taget desamma när det gäller antalet ansökningar, när det gäller den totala beräknade kostnaden når skillnaden 100 % (4,3 miljarder i maj och juli och 8,2 miljarder i juni).
data_month_sum = data_month.groupby(['permit_creation_date']).sum().reindex(months)
Framtiden för byggindustrin i San Francisco, förutsäger aktivitet genom mönster.
Låt oss slutligen jämföra diagrammet över byggaktiviteter i San Francisco med Bitcoin-prisdiagrammet (2015-2018) och guldprisdiagrammet (1940 - 1980).
Mönster (från det engelska mönstret - modell, prov) - i teknisk analys kallas stabila repeterande kombinationer av pris-, volym- eller indikatordata. Mönsteranalys baseras på ett av axiomen för teknisk analys: "historien upprepar sig" - man tror att upprepade kombinationer av data leder till ett liknande resultat.
Det huvudsakliga mönstret som kan ses på det årliga aktivitetsdiagrammet är Detta är ett trendmönster för "Head and Shoulders". Så heter det eftersom diagrammet ser ut som ett mänskligt huvud (topp) och axlar på sidorna (mindre toppar). När priset bryter linjen som förbinder dalarna anses mönstret vara komplett och rörelsen kommer sannolikt att gå nedåt.
Rörelserna i aktiviteten inom byggbranschen i San Francisco sammanfaller nästan helt med uppgången i priset på guld och bitcoin. Det historiska resultatet för dessa tre pris- och aktivitetsdiagram visar anmärkningsvärda likheter.
För att kunna förutsäga beteendet på byggmarknaden i framtiden, det är nödvändigt att beräkna korrelationskoefficienten med var och en av dessa två trender.
Två stokastiska variabler kallas korrelerade om deras korrelationsmoment (eller korrelationskoefficient) skiljer sig från noll; och kallas okorrelerade storheter om deras korrelationsmoment är noll.
Om det resulterande värdet är närmare 0 än 1, är det ingen idé att tala om ett tydligt mönster. Detta är ett komplext matematiskt problem som kan tas upp av äldre kamrater som kan vara intresserade av detta ämne.
Om! ovetenskaplig! titta på ämnet vidareutveckling av byggbranschen i San Francisco: om mönstret fortsätter att sammanfalla med priset på Bitcoin, då enligt detta pessimistiska alternativ — att ta sig ur krisen inom byggbranschen i San Francisco kommer inte att vara lätt under den omedelbara perioden efter krisen.
Med ett mer "optimistiskt" alternativ utveckling är en upprepad exponentiell tillväxt i byggbranschen möjlig om aktiviteten här följer ”guldprisscenariot”. I det här fallet, om 20-30 år (möjligen om 10), kommer byggsektorn att möta en ny ökning av sysselsättning och utveckling.
Jag ska titta närmare på enskilda byggsektorer (reparation av tak, kök, konstruktion av trappor, badrum, om du har några förslag på branscher eller andra uppgifter - skriv gärna i kommentarerna) och jämför inflationen för enskilda typer av arbete med fasta räntor på bostadslån och lönsamheten för amerikanska statsobligationer (Fixed Mortgage Rates & US Treasury Yield).
Länk till del två:
Länk till Jupyter Notebook:
Snälla, för de som är med Kaggle, ge Notebook ett plus (tack!).
(Kommentarer och förklaringar av koden kommer att läggas till senare i Notebook)
Länk till engelsk version:
Om du gillar mitt innehåll, överväg att köpa en kaffe till mig.
tack för ditt stöd!
Endast registrerade användare kan delta i undersökningen. , Snälla du.
Hur ser framtiden ut för San Franciscos byggindustri?
-
66,7%Byggsektorn är mer benägen att följa Bitcoin2s väg
-
0,0%Byggsektorn kan följa guldprisernas väg 0
-
0,0%Sektorn förväntar sig hype under de kommande 10 åren0
-
33,3%Utvecklingen av sektorn går inte enligt mönster1
3 användare röstade. 6 användare avstod från att rösta.
Källa: will.com