Deze serie artikelen is gewijd aan de studie van de bouwactiviteit in de belangrijkste stad Silicon Valley - San Francisco. San Francisco is het technologische ‘Moskou’ van onze wereld en gebruikt zijn voorbeeld (met behulp van open data) om de ontwikkeling van de bouwsector in grote steden en hoofdsteden te observeren.
De constructie van grafieken en berekeningen werd uitgevoerd in (op het Kaggle.com-platform).
Gegevens over meer dan een miljoen bouwvergunningen (records in twee datasets) van de San Francisco Building Department - maken dit mogelijk analyseer niet alleen de bouwactiviteit in de stad, maar ook kritisch nadenken nieuwste trends en geschiedenis van de ontwikkeling van de bouwsector in de afgelopen 40 jaar, tussen 1980 en 2019.
Open data maakt het mogelijk om te verkennen belangrijkste factoren die de ontwikkeling van de bouwsector hebben beïnvloed en zullen beïnvloeden in de stad, waarbij ze worden onderverdeeld in ‘extern’ (economische hoogconjunctuur en crises) en ‘intern’ (de invloed van vakanties en seizoens-jaarlijkse cycli).
Inhoud
Open data en beoordeling van basislijnparameters.
Dit is geen vertaling van het artikel. Ik schrijf op LinkedIn en om geen afbeeldingen in meerdere talen te maken, zijn alle afbeeldingen in het Engels.
Link naar het tweede deel:
Gegevens over bouwvergunningen van de stad San Francisco - Van Open Data Portal - . Het portaal bevat verschillende datasets over het onderwerp constructie. Twee van dergelijke datasets slaan gegevens op over verleende vergunningen voor de bouw of reparatie van objecten in de stad en actualiseren deze:
- (850 duizend records)
- (280 records, gegevens worden wekelijks gedownload en bijgewerkt)
Deze datasets bevatten informatie over de verleende bouwvergunningen, met verschillende kenmerken van het object waarvoor de vergunning wordt verleend. Totaal aantal ontvangen inzendingen (rechten). in de periode 1980-2019 - 1 vergunningen.
De belangrijkste parameters uit deze dataset die voor de analyse zijn gebruikt:
- vergunning_aanmaakdatum — datum waarop de aanvraag is aangemaakt (in feite de dag waarop de bouwwerkzaamheden beginnen)
- beschrijving — beschrijving van de aanvraag (twee of drie trefwoorden die het bouwproject (werk) beschrijven waarvoor de vergunning is afgegeven)
- geschatte kosten — geschatte (geschatte) kosten van bouwwerkzaamheden
- herziene_kosten — herziene kosten (kosten van werk na herwaardering, verhoging of verlaging van de initiële volumes van de aanvraag)
- bestaand_gebruik - type woning (een-, tweegezinswoning, appartementen, kantoren, productie, etc.)
- postcode, locatie — postcode en objectcoördinaten
Jaarlijkse bouwactiviteit in San Francisco
De onderstaande grafiek toont de parameters geschatte kosten и herziene_kosten gepresenteerd als een verdeling van de totale werkkosten per maand.
data_cost_m = data_cost.groupby(pd.Grouper(freq='M')).sum()Om de maandelijkse ‘uitschieters’ te verkleinen, worden de maandelijkse gegevens gegroepeerd op jaar. De grafiek van de hoeveelheid geïnvesteerd geld per jaar heeft een meer logische en analyseerbare vorm gekregen.
data_cost_y = data_cost.groupby(pd.Grouper(freq='Y')).sum()
Gebaseerd op de jaarlijkse beweging van de som van de kosten (alle vergunningen voor het jaar) naar stadsvoorzieningen economische factoren die van 1980 tot 2019 van invloed waren, zijn duidelijk zichtbaar over het aantal en de kosten van bouwprojecten, of anderszins over investeringen in onroerend goed in San Francisco.
Het aantal bouwvergunningen (het aantal banen in de bouw of het aantal investeringen) is de afgelopen veertig jaar nauw verbonden geweest met de economische activiteit in Silicon Valley.
De eerste piek van de bouwactiviteit hield verband met de elektronicahype van het midden van de jaren tachtig in de vallei. De daaropvolgende recessie op het gebied van de elektronica en het bankwezen in 80 zorgde ervoor dat de regionale vastgoedmarkt in een neergang terechtkwam waarvan deze zich bijna tien jaar lang niet herstelde.
Daarna nog twee keer (in 1993-2000 en 2009-2016) vóór de ineenstorting van de Dotcom-zeepbel en de technologische bloei van de afgelopen jaren De bouwsector in San Francisco heeft een parabolische groei van enkele duizenden procenten gekend..
Door de tussenliggende pieken en dalen te verwijderen en de minimum- en maximumwaarden voor elke economische cyclus te laten staan, wordt duidelijk hoe grote marktschommelingen de sector de afgelopen 40 jaar hebben geteisterd.
De grootste toename van de investeringen in de bouw vond plaats tijdens de hausse aan internet, toen tussen 1993 en 2001 $10 miljard werd geïnvesteerd in renovatie en bouw, oftewel ongeveer $1 miljard per jaar. Als we tellen in vierkante meters (de kosten van 1 m² in 1995 bedragen $3000), dan komt dit neer op ongeveer 350 m000 per jaar gedurende 2 jaar, te beginnen in 10.
De groei van de jaarlijkse totale investeringen gedurende deze periode bedroeg 1215%.
De bedrijven die in deze periode bouwmaterieel verhuurden, waren vergelijkbaar met de bedrijven die schoppen verkochten tijdens de goudkoorts (in dezelfde regio halverwege de 19e eeuw). Alleen in plaats van shovels waren er in de jaren 2000 al kranen en betonpompen voor nieuw opgerichte bouwbedrijven die geld wilden verdienen aan de bouwhausse.
Na elk van de vele crises die de bouwsector door de jaren heen heeft meegemaakt, in de komende twee jaren na de crisis: investeringen (aantal aanvragen om vergunningen) voor de bouw elke keer met minstens 50% daalde.
De grootste crises in de bouwsector in San Francisco vonden plaats in de jaren negentig. Waar de industrie, met een periodiciteit van vijf jaar, ofwel daalde (-90% in de periode 5-85), en vervolgens weer steeg (+1983% in de periode 1986-895), en op jaarbasis bleef in 1988, 1992, 1981 , 1986 - op hetzelfde niveau.
Na 1993 bedroegen alle daaropvolgende dalingen in de bouwsector niet meer dan 50%. Maar naderende economische crisis (vanwege COVID-19) zou een recordcrisis in de bouwsector kunnen veroorzaken in de periode 2017-2021, waarvan de daling al in de periode 2017-2019 in totaal ruim 60% bedraagt.
Bevolkingsgroei in San Francisco dynamiek ook in de periode 1980-1993 liet een bijna exponentiële groei zien. De economische kracht en innovatieve energie van Silicon Valley vormden de solide basis waarop de hyperbool van de Nieuwe Economie, de Amerikaanse Renaissance en de dotcoms werd gebouwd. Het was het epicentrum van de nieuwe economie. Maar in tegenstelling tot de stijging van de vastgoedinvesteringen is de bevolking na de internetpiek feitelijk op een plateau gebleven.
Vóór de internetpiek in 2001 bedroeg de jaarlijkse bevolkingsgroei sinds 1950 ongeveer 1% per jaar. Daarna, na het uiteenspatten van de zeepbel, vertraagde de instroom van nieuwe bevolkingsgroepen en bedraagt sinds 2001 slechts 0.2 procent per jaar.
In 2019 (voor het eerst sinds 1950) vertoonde de groeidynamiek een uitstroom van de bevolking (-0.21% of 7000 mensen) uit de stad San Francisco.
Verwachting en realiteit bij het maken van kostenramingen
In de gebruikte datasets zijn gegevens over de kosten van een vergunning voor een bouwproject onderverdeeld in:
- oorspronkelijke geschatte kosten (geschatte kosten)
- kosten van werk na herwaardering (herziene_kosten)
Tijdens hoogconjunctuur is het belangrijkste doel van herwaardering het verhogen van de initiële kosten, wanneer de investeerder (de bouwklant) na de start van de bouw eetlust toont.
Tijdens een crisis proberen ze de geschatte kosten niet te overschrijden, en de initiële schattingen ondergaan vrijwel geen wijzigingen (behalve de aardbeving van 1989).
Volgens de grafiek die is gebaseerd op het verschil tussen de geherwaardeerde en de geschatte kosten (herziene_kosten - geschatte_kosten), kan worden vastgesteld dat:
De mate waarin de kosten stijgen bij het herwaarderen van het bouwvolume hangt rechtstreeks af van de economische hoogconjunctuur
data_spread = data_cost.assign(spread = (data_cost.revised_cost-data_cost.estimated_cost))
Tijdens perioden van snelle economische groei besteden klanten van werk (investeerders) hun geld vrij genereus, waardoor hun verzoeken na de start van het werk toenemen.
De klant (investeerder) vraagt, financieel zelfverzekerd, de bouwaannemer of architect om de reeds afgegeven bouwvergunning te verlengen. Dit kan een beslissing zijn om de initiële lengte van het zwembad te vergroten of de oppervlakte van het huis te vergroten (na de start van de werkzaamheden en de afgifte van een bouwvergunning).
Op het hoogtepunt van het dotcom-tijdperk bereikten dergelijke ‘extra’ uitgaven een ‘extra’ miljard per jaar.
Als je deze tabel al in procentuele verandering bekijkt, dan vond de piekstijging in de schatting (100% of 2 keer de oorspronkelijke geschatte kosten) plaats in het jaar vóór de aardbeving die in 1989 plaatsvond nabij de stad. Ik neem aan dat bouwprojecten die in 1988 begonnen, na de aardbeving in 1989 meer tijd en geld nodig hadden voor de uitvoering.
Omgekeerd is een neerwaartse bijstelling van de geschatte kosten (die slechts één keer plaatsvond in de periode van 1980 tot 2019) enkele jaren vóór de aardbeving vermoedelijk te wijten aan het feit dat sommige projecten die in 1986-1987 waren gestart, werden bevroren of dat er werd bezuinigd op de investeringen in deze projecten. omlaag. Op schema gemiddeld voor elk project dat in 1987 startte - bedroeg de verlaging van de geschatte kosten -20% van het oorspronkelijke plan.
data_spred_percent = data_cost_y.assign(spred = ((data_cost_y.revised_cost-data_cost_y.estimated_cost)/data_cost_y.estimated_cost*100))
Een stijging van de aanvankelijk geschatte kosten met meer dan 40% duidde of was mogelijk een gevolg van de naderende zeepbel op de financiële en vervolgens de bouwmarkt.
Wat is de reden voor de afname van de spreiding (verschil) tussen de geschatte en herziene kosten na 2007?
Misschien zijn investeerders zorgvuldig naar de cijfers gaan kijken (het gemiddelde bedrag over twintig jaar is gestegen van $20 naar $100 miljoen) of misschien heeft de bouwafdeling, die opkomende zeepbellen op de vastgoedmarkt heeft voorkomen en geremd, nieuwe regels en beperkingen ingevoerd om mogelijke manipulaties te verminderen. en mogelijke risico's die zich tijdens crisisjaren zullen voordoen.
Bouwactiviteit afhankelijk van het seizoen van het jaar
Door de gegevens te groeperen op kalenderweken van het jaar (54 weken), kunt u de bouwactiviteit in de stad San Francisco observeren, afhankelijk van de seizoenen en de tijd van het jaar.
Tegen Kerstmis proberen alle bouworganisaties op tijd vergunningen te krijgen voor nieuwe ‘grote’ projecten. (tegelijkertijd! ligt het aantal! vergunningen in dezelfde maanden het hele jaar door op hetzelfde niveau). Investeerders die van plan zijn hun eigendom binnen het komende jaar te verwerven, sluiten contracten in de wintermaanden en rekenen op grote kortingen (aangezien de zomercontracten voor het grootste deel tegen het einde van het jaar aflopen en bouwbedrijven geïnteresseerd zijn bij het ontvangen van nieuwe aanvragen).
Vóór Kerstmis worden de meeste aanvragen ingediend (stijging van gemiddeld 1-1,5 miljard per maand naar 5 miljard alleen al in december). Tegelijkertijd blijft het totaal aantal aanvragen per maand op hetzelfde niveau (zie onderstaande sectie: statistieken over het totale aantal aanvragen per maand en dag)
Na de wintervakantie is de bouwsector actief bezig met het plannen en uitvoeren van “Kerst”-orders (met vrijwel geen toename van het aantal vergunningen) om tegen het midden van het jaar (vóór de Onafhankelijkheidsdag) middelen vrij te maken vóór de nieuwe De golf van zomercontracten begint onmiddellijk na de junivakantie.
data_month_year = data_month_year.assign(week_year = data_month_year.permit_creation_date.dt.week)
data_month_year = data_month_year.groupby(['week_year'])['estimated_cost'].sum()
Uit dezelfde procentuele gegevens (oranje lijn) blijkt ook dat de sector het hele jaar door ‘soepel’ opereert, maar vóór en na de feestdagen neemt de activiteit op het gebied van vergunningen toe tot 150% in de periode tussen week 20-24 (vóór Onafhankelijkheidsdag), en daalt direct na de vakantie tot -70%.
Vóór Halloween en Kerstmis neemt de activiteit in de bouwsector in San Francisco in de week 43-44 met 150% toe (van dieptepunt tot piek) en daalt vervolgens tot nul tijdens de feestdagen.
De sector bevindt zich dus in een cyclus van zes maanden, die wordt gescheiden door de feestdagen ‘US Independence Day’ (week 20) en ‘Kerstmis’ (week 52).
Totale vastgoedinvesteringen in San Francisco
Gebaseerd op gegevens over bouwvergunningen in de stad:
De totale investering in bouwprojecten in San Francisco van 1980 tot 2019 bedraagt 91,5 miljard dollar.
sf_worth = data_location_lang_long.cost.sum()
De totale marktwaarde van al het residentieel onroerend goed in San Francisco, beoordeeld aan de hand van onroerendgoedbelasting (zijnde de geschatte waarde van al het onroerend goed en alle persoonlijke eigendommen die eigendom zijn van San Francisco) .
In welke gebieden van San Francisco is de afgelopen veertig jaar geïnvesteerd?
Laten we met behulp van de Folium-bibliotheek eens kijken waar deze 91,5 miljard dollar per regio is geïnvesteerd. Om dit te doen, zullen we, nadat we de gegevens op postcode hebben gegroepeerd, de resulterende waarden weergeven met behulp van cirkels (de Circle-functie uit de Folium-bibliotheek).
import folium
from folium import Circle
from folium import Marker
from folium.features import DivIcon
# map folium display
lat = data_location_lang_long.lat.mean()
long = data_location_lang_long.long.mean()
map1 = folium.Map(location = [lat, long], zoom_start = 12)
for i in range(0,len(data_location_lang_long)):
Circle(
location = [data_location_lang_long.iloc[i]['lat'], data_location_lang_long.iloc[i]['long']],
radius= [data_location_lang_long.iloc[i]['cost']/20000000],
fill = True, fill_color='#cc0000',color='#cc0000').add_to(map1)
Marker(
[data_location_mean.iloc[i]['lat'], data_location_mean.iloc[i]['long']],
icon=DivIcon(
icon_size=(6000,3336),
icon_anchor=(0,0),
html='<div style="font-size: 14pt; text-shadow: 0 0 10px #fff, 0 0 10px #fff;; color: #000";"">%s</div>'
%("$ "+ str((data_location_lang_long.iloc[i]['cost']/1000000000).round()) + ' mlrd.'))).add_to(map1)
map1
Dat blijkt uit de regio's Het grootste deel van de taart ging logischerwijs naar DownTown. Nadat we de groepering van alle objecten op afstand tot het stadscentrum en de tijd die nodig is om het stadscentrum te bereiken vereenvoudigd hadden (uiteraard worden er ook dure huizen aan de kust gebouwd), werden alle vergunningen verdeeld in 4 groepen: 'Binnenstad' , '<0.5H Binnenstad', '< 1H Binnenstad', 'Buiten SF'.
from geopy.distance import vincenty
def distance_calc (row):
start = (row['lat'], row['long'])
stop = (37.7945742, -122.3999445)
return vincenty(start, stop).meters/1000
df_pr['distance'] = df_pr.apply (lambda row: distance_calc (row),axis=1)
def downtown_proximity(dist):
'''
< 2 -> Near Downtown, >= 2, <4 -> <0.5H Downtown
>= 4, <6 -> <1H Downtown, >= 8 -> Outside SF
'''
if dist < 2:
return 'Downtown'
elif dist < 4:
return '<0.5H Downtown'
elif dist < 6:
return '<1H Downtown'
elif dist >= 6:
return 'Outside SF'
df_pr['downtown_proximity'] = df_pr.distance.apply(downtown_proximity)Van de 91,5 miljard euro die in de stad wordt geïnvesteerd, wordt bijna 70 miljard (75% van alle investeringen) geïnvesteerd in reparaties en nieuwbouw in het stadscentrum (groene zone) en naar het stadsgebied binnen een straal van 2 km. vanuit het midden (blauwe zone).
Gemiddelde geschatte kosten van een bouwaanvraag per stadsdeel
Alle gegevens zijn, net als bij het totale investeringsbedrag, gegroepeerd op postcode. Alleen in dit geval met de gemiddelde (.mean()) geschatte kosten van de applicatie per postcode.
data_location_mean = data_location.groupby(['zipcode'])['lat','long','estimated_cost'].mean()
In gewone delen van de stad (meer dan 2 km van het stadscentrum) bedragen de gemiddelde geschatte kosten van een bouwaanvraag $ 50 duizend.
De gemiddelde geschatte kosten in het centrumgebied zijn ongeveer drie keer zo hoog ($150 tot $400) dan in andere gebieden ($30-50).
Naast de grondkosten bepalen drie factoren de totale kosten van de woningbouw: arbeid, materialen en overheidskosten. Deze drie componenten zijn in Californië hoger dan in de rest van het land. De bouwvoorschriften van Californië worden beschouwd als een van de meest uitgebreide en strenge van het land (als gevolg van aardbevingen en milieuvoorschriften), waarvoor vaak duurdere materialen en arbeid nodig zijn.
De overheid eist bijvoorbeeld van bouwers dat ze bouwmaterialen van hogere kwaliteit (ramen, isolatie, verwarmings- en koelsystemen) gebruiken om hoge energie-efficiëntienormen te bereiken.
Uit de algemene statistieken over de gemiddelde kosten van een vergunningsaanvraag vallen twee locaties op:
- Treasure Island - een kunstmatig eiland in de Baai van San Francisco. De gemiddelde geschatte kosten van een bouwvergunning bedragen $ 6,5 miljoen.
- Mission Bay – (bevolking 2926) De gemiddelde geschatte kosten van een bouwvergunning bedragen $1,5 miljoen.
In feite hangt de hoge gemiddelde toepassing op deze twee gebieden met elkaar samen met het minste aantal aanvragen voor deze postlocaties (respectievelijk 145 en 3064, de bebouwing op het eiland is zeer beperkt), terwijl voor de rest van de postcodes - XNUMXen de periode 1980-2019 ontving ongeveer 1300 aanvragen per jaar (totaal gemiddeld 30 -50 duizend aanvragen voor de gehele periode).
Volgens de parameter ‘aantal aanvragen’ is er een perfect gelijkmatige verdeling van het aantal aanvragen per postcode over de stad waar te nemen.
Statistieken over het totaal aantal aanvragen per maand en dag
Algemene statistieken over het totale aantal aanvragen per maand en dag van de week tussen 1980 en 2019 laten zien dat De rustigste maanden voor de bouwafdeling zijn de lente- en wintermaanden. Tegelijkertijd varieert het bedrag aan investeringen dat in de aanvragen wordt gespecificeerd sterk en soms van maand tot maand (zie ook “Bouwactiviteit afhankelijk van het seizoen”). Onder de dagen van de week is de belasting van de afdeling op maandag ongeveer 20% minder dan op andere dagen van de week.
months = [ 'January', 'February', 'March', 'April', 'May','June', 'July', 'August', 'September', 'October', 'November', 'December' ]
data_month_count = data_month.groupby(['permit_creation_date']).count().reindex(months)
Terwijl juni en juli qua aantal aanvragen vrijwel gelijk zijn, bedraagt het verschil qua totale geschatte kosten 100% (4,3 miljard in mei en juli en 8,2 miljard in juni).
data_month_sum = data_month.groupby(['permit_creation_date']).sum().reindex(months)
De toekomst van de bouwsector in San Francisco, waarbij activiteit wordt voorspeld aan de hand van patronen.
Laten we tot slot de grafiek van de bouwactiviteiten in San Francisco vergelijken met de Bitcoin-prijsgrafiek (2015-2018) en de goudprijsgrafiek (1940 - 1980).
patroon (uit het Engelse patroon - model, monster) - in technische analyse worden stabiele herhalende combinaties van prijs-, volume- of indicatorgegevens genoemd. Patroonanalyse is gebaseerd op een van de axioma's van technische analyse: "de geschiedenis herhaalt zich" - men gelooft dat herhaalde combinaties van gegevens tot een soortgelijk resultaat leiden.
Het belangrijkste patroon dat op de jaarlijkse activiteitengrafiek te zien is, is: Dit is een trendomkeerpatroon van het ‘hoofd en schouders’-patroon. Zo genoemd omdat de kaart lijkt op een menselijk hoofd (piek) en schouders aan de zijkanten (kleinere pieken). Wanneer de prijs de lijn doorbreekt die de dalen verbindt, wordt het patroon als voltooid beschouwd en is de beweging waarschijnlijk neerwaarts.
Bewegingen in de activiteit in de bouwsector in San Francisco vallen vrijwel volledig samen met de stijging van de prijs van goud en bitcoin. De historische prestaties van deze drie prijs- en activiteitengrafieken vertonen opmerkelijke overeenkomsten.
Om het gedrag van de bouwmarkt in de toekomst te kunnen voorspellen, het is noodzakelijk om de correlatiecoëfficiënt te berekenen met elk van deze twee trends.
Twee willekeurige variabelen worden gecorreleerd genoemd als hun correlatiemoment (of correlatiecoëfficiënt) verschillend is van nul; en worden niet-gecorreleerde grootheden genoemd als hun correlatiemoment nul is.
Als de resulterende waarde dichter bij 0 ligt dan bij 1, heeft het geen zin om over een duidelijk patroon te praten. Dit is een complex wiskundig probleem, dat kan worden overgenomen door oudere kameraden die mogelijk geïnteresseerd zijn in dit onderwerp.
Als! onwetenschappelijk! kijk naar het onderwerp van de verdere ontwikkeling van de bouwsector in San Francisco: als het patroon blijft samenvallen met de prijs van Bitcoin, dan volgens deze pessimistische optie – het zal niet gemakkelijk zijn om uit de crisis in de bouwsector in San Francisco te komen in de periode direct na de crisis.
Met een meer “optimistische” optie Ontwikkeling is herhaalde exponentiële groei in de bouwsector mogelijk als de activiteit hier het “goudprijs”-scenario volgt. In dit geval zal de bouwsector over twintig tot dertig jaar (mogelijk over tien jaar) te maken krijgen met een nieuwe golf van werkgelegenheid en ontwikkeling.
Ik zal individuele bouwsectoren nader bekijken (reparatie van daken, keukens, constructie van trappen, badkamers, als je suggesties hebt over industrieën of andere gegevens - schrijf dan in de reacties) en vergelijk de inflatie voor individuele soorten werk met vaste rentetarieven op hypotheekleningen en de winstgevendheid van Amerikaanse staatsobligaties (Fixed Mortgage Rates & US Treasury Yield).
Link naar het tweede deel:
Link naar Jupyter Notebook:
Alsjeblieft, voor degenen die bij Kaggle zijn, geef Notebook een pluspunt (bedankt!).
(Opmerkingen en uitleg van de code worden later in Notebook toegevoegd)
Link naar Engelse versie:
Als je mijn inhoud leuk vindt, overweeg dan om een kopje koffie voor me te kopen.
bedankt voor je steun!
Alleen geregistreerde gebruikers kunnen deelnemen aan het onderzoek. , Alsjeblieft.
Wat heeft de toekomst in petto voor de bouwsector in San Francisco?
-
66,7%Het is waarschijnlijker dat de bouwsector het pad van Bitcoin2 zal volgen
-
0,0%De bouwsector zou het pad van de goudprijzen kunnen volgen0
-
0,0%De sector verwacht de komende tien jaar een hype
-
33,3%De ontwikkeling van de sector verloopt niet volgens patronen1
3 gebruikers hebben gestemd. 6 gebruikers onthielden zich van stemming.
Bron: www.habr.com