Tato série článků je věnována studiu stavební činnosti v hlavním městě Silicon Valley – San Franciscu. San Francisco je technologická „Moskva“ našeho světa, na svém příkladu (s pomocí otevřených dat) sleduje vývoj stavebnictví ve velkých městech a hlavních městech.
Konstrukce grafů a výpočty byly provedeny v r (na platformě Kaggle.com).
Údaje o více než milionu stavebních povolení (záznamy ve dvou datasetech) ze stavebního oddělení v San Franciscu – umožňují analyzovat nejen stavební činnost ve městě, ale také kriticky zvážit nejnovější trendy a historie vývoje stavebnictví za posledních 40 letv letech 1980 až 2019.
Otevřená data umožňují zkoumat hlavní faktory, které ovlivnily a budou ovlivňovat vývoj stavebnictví ve městě a rozděluje je na „vnější“ (ekonomické rozmachy a krize) a „vnitřní“ (vliv svátků a sezónně-ročních cyklů).
Obsah
Otevřená data a přehled základních parametrů.
Toto není překlad článku. Píšu na LinkedIn a abych nevytvářel grafiku ve více jazycích, veškerá grafika je v angličtině.
Odkaz na druhý díl:
Údaje o stavebním povolení města San Francisco – z portálu otevřených dat – . Portál má několik datových sad na téma stavebnictví. Dva takové datové soubory uchovávají a aktualizují data o povoleních vydaných na výstavbu nebo opravu objektů ve městě:
- (850 tisíc záznamů)
- (280 tisíc záznamů, data se stahují a aktualizují týdně)
Tyto datové sady obsahují informace o vydaných stavebních povoleních s různými charakteristikami objektu, na který je povolení vydáno. Celkový počet přijatých záznamů (oprávnění). v období 1980-2019 - 1 137 695 povolení.
Hlavní parametry z tohoto souboru dat, které byly použity pro analýzu:
- datum_vytvoření_povolení — datum vytvoření žádosti (ve skutečnosti den zahájení stavebních prací)
- popis — popis žádosti (dvě nebo tři klíčová slova popisující stavební projekt (dílo), pro který bylo povolení vytvořeno)
- odhadované náklady — odhadované (odhadované) náklady na stavební práce
- revidované_náklady — revidované náklady (náklady na práci po přecenění, zvýšení nebo snížení původních objemů aplikace)
- existující_použití - typ bydlení (jedno-, dvougenerační dům, byty, kanceláře, výroba atd.)
- PSČ, umístění — PSČ a souřadnice objektu
Každoroční stavební činnost v San Franciscu
Níže uvedený graf ukazuje parametry odhadované náklady и revidované_náklady prezentovány jako rozdělení celkových nákladů práce podle měsíců.
data_cost_m = data_cost.groupby(pd.Grouper(freq='M')).sum()Aby se snížily měsíční „odlehlé hodnoty“, jsou měsíční údaje seskupeny podle roku. Graf objemu investovaných peněz podle roku dostal logičtější a analyzovatelnější podobu.
data_cost_y = data_cost.groupby(pd.Grouper(freq='Y')).sum()
Na základě ročního pohybu součtu nákladů (všechna povolení za rok) do zařízení města ekonomické faktory, které ovlivňovaly od roku 1980 do roku 2019, jsou jasně patrné na počtu a ceně stavebních projektů nebo jinak na investicích do sanfranciských nemovitostí.
Počet stavebních povolení (počet stavebních prací nebo počet investic) za posledních 40 let úzce souvisí s ekonomickou aktivitou v Silicon Valley.
První vrchol stavební činnosti byl spojen s elektronickým humbukem v polovině 80. let v údolí. Následná elektronická a bankovní recese v roce 1985 poslala regionální trh s nemovitostmi do úpadku, ze kterého se nevzpamatoval téměř deset let.
Poté ještě dvakrát (v letech 1993-2000 a 2009-2016), než splaskla bublina Dotcom a technologický boom posledních let Stavební průmysl v San Francisku zaznamenal parabolický růst o několik tisíc procent..
Odstraněním středních vrcholů a minim a ponecháním minimálních a maximálních hodnot pro každý ekonomický cyklus je jasné, jak velké výkyvy trhu sužovaly toto odvětví za posledních 40 let.
K největšímu nárůstu investic do stavebnictví došlo v době dot-com boomu, kdy se v letech 1993 až 2001 investovalo do renovace a výstavby 10 miliard dolarů, tedy přibližně 1 miliarda dolarů ročně. Pokud počítáme v metrech čtverečních (náklady na 1 m² v roce 1995 jsou 3000 350 USD), je to přibližně 000 2 m10 ročně po dobu 1993 let, počínaje rokem XNUMX.
Růst celkových ročních investic v tomto období činil 1215 %.
Společnosti, které si v tomto období pronajímaly stavební techniku, byly podobné společnostem, které prodávaly lopaty během zlaté horečky (ve stejném regionu v polovině 19. století). Jen místo lopat už v roce 2000 existovaly jeřáby a betonová čerpadla pro nově vzniklé stavební firmy, které chtěly na stavebním boomu vydělat.
Po každé z mnoha krizí, které stavební průmysl v průběhu let zažil, v příštích dvou pokrizových letech investice (množství žádostí o povolení) na stavbu pokaždé klesla minimálně o 50 %..
Největší krize v sanfranciském stavebnictví nastaly v 90. letech. Kde s periodicitou 5 let průmysl buď klesal (-85 % v období 1983-1986), pak znovu rostl (+895 % v období 1988-1992), přičemž v ročním vyjádření zůstal v letech 1981, 1986, 1988 , 1993 - na stejné úrovni.
Po roce 1993 všechny následující poklesy ve stavebnictví nepřesáhly 50 %. Ale blížící se ekonomické krizi (kvůli COVID-19) může způsobit rekordní krizi ve stavebnictví v období 2017-2021, jehož pokles již v období 2017-2019 činí celkem více než 60 %.
Růst populace San Francisco dynamiky také v období 1980-1993 vykázala téměř exponenciální růst. Ekonomická síla a inovativní energie Silicon Valley byly pevným základem, na kterém byla postavena hyperbola Nové ekonomiky, americké renesance a dot-coms. Bylo to epicentrum nové ekonomiky. Ale na rozdíl od nárůstu investic do nemovitostí, po vrcholu dot-com, populace ve skutečnosti stagnovala.
Před vrcholem dot-com v roce 2001 byl roční růst populace od roku 1950 zhruba 1 % ročně. Poté, po splasknutí bubliny, se příliv nové populace zpomalil a od roku 2001 je pouze 0.2 procenta ročně.
V roce 2019 (poprvé od roku 1950) dynamika růstu ukázala odliv populace (-0.21 % nebo 7000 XNUMX lidí) z města San Francisco.
Očekávání a realita při přípravě odhadů nákladů
V používaných datasetech se údaje o nákladech na povolení pro stavební projekt dělí na:
- původní odhadovaná cena (odhadované náklady)
- cena práce po přecenění (revidované_náklady)
V době konjunktury je hlavním účelem přecenění zvýšení počátečních nákladů, kdy investor (zákazník stavby) po zahájení výstavby projeví chuť k jídlu.
V době krize se snaží nepřekročit odhadované náklady a prvotní odhady se prakticky nemění (kromě zemětřesení v roce 1989).
Podle grafu postaveného na rozdílu mezi přeceněnými a odhadovanými náklady (revidované_náklady - odhadované_náklady) lze pozorovat, že:
Výše navýšení nákladů při přecenění objemu stavebních prací přímo závisí na cyklech ekonomického boomu
data_spread = data_cost.assign(spread = (data_cost.revised_cost-data_cost.estimated_cost))
V období rychlého ekonomického růstu zákazníci práce (investoři) utrácejí své prostředky poměrně štědře a zvyšují své požadavky po zahájení práce.
Zákazník (investor), cítící se finančně jistý, požádá dodavatele stavby nebo architekta o prodloužení již vydaného stavebního povolení. Může se jednat o rozhodnutí o zvětšení počáteční délky bazénu nebo zvětšení plochy domu (po zahájení prací a vydání stavebního povolení).
Na vrcholu dot-com éry dosáhly tyto „dodatečné“ výdaje „nadbytečné“ 1 miliardy ročně.
Pokud se podíváte na tuto tabulku již v procentuální změně, pak vrcholný nárůst odhadu (100% nebo 2násobek původních odhadovaných nákladů) nastal v roce před zemětřesením, ke kterému došlo v roce 1989 poblíž města. Předpokládám, že po zemětřesení si stavební projekty započaté v roce 1988 vyžádaly po zemětřesení v roce 1989 více času a finančních prostředků na realizaci.
Naopak revize odhadovaných nákladů směrem dolů (k níž došlo pouze jednou během období 1980 až 2019) několik let před zemětřesením je pravděpodobně způsobena skutečností, že některé projekty zahájené v letech 1986-1987 byly zmrazeny nebo byly zkráceny investice do těchto projektů dolů. Podle plánu v průměru pro každý projekt zahájený v roce 1987 – snížení odhadovaných nákladů bylo -20 % původního plánu.
data_spred_percent = data_cost_y.assign(spred = ((data_cost_y.revised_cost-data_cost_y.estimated_cost)/data_cost_y.estimated_cost*100))
Nárůst původních odhadovaných nákladů o více než 40 % naznačoval nebo byl možná důsledkem blížící se bubliny na finančním a následně stavebním trhu.
Jaký je důvod poklesu spreadu (rozdílu) mezi odhadovanými a revidovanými náklady po roce 2007?
Možná se investoři začali pečlivě dívat na čísla (průměrná částka se za 20 let zvýšila ze 100 tisíc na 2 miliony dolarů) nebo možná stavební oddělení, které předcházelo a brzdilo vznikající bubliny na trhu s nemovitostmi, zavedlo nová pravidla a omezení, aby omezilo možné manipulace a možná rizika, která se objeví v krizových letech.
Stavební činnost v závislosti na ročním období
Seskupením dat podle kalendářních týdnů v roce (54 týdnů) můžete sledovat stavební činnost ve městě San Francisco v závislosti na sezónnosti a ročním období.
Do Vánoc se všechny stavební organizace snaží získat včas povolení pro nové „velké“ projekty. (přitom! počet! povolenek v těchto stejných měsících je na stejné úrovni po celý rok). Investoři, kteří plánují získat svou nemovitost v průběhu příštího roku, uzavírají smlouvy v zimních měsících a počítají s velkými slevami (protože letní smlouvy většinou do konce roku končí a stavební firmy mají zájem při přijímání nových žádostí).
Před Vánocemi se podává největší množství žádostí (nárůst z průměru 1-1,5 miliardy měsíčně na 5 miliard jen v prosinci). Celkový počet žádostí podle měsíců přitom zůstává na stejné úrovni (viz níže sekce: statistika celkového počtu žádostí podle měsíce a dne)
Stavebnictví po zimních prázdninách aktivně plánuje a realizuje „vánoční“ zakázky (téměř bez nárůstu počtu povolení), aby se do poloviny roku (před svátkem Dne nezávislosti) uvolnily zdroje před novým vlna letních kontraktů začíná ihned po červnových prázdninách.
data_month_year = data_month_year.assign(week_year = data_month_year.permit_creation_date.dt.week)
data_month_year = data_month_year.groupby(['week_year'])['estimated_cost'].sum()
Stejná procentuální data (oranžová čára) také ukazují, že průmysl funguje „hladce“ po celý rok, ale před a po prázdninách se aktivita na povoleních zvýší na 150 % v období mezi týdnem 20-24 (před Dnem nezávislosti) a klesá bezprostředně po dovolené až o -70 %.
Před Halloweenem a Vánocemi se aktivita ve stavebnictví v San Franciscu během týdne 43-44 zvýší o 150 % (od dna k vrcholu) a poté během svátků klesne na nulu.
Odvětví se tedy nachází v šestiměsíčním cyklu, který je oddělen svátky „Den nezávislosti USA“ (20. týden) a „Vánoce“ (52. týden).
Celková investice do nemovitostí v San Franciscu
Na základě údajů o stavebních povoleních ve městě:
Celková investice do stavebních projektů v San Franciscu od roku 1980 do roku 2019 je 91,5 miliardy dolarů.
sf_worth = data_location_lang_long.cost.sum()
Celková tržní hodnota všech rezidenčních nemovitostí v San Franciscu stanovená na základě majetkových daní (což je odhadovaná hodnota všech nemovitostí a veškerého osobního majetku ve vlastnictví San Francisca) .
Do kterých oblastí San Francisca za posledních 40 let investovali?
Pomocí knihovny Folium se podívejme, kam bylo investováno těchto 91,5 miliardy dolarů podle regionů. Abychom to provedli, po seskupení dat podle PSČ budeme výsledné hodnoty reprezentovat pomocí kruhů (funkce Circle z knihovny Folium).
import folium
from folium import Circle
from folium import Marker
from folium.features import DivIcon
# map folium display
lat = data_location_lang_long.lat.mean()
long = data_location_lang_long.long.mean()
map1 = folium.Map(location = [lat, long], zoom_start = 12)
for i in range(0,len(data_location_lang_long)):
Circle(
location = [data_location_lang_long.iloc[i]['lat'], data_location_lang_long.iloc[i]['long']],
radius= [data_location_lang_long.iloc[i]['cost']/20000000],
fill = True, fill_color='#cc0000',color='#cc0000').add_to(map1)
Marker(
[data_location_mean.iloc[i]['lat'], data_location_mean.iloc[i]['long']],
icon=DivIcon(
icon_size=(6000,3336),
icon_anchor=(0,0),
html='<div style="font-size: 14pt; text-shadow: 0 0 10px #fff, 0 0 10px #fff;; color: #000";"">%s</div>'
%("$ "+ str((data_location_lang_long.iloc[i]['cost']/1000000000).round()) + ' mlrd.'))).add_to(map1)
map1
Z regionů je to jasné Většina koláče logicky putovala do DownTownu. Po zjednodušení seskupování všech objektů podle vzdálenosti do centra města a doby, kterou trvá cesta do centra města (samozřejmě se na pobřeží staví i drahé domy), byla všechna povolení rozdělena do 4 skupin: „Centrum města“ , '<0.5H Downtown', '< 1H Downtown', 'Mimo SF'.
from geopy.distance import vincenty
def distance_calc (row):
start = (row['lat'], row['long'])
stop = (37.7945742, -122.3999445)
return vincenty(start, stop).meters/1000
df_pr['distance'] = df_pr.apply (lambda row: distance_calc (row),axis=1)
def downtown_proximity(dist):
'''
< 2 -> Near Downtown, >= 2, <4 -> <0.5H Downtown
>= 4, <6 -> <1H Downtown, >= 8 -> Outside SF
'''
if dist < 2:
return 'Downtown'
elif dist < 4:
return '<0.5H Downtown'
elif dist < 6:
return '<1H Downtown'
elif dist >= 6:
return 'Outside SF'
df_pr['downtown_proximity'] = df_pr.distance.apply(downtown_proximity)Z 91,5 miliard investovaných ve městě je téměř 70 miliard (75 % všech investic) investovaných do oprav a výstavby v centru města (zelená zóna) a do oblasti města v okruhu 2 km. od středu (modrá zóna).
Průměrné odhadované náklady na stavební žádost podle městské části
Všechna data, stejně jako celková výše investice, byla seskupena podle PSČ. Pouze v tomto případě s průměrnými (.mean()) odhadovanými náklady na aplikaci podle PSČ.
data_location_mean = data_location.groupby(['zipcode'])['lat','long','estimated_cost'].mean()
V běžných částech města (více než 2 km od centra města) - průměrné odhadované náklady na stavební žádost jsou 50 tisíc dolarů.
Průměrné odhadované náklady v oblasti centra města jsou přibližně třikrát vyšší (150 tisíc až 400 tisíc dolarů) než v jiných oblastech (30–50 tisíc dolarů).
Kromě ceny pozemku určují celkové náklady na výstavbu domu tři faktory: práce, materiál a vládní poplatky. Tyto tři složky jsou v Kalifornii vyšší než ve zbytku země. Kalifornské stavební předpisy jsou považovány za jedny z nejkomplexnějších a nejpřísnějších v zemi (kvůli zemětřesení a ekologickým předpisům), které často vyžadují dražší materiály a práci.
Vláda například požaduje, aby stavebníci používali kvalitnější stavební materiály (okna, izolace, systémy vytápění a chlazení), aby dosáhli vysokých standardů energetické účinnosti.
Z obecných statistik o průměrných nákladech na žádost o povolení vynikají dvě místa:
- Ostrov pokladů - umělý ostrov v Sanfranciském zálivu. Průměrné odhadované náklady na stavební povolení jsou 6,5 milionu dolarů.
- Mission Bay — (2926 1,5 obyvatel) Průměrné odhadované náklady na stavební povolení jsou XNUMX milionu USD.
Vysoká průměrná aplikace v těchto dvou oblastech spolu ve skutečnosti souvisí s nejmenším počtem žádostí pro tato poštovní místa (145 a 3064, výstavba na ostrově je velmi omezená), zatímco pro zbytek PSČ - XNUMXa období 1980-2019 obdrželo přibližně 1300 žádostí ročně (celkem v průměru 30 -50 tisíc žádostí za celé období).
Podle parametru „počet přihlášek“ je patrné naprosto rovnoměrné rozložení počtu přihlášek na PSČ po celém městě.
Statistiky o celkovém počtu žádostí podle měsíce a dne
Celkové statistiky o celkovém počtu žádostí podle měsíce a dne v týdnu mezi lety 1980 a 2019 ukazují, že Nejklidnějšími měsíci pro stavební oddělení jsou jarní a zimní měsíce. Zároveň se výše investic uvedených v aplikacích velmi liší a liší se někdy měsíc od měsíce (viz dodatečně „Stavební činnost v závislosti na ročním období“). Mezi dny v týdnu je v pondělí zatížení oddělení přibližně o 20 % nižší než v ostatní dny v týdnu.
months = [ 'January', 'February', 'March', 'April', 'May','June', 'July', 'August', 'September', 'October', 'November', 'December' ]
data_month_count = data_month.groupby(['permit_creation_date']).count().reindex(months)
Zatímco červen a červenec jsou co do počtu žádostí prakticky stejné, z hlediska celkových odhadovaných nákladů dosahuje rozdíl 100 % (4,3 miliardy v květnu a červenci a 8,2 miliardy v červnu).
data_month_sum = data_month.groupby(['permit_creation_date']).sum().reindex(months)
Budoucnost stavebního průmyslu v San Franciscu, předpovídání aktivity podle vzorců.
Nakonec porovnejme graf stavební aktivity v San Franciscu s grafem cen Bitcoinu (2015-2018) a grafem ceny zlata (1940 - 1980).
Vzor (z anglického pattern - model, sample) - v technické analýze se nazývají stabilní opakující se kombinace cenových, objemových nebo indikátorových dat. Analýza vzorů je založena na jednom z axiomů technické analýzy: „historie se opakuje“ – má se za to, že opakované kombinace dat vedou k podobnému výsledku.
Hlavní vzorec, který lze vidět na grafu roční aktivity, je Toto je vzor obrácení trendu „Head and Shoulders“. Tak pojmenovaný, protože graf vypadá jako lidská hlava (vrchol) a ramena po stranách (menší vrcholy). Když cena prolomí linii spojující koryta, vzor je považován za dokončený a pohyb bude pravděpodobně klesat.
Pohyby v aktivitě ve stavebnictví v San Franciscu se téměř zcela shodují s růstem ceny zlata a bitcoinu. Historická výkonnost těchto tří cenových a aktivitních grafů ukazuje pozoruhodné podobnosti.
Abychom byli schopni předvídat chování stavebního trhu v budoucnu, je nutné vypočítat korelační koeficient s každým z těchto dvou trendů.
Dvě náhodné proměnné se nazývají korelované, pokud je jejich korelační moment (nebo korelační koeficient) odlišný od nuly; a nazývají se nekorelované veličiny, pokud je jejich korelační moment nulový.
Pokud je výsledná hodnota blíže 0 než 1, pak nemá smysl mluvit o jasném vzoru. Jedná se o složitý matematický problém, kterého se mohou ujmout starší soudruzi, které by toto téma mohlo zajímat.
Li! nevědecký! podívejte se na téma dalšího rozvoje stavebního průmyslu v San Franciscu: pokud se vzorec bude i nadále shodovat s cenou bitcoinu, pak podle této pesimistické varianty — dostat se z krize ve stavebnictví v San Franciscu nebude v období bezprostředně po krizi snadné.
S „optimističtější“ možností Pokud se zde aktivita bude řídit scénářem „ceny zlata“, je možný opakovaný exponenciální růst ve stavebnictví. V tomto případě za 20–30 let (možná za 10) bude stavební sektor čelit novému nárůstu zaměstnanosti a rozvoje.
Podívám se blíže na jednotlivá odvětví stavebnictví (opravy střech, kuchyní, stavby schodišť, koupelen, pokud máte nějaké návrhy na odvětví nebo jiné údaje - napište prosím do komentářů) a porovnám inflaci za jednotlivé druhy prací s pevné sazby u hypotečních úvěrů a ziskovost vládních amerických dluhopisů (Fixed Mortgage Rates & US Treasury Yield).
Odkaz na druhý díl:
Odkaz na Jupyter Notebook:
Prosím, pro ty, kteří jsou s Kaggle, dejte Notebooku plus (Děkuji!).
(Komentáře a vysvětlení kódu budou přidány později do Notebooku)
Odkaz na anglickou verzi:
Pokud se vám můj obsah líbí, zvažte prosím koupi kávy.
Děkuji za vaši podporu!
Průzkumu se mohou zúčastnit pouze registrovaní uživatelé. , prosím.
Jaká je budoucnost stavebnictví v San Franciscu?
-
66,7%Stavební sektor spíše půjde cestou Bitcoinu2
-
0,0%Stavební sektor může jít cestou cen zlata0
-
0,0%Sektor očekává humbuk v příštích 10 letech0
-
33,3%Vývoj odvětví nejde podle vzorů1
Hlasovalo 3 uživatelů. 6 uživatelů se zdrželo hlasování.
Zdroj: www.habr.com