Ova serija članaka posvećena je proučavanju građevinskih aktivnosti u glavnom gradu Silicijske doline - San Franciscu. San Francisco je tehnološka “Moskva” našeg svijeta, na njezinom primjeru (uz pomoć otvorenih podataka) promatramo razvoj građevinske industrije u velikim gradovima i prijestolnicama.
Izrada grafikona i izračuni provedeni su u (na platformi Kaggle.com).
Podaci o više od milijun građevinskih dozvola (zapisi u dva skupa podataka) iz Graditeljskog odjela San Francisca - dopušta analizirati ne samo građevinsku aktivnost u gradu, ali i kritički razmotriti najnoviji trendovi i povijest razvoja građevinske industrije u proteklih 40 godina, između 1980. i 2019. godine.
Otvoreni podaci omogućuju istraživanje glavni čimbenici koji su utjecali i koji će utjecati na razvoj građevinske industrije u gradu, dijeleći ih na “vanjske” (ekonomski uzleti i krize) i “unutarnje” (utjecaj praznika i sezonsko-godišnjih ciklusa).
sadržaj
Otvoreni podaci i pregled osnovnih parametara.
Ovo nije prijevod članka. Pišem na LinkedInu i kako ne bih stvarao grafike na nekoliko jezika, sve grafike su na engleskom.
Link na drugi dio:
Podaci o građevinskim dozvolama grada San Francisca - s portala otvorenih podataka - . Portal ima nekoliko skupova podataka na temu izgradnje. Dva takva skupa podataka pohranjuju i ažuriraju podatke o dozvolama izdanim za izgradnju ili popravak objekata u gradu:
- (850 tisuća zapisa)
- (280 tisuća zapisa, podaci se preuzimaju i ažuriraju tjedno)
Ovi skupovi podataka sadrže informacije o izdanim građevinskim dozvolama, s različitim karakteristikama objekta za koji se dozvola izdaje. Ukupan broj primljenih unosa (dopuštenja). u razdoblju 1980-2019 - 1 dozvola.
Glavni parametri iz ovog skupa podataka koji su korišteni za analizu:
- datum_izrade_dozvole — datum izrade prijave (u stvari, dan početka građevinskih radova)
- opis — opis zahtjeva (dvije ili tri ključne riječi koje opisuju građevinski zahvat (rad) za koji je izrađena dozvola)
- procijenjena vrijednost — procijenjena (procijenjena) cijena građevinskih radova
- revidirani_trošak — revidirani trošak (trošak rada nakon revalorizacije, povećanja ili smanjenja početnih obujma primjene)
- postojeća_uporaba - vrsta stanovanja (kuće s jednom, dvije obitelji, stanovi, uredi, proizvodnja i sl.)
- poštanski broj, mjesto — poštanski broj i koordinate objekta
Godišnja građevinska aktivnost u San Franciscu
Grafikon ispod prikazuje parametre procijenjena vrijednost и revidirani_trošak prikazano kao raspodjela ukupnih troškova rada po mjesecima.
data_cost_m = data_cost.groupby(pd.Grouper(freq='M')).sum()Kako bi se smanjili mjesečni "outlieri", mjesečni podaci grupirani su po godinama. Grafikon iznosa uloženog novca po godinama dobio je logičniji i analitičniji oblik.
data_cost_y = data_cost.groupby(pd.Grouper(freq='Y')).sum()
Na temelju godišnjeg kretanja zbroja troškova (sve dozvole za godinu) na gradske sadržaje jasno su vidljivi ekonomski čimbenici koji su utjecali od 1980. do 2019. godine o broju i cijeni građevinskih projekata ili pak o ulaganjima u nekretnine u San Franciscu.
Broj građevinskih dozvola (broj građevinskih poslova ili broj investicija) u posljednjih 40 godina usko je povezan s gospodarskom aktivnošću u Silicijskoj dolini.
Prvi vrhunac građevinske aktivnosti povezan je s pompom elektronike sredinom 80-ih u dolini. Recesija elektronike i bankarstva koja je uslijedila 1985. poslala je regionalno tržište nekretnina u pad od kojeg se nije oporavilo gotovo desetljeće.
Nakon toga, još dva puta (1993.-2000. i 2009.-2016.) prije kolapsa Dotcom balona i tehnološkog procvata posljednjih godina Građevinska industrija San Francisca doživjela je paraboličan rast od nekoliko tisuća posto..
Uklanjanjem srednjih vrhova i najnižih vrijednosti i ostavljanjem minimalnih i maksimalnih vrijednosti za svaki ekonomski ciklus, jasno je koliko su velike tržišne fluktuacije mučile industriju u proteklih 40 godina.
Najveći porast ulaganja u građevinarstvo dogodio se tijekom dot-com booma, kada je između 1993. i 2001. godine uloženo 10 milijardi dolara u obnovu i izgradnju, odnosno približno milijardu dolara godišnje. Ako računamo u četvornim metrima (cijena 1 m² 1. godine je 1995 dolara), to je otprilike 3000 350 m000 godišnje za 2 godina, počevši od 10. godine.
Rast ukupnih godišnjih investicija u ovom razdoblju iznosio je 1215%.
Tvrtke koje su u tom razdoblju iznajmljivale građevinsku opremu bile su slične tvrtkama koje su prodavale lopate tijekom zlatne groznice (u istoj regiji sredinom 19. stoljeća). Samo što su umjesto lopata 2000-ih već postojale dizalice i betonske pumpe za novonastale građevinske tvrtke koje su htjele zaraditi na građevinskom bumu.
Nakon svake od brojnih kriza koje je građevinska industrija proživjela tijekom godina, u sljedeće dvije godine nakon krize, ulaganja (količina zahtjeva za dozvole) za građenje pao za najmanje 50% svaki put.
Najveće krize u građevinskoj industriji San Francisca dogodile su se 90-ih godina. Gdje je, s periodičnošću od 5 godina, industrija ili pala (-85% u razdoblju 1983.-1986.), zatim ponovno porasla (+895% u razdoblju 1988.-1992.), ostajući u godišnjim okvirima 1981., 1986., 1988. , 1993. - na istoj razini.
Nakon 1993. godine svi kasniji padovi u građevinarstvu nisu bili veći od 50%. Ali približavanje ekonomske krize (zbog COVID-19) mogao stvoriti rekordnu krizu u građevinskoj industriji u razdoblju 2017.-2021., čiji pad već u razdoblju 2017.-2019. iznosi ukupno više od 60%.
Rast stanovništva San Francisca dinamika u razdoblju 1980-1993 također pokazao gotovo eksponencijalni rast. Ekonomska snaga i inovativna energija Silicijske doline bili su čvrsti temelji na kojima je izgrađena hiperbola Nove ekonomije, američke renesanse i dot-coma. Bio je to epicentar nove ekonomije. No, za razliku od porasta ulaganja u nekretnine, nakon vrhunca dot-coma, broj stanovnika zapravo je stao.
Prije vrhunca dot-coma 2001. godine, godišnji rast stanovništva od 1950. iznosio je otprilike 1% godišnje. Zatim, nakon kolapsa mjehura, priljev novog stanovništva je usporen i od 2001. iznosi samo 0.2 posto godišnje.
U 2019. (prvi put od 1950.) dinamika rasta pokazala je odljev stanovništva (-0.21% ili 7000 ljudi) iz grada San Francisca.
Očekivanje i realnost pri izradi troškovnika
U korištenim skupovima podataka podaci o trošku dozvole za građevinski projekt podijeljeni su na:
- izvorni procijenjeni trošak (procijenjena vrijednost)
- trošak rada nakon revalorizacije (revidirani_trošak)
U vrijeme procvata glavna svrha revalorizacije je povećanje početnog troška, kada investitor (kupac izgradnje) pokaže apetit nakon početka gradnje.
Tijekom krize nastoje ne premašiti procijenjene troškove, a početne se procjene praktički ne mijenjaju (osim potresa 1989.).
Prema grafikonu izgrađenom na razlici između revaloriziranog i procijenjenog troška (revised_cost - procijenjeni_trošak), može se uočiti da:
Visina povećanja troškova pri revalorizaciji obujma građevinskih radova izravno ovisi o ciklusima gospodarskog rasta
data_spread = data_cost.assign(spread = (data_cost.revised_cost-data_cost.estimated_cost))
U razdobljima brzog gospodarskog rasta, naručitelji posla (investitori) prilično velikodušno troše svoja sredstva, povećavajući svoje zahtjeve nakon početka radova.
Kupac (investitor) u financijskoj sigurnosti traži od izvođača ili arhitekta produljenje već izdane građevinske dozvole. To može biti odluka o povećanju početne dužine bazena ili povećanju površine kuće (nakon početka radova i izdavanja građevinske dozvole).
Na vrhuncu dot-com ere, takvi "dodatni" troškovi dosegli su "dodatnu" milijardu godišnje.
Ako pogledate ovu tablicu već u postotnoj promjeni, tada se vrhunac povećanja procjene (100% ili 2 puta od izvorne procijenjene cijene) dogodio u godini prije potresa koji se dogodio 1989. u blizini grada. Pretpostavljam da su nakon potresa građevinski projekti koji su započeti 1988. godine zahtijevali, nakon potresa 1989. godine, više vremena i sredstava za realizaciju.
Suprotno tome, revizija procijenjenih troškova naniže (koja se dogodila samo jednom u razdoblju od 1980. do 2019.) nekoliko godina prije potresa vjerojatno je posljedica činjenice da su neki projekti započeti 1986.-1987. zamrznuti ili su ulaganja u te projekte prekinuta dolje. Na rasporedu u prosjeku za svaki projekt započet 1987. - smanjenje procijenjenih troškova bilo je -20% od prvotnog plana.
data_spred_percent = data_cost_y.assign(spred = ((data_cost_y.revised_cost-data_cost_y.estimated_cost)/data_cost_y.estimated_cost*100))
Povećanje početne procijenjene cijene za više od 40% ukazivalo je ili je moguće bilo posljedica približavanja balona na financijskom, a potom i građevinskom tržištu.
Koji je razlog smanjenja raspona (razlike) između procijenjenih i revidiranih troškova nakon 2007. godine?
Možda su investitori počeli pažljivo promatrati brojke (prosječni iznos tijekom 20 godina porastao je sa 100 tisuća dolara na 2 milijuna dolara) ili je možda građevinski odjel, sprječavajući i kočeći nastajanje balona na tržištu nekretnina, uveo nova pravila i ograničenja kako bi smanjio moguće manipulacije. te mogući rizici koji će se pojaviti tijekom kriznih godina.
Građevinska djelatnost ovisno o godišnjem dobu
Grupiranjem podataka po kalendarskim tjednima u godini (54 tjedna), možete promatrati građevinske aktivnosti u gradu San Franciscu ovisno o sezoni i dobu godine.
Do Božića sve građevinske organizacije pokušavaju na vrijeme dobiti dozvolu za nove "velike" projekte. (istovremeno! broj! dozvola u tim istim mjesecima je na istoj razini tijekom cijele godine). Investitori koji svoju nekretninu planiraju dobiti u sljedećoj godini sklapaju ugovore u zimskim mjesecima, računajući na velike popuste (jer ljetni ugovori uglavnom istječu do kraja godine i zainteresirane su građevinske tvrtke u primanju novih prijava).
Uoči Božića predaju se najveći iznosi zahtjeva (povećanje s prosječnih 1-1,5 milijardi mjesečno na 5 milijardi samo u prosincu). Istovremeno, ukupan broj prijava po mjesecima ostaje na istoj razini (pogledajte odjeljak u nastavku: statistika o ukupnom broju prijava po mjesecu i danu)
Nakon zimskih praznika, građevinska industrija aktivno planira i provodi „božićne“ narudžbe (bez gotovo nikakvog povećanja broja dozvola) kako bi do sredine godine (prije praznika Dana neovisnosti) oslobodila resurse prije novog val ljetnih ugovora počinje odmah nakon lipanjskih praznika.
data_month_year = data_month_year.assign(week_year = data_month_year.permit_creation_date.dt.week)
data_month_year = data_month_year.groupby(['week_year'])['estimated_cost'].sum()
Isti postotni podatak (narančasta linija) također pokazuje da industrija radi "glatko" tijekom cijele godine, ali prije i nakon praznika aktivnost na dozvolama raste na 150% u razdoblju između 20. i 24. tjedna (prije Dana neovisnosti), a smanjuje odmah nakon praznika do -70%.
Prije Noći vještica i Božića, aktivnost u građevinskoj industriji San Francisca povećava se za 43% tijekom tjedna 44-150 (od dna do vrhunca), a zatim se smanjuje na nulu tijekom praznika.
Dakle, industrija je u šestomjesečnom ciklusu, koji je odvojen praznicima “Dan nezavisnosti SAD-a” (20. tjedan) i “Božić” (52. tjedan).
Ukupno ulaganje u nekretnine u San Franciscu
Na temelju podataka o građevinskim dozvolama u gradu:
Ukupna ulaganja u građevinske projekte u San Franciscu od 1980. do 2019. iznose 91,5 milijardi dolara.
sf_worth = data_location_lang_long.cost.sum()
Ukupna tržišna vrijednost svih stambenih nekretnina u San Franciscu procijenjena porezom na imovinu (što je procijenjena vrijednost svih nekretnina i sve osobne imovine u vlasništvu San Francisca) .
U koja su područja San Francisca ulagali u proteklih 40 godina?
Koristeći biblioteku Folium, pogledajmo gdje je ovih 91,5 milijardi dolara uloženo po regijama. Da bismo to učinili, grupirajući podatke prema poštanskom broju, predstavit ćemo dobivene vrijednosti pomoću krugova (funkcija Circle iz biblioteke Folium).
import folium
from folium import Circle
from folium import Marker
from folium.features import DivIcon
# map folium display
lat = data_location_lang_long.lat.mean()
long = data_location_lang_long.long.mean()
map1 = folium.Map(location = [lat, long], zoom_start = 12)
for i in range(0,len(data_location_lang_long)):
Circle(
location = [data_location_lang_long.iloc[i]['lat'], data_location_lang_long.iloc[i]['long']],
radius= [data_location_lang_long.iloc[i]['cost']/20000000],
fill = True, fill_color='#cc0000',color='#cc0000').add_to(map1)
Marker(
[data_location_mean.iloc[i]['lat'], data_location_mean.iloc[i]['long']],
icon=DivIcon(
icon_size=(6000,3336),
icon_anchor=(0,0),
html='<div style="font-size: 14pt; text-shadow: 0 0 10px #fff, 0 0 10px #fff;; color: #000";"">%s</div>'
%("$ "+ str((data_location_lang_long.iloc[i]['cost']/1000000000).round()) + ' mlrd.'))).add_to(map1)
map1
Iz krajeva je jasno da Većina kolača logično je pripala DownTown-u. Pojednostavljenim grupiranjem svih objekata prema udaljenosti od centra grada i vremenu potrebnom za dolazak do centra grada (naravno, na obali se grade i skupe kuće), sve dozvole podijeljene su u 4 skupine: 'Downtown' , '<0.5H centar grada', '< 1H centar grada', 'Izvan SF'.
from geopy.distance import vincenty
def distance_calc (row):
start = (row['lat'], row['long'])
stop = (37.7945742, -122.3999445)
return vincenty(start, stop).meters/1000
df_pr['distance'] = df_pr.apply (lambda row: distance_calc (row),axis=1)
def downtown_proximity(dist):
'''
< 2 -> Near Downtown, >= 2, <4 -> <0.5H Downtown
>= 4, <6 -> <1H Downtown, >= 8 -> Outside SF
'''
if dist < 2:
return 'Downtown'
elif dist < 4:
return '<0.5H Downtown'
elif dist < 6:
return '<1H Downtown'
elif dist >= 6:
return 'Outside SF'
df_pr['downtown_proximity'] = df_pr.distance.apply(downtown_proximity)Od 91,5 milijardi uloženih u grad, gotovo 70 milijardi (75% svih investicija) uloženih u popravke i izgradnju je u središtu grada (zelena zona) te do gradskog područja u krugu od 2 km. od centra (plava zona).
Prosječna procijenjena cijena prijave izgradnje po gradskim četvrtima
Svi podaci, kao i kod ukupnog iznosa ulaganja, grupirani su prema poštanskim brojevima. Samo u ovom slučaju s prosječnom (.mean()) procijenjenom cijenom aplikacije prema poštanskom broju.
data_location_mean = data_location.groupby(['zipcode'])['lat','long','estimated_cost'].mean()
U običnim dijelovima grada (više od 2 km od centra grada) - prosječna procijenjena cijena građevinske aplikacije je 50 tisuća dolara.
Prosječna procijenjena cijena u gradskom središtu je otprilike tri puta veća (150 do 400 tisuća dolara) nego u drugim područjima (30-50 tisuća dolara).
Uz cijenu zemljišta, tri čimbenika određuju ukupne troškove izgradnje kuće: rad, materijali i državne naknade. Ove tri komponente više su u Kaliforniji nego u ostatku zemlje. Kalifornijski građevinski propisi smatraju se jednima od najopsežnijih i najstrožih u zemlji (zbog potresa i ekoloških propisa), koji često zahtijevaju skuplje materijale i rad.
Na primjer, vlada zahtijeva od građevinara da koriste kvalitetnije građevinske materijale (prozore, izolaciju, sustave grijanja i hlađenja) kako bi postigli visoke standarde energetske učinkovitosti.
Iz opće statistike prosječne cijene zahtjeva za izdavanje dozvole izdvajaju se dvije lokacije:
- Treasure Island - umjetni otok u zaljevu San Francisca. Prosječna procijenjena cijena građevinske dozvole je 6,5 milijuna dolara.
- Mission Bay — (2926 stanovnika) Prosječna procijenjena cijena građevinske dozvole je 1,5 milijuna dolara.
Zapravo, visoka prosječna primjena u ova dva područja je povezana s najmanjim brojem prijava za te poštanske lokacije (145 odnosno 3064, gradnja na otoku je vrlo ograničena), dok za ostale poštanske brojeve - XNUMXi razdoblje 1980.-2019. primalo je približno 1300 prijava godišnje (ukupno u prosjeku 30 -50 tisuća prijava za cijelo razdoblje).
Prema parametru “broj prijava” uočljiva je savršeno ravnomjerna raspodjela broja prijava po poštanskim brojevima u cijelom gradu.
Statistika o ukupnom broju prijava po mjesecima i danima
Ukupna statistika o ukupnom broju prijava po mjesecima i danima u tjednu između 1980. i 2019. pokazuje da Najmirniji mjeseci za građevinski odjel su proljetni i zimski mjeseci. Istodobno, iznosi ulaganja navedeni u zahtjevima jako variraju i ponekad se razlikuju od mjeseca do mjeseca (vidi dodatno “Građevinske aktivnosti ovisno o sezoni”). Među danima u tjednu, u ponedjeljak je opterećenje odjela približno 20% manje nego ostalim danima u tjednu.
months = [ 'January', 'February', 'March', 'April', 'May','June', 'July', 'August', 'September', 'October', 'November', 'December' ]
data_month_count = data_month.groupby(['permit_creation_date']).count().reindex(months)
Dok su lipanj i srpanj praktički isti po broju prijava, po ukupnom procijenjenom trošku razlika doseže 100% (4,3 milijarde u svibnju i srpnju te 8,2 milijarde u lipnju).
data_month_sum = data_month.groupby(['permit_creation_date']).sum().reindex(months)
Budućnost građevinske industrije San Francisca, predviđanje aktivnosti prema uzorcima.
Na kraju, usporedimo grafikon građevinskih aktivnosti u San Franciscu s grafikonom cijena Bitcoina (2015.-2018.) i grafikonom cijena zlata (1940. - 1980.).
Uzorak (od engleskog uzorka - model, uzorak) - u tehničkoj analizi nazivaju se stabilne ponavljajuće kombinacije podataka o cijeni, volumenu ili indikatoru. Analiza uzoraka temelji se na jednom od aksioma tehničke analize: "povijest se ponavlja" - vjeruje se da ponovljene kombinacije podataka dovode do sličnog rezultata.
Glavni obrazac koji se može vidjeti na godišnjoj tablici aktivnosti je Ovo je obrazac preokreta trenda "Glava i ramena". Nazvana tako jer karta izgleda kao ljudska glava (vrh) i ramena sa strane (manji vrhovi). Kada cijena probije liniju koja povezuje donje vrijednosti, uzorak se smatra dovršenim i kretanje će vjerojatno biti prema dolje.
Kretanja aktivnosti u građevinskoj industriji San Francisca gotovo se u potpunosti podudaraju s rastom cijene zlata i bitcoina. Povijesni učinak ova tri grafikona cijena i aktivnosti pokazuje značajne sličnosti.
Kako bismo mogli predvidjeti ponašanje građevinskog tržišta u budućnosti, potrebno je izračunati koeficijent korelacije sa svakim od ova dva trenda.
Dvije slučajne varijable nazivamo koreliranima ako je njihov korelacijski moment (ili koeficijent korelacije) različit od nule; a nazivaju se nekoreliranim veličinama ako im je korelacijski moment jednak nuli.
Ako je rezultirajuća vrijednost bliža 0 nego 1, nema smisla govoriti o jasnom uzorku. Ovo je složen matematički problem, koji bi mogli preuzeti stariji drugovi koje bi ova tema mogla zanimati.
Ako! neznanstveno! pogledajte temu daljnjeg razvoja građevinske industrije u San Franciscu: ako se uzorak nastavi podudarati s cijenom Bitcoina, tada prema ovoj pesimističkoj opciji — izlazak iz krize u građevinskoj industriji San Francisca neće biti lak u razdoblju neposredno nakon krize.
S "optimističnijom" opcijom razvoja, moguć je ponovni eksponencijalni rast u građevinskoj industriji ako aktivnost ovdje slijedi scenarij "cijene zlata". U tom slučaju, za 20-30 godina (moguće za 10), građevinski sektor će se suočiti s novim valom zapošljavanja i razvoja.
Pogledat ću pobliže pojedine sektore gradnje (popravak krovova, kuhinja, izgradnja stepenica, kupaonica, ako imate prijedloge o djelatnostima ili druge podatke - napišite u komentarima) i usporediti inflaciju za pojedine vrste radova s fiksne stope na hipotekarne kredite i profitabilnost američkih državnih obveznica (Fixed Mortgage Rates & US Treasury Yield).
Link na drugi dio:
Link na Jupyter Notebook:
Molimo, za one koji su s Kaggleom, dajte Notebooku plus (Hvala!).
(Komentari i objašnjenja koda bit će dodani kasnije u Bilježnici)
Link na englesku verziju:
Ako vam se sviđa moj sadržaj, razmislite o tome da me počastite kavom.
hvala na podršci!
U anketi mogu sudjelovati samo registrirani korisnici. , molim.
Kakva je budućnost građevinske industrije San Francisca?
-
66,7%Vjerojatnije je da će građevinski sektor slijediti put Bitcoina2
-
0,0%Građevinski sektor bi mogao slijediti putanju cijena zlata0
-
0,0%Sektor očekuje hype u sljedećih 10 godina0
-
33,3%Razvoj sektora ne ide prema obrascima1
Glasovalo je 3 korisnika. Suzdržano je bilo 6 korisnika.
Izvor: www.habr.com