Ova serija članaka posvećena je proučavanju građevinske aktivnosti u glavnom gradu Silikonske doline - San Franciscu. San Francisco je tehnološka „Moskva“ našeg svijeta, koja svojim primjerom (uz pomoć otvorenih podataka) promatra razvoj građevinske industrije u velikim gradovima i glavnim gradovima.
Izgradnja grafikona i proračuna izvršena je u (na platformi Kaggle.com).
Podaci o više od milion građevinskih dozvola (zapisi u dva skupa podataka) iz Odjeljenja za građevine San Francisca - omogućavaju analizirati ne samo građevinsku aktivnost u gradu, ali i kritički razmotriti najnoviji trendovi i istorija razvoja građevinske industrije u proteklih 40 godina, između 1980. i 2019. godine.
Otvoreni podaci omogućavaju istraživanje glavni faktori koji su uticali i koji će uticati na razvoj građevinske industrije u gradu, dijeleći ih na “spoljašnje” (ekonomski procvat i krize) i “unutrašnje” (utjecaj praznika i sezonsko-godišnjih ciklusa).
Sadržaj
Otvoreni podaci i pregled osnovnih parametara.
Ovo nije prijevod članka. Pišem na LinkedIn-u i da ne bih pravio grafike na nekoliko jezika, sve grafike su na engleskom.
Link do drugog dela:
Podaci o građevinskoj dozvoli grada San Francisca - sa portala otvorenih podataka - . Portal ima nekoliko skupova podataka na temu izgradnje. Dva takva skupa podataka čuvaju i ažuriraju podatke o izdatim dozvolama za izgradnju ili popravku objekata u gradu:
- (850 hiljada zapisa)
- (280 hiljada zapisa, podaci se preuzimaju i ažuriraju sedmično)
Ovi skupovi podataka sadrže podatke o izdatim građevinskim dozvolama, sa različitim karakteristikama objekta za koji se dozvola izdaje. Ukupan broj primljenih unosa (dozvola). u periodu 1980-2019 - 1 dozvola.
Glavni parametri iz ovog skupa podataka koji su korišteni za analizu:
- permit_creation_date — datum kreiranja aplikacije (u stvari, dan kada počinju građevinski radovi)
- opis — opis zahtjeva (dvije ili tri ključne riječi koje opisuju građevinski projekat (rad) za koji je izdata dozvola)
- procijenjena_cijena — procijenjene (procijenjene) cijene građevinskih radova
- revised_cost — revidirani trošak (trošak rada nakon revalorizacije, povećanje ili smanjenje početnih količina aplikacije)
- postojeće_upotrebe - tip stanovanja (jedno-, dvoporodična kuća, stanovi, poslovni prostori, proizvodnja itd.)
- poštanski broj, lokacija — poštanski broj i koordinate objekta
Godišnja građevinska aktivnost u San Franciscu
Grafikon ispod prikazuje parametre procijenjena_cijena и revised_cost prikazano kao distribucija ukupne cijene rada po mjesecima.
data_cost_m = data_cost.groupby(pd.Grouper(freq='M')).sum()Da bi se smanjili mjesečni "odličici", mjesečni podaci su grupirani po godinama. Grafikon iznosa uloženog novca po godinama dobio je logičniji i analitičniji oblik.
data_cost_y = data_cost.groupby(pd.Grouper(freq='Y')).sum()
Na osnovu godišnjeg kretanja zbira troškova (sve dozvole za godinu) prema gradskim objektima jasno su vidljivi ekonomski faktori koji su uticali od 1980. do 2019. godine o broju i cijeni građevinskih projekata ili na drugi način o investicijama u nekretnine u San Franciscu.
Broj građevinskih dozvola (broj građevinskih poslova ili broj investicija) u proteklih 40 godina bio je usko povezan sa ekonomskom aktivnošću u Silicijumskoj dolini.
Prvi vrhunac građevinskih aktivnosti bio je povezan s elektronikom sredinom 80-ih u dolini. Recesija elektronike i bankarstva koja je uslijedila 1985. godine dovela je regionalno tržište nekretnina u pad od kojeg se nije oporavilo skoro čitavu deceniju.
Nakon toga, još dva puta (1993-2000 i 2009-2016) prije kolapsa Dotcom balona i tehnološkog buma posljednjih godina Građevinska industrija San Francisca doživjela je paraboličan rast od nekoliko hiljada posto..
Uklanjanjem srednjih vrhova i padova i ostavljanjem minimalnih i maksimalnih vrijednosti za svaki ekonomski ciklus, jasno je koliko su velike tržišne fluktuacije mučile industriju u posljednjih 40 godina.
Najveći porast investicija u građevinarstvu dogodio se tokom dot-com buma, kada je između 1993. i 2001. godine uloženo 10 milijardi dolara u renoviranje i izgradnju, ili približno milijardu dolara godišnje. Ako računamo u kvadratnim metrima (cijena 1 m² 1. je 1995 dolara), to je otprilike 3000 m350 godišnje za 000 godina, počevši od 2. godine.
Rast ukupnih godišnjih investicija u ovom periodu iznosio je 1215%.
Kompanije koje su iznajmljivale građevinsku opremu tokom ovog perioda bile su slične kompanijama koje su prodavale lopate tokom zlatne groznice (u istom regionu sredinom 19. veka). Samo umjesto lopata, 2000-ih su već postojale dizalice i betonske pumpe za novoformirane građevinske kompanije koje su htjele zaraditi na građevinskom bumu.
Nakon svake od mnogih kriza koje je građevinska industrija iskusila tokom godina, u naredne dvije postkrizne godine, investicije (iznos zahtjeva za izdavanje dozvola) za gradnju svaki put pao za najmanje 50%..
Najveće krize u građevinskoj industriji San Francisca dogodile su se 90-ih godina. Pri čemu je, sa periodičnošću od 5 godina, industrija ili padala (-85% u periodu 1983-1986.), a zatim ponovo rasla (+895% u periodu 1988-1992.), ostajući na godišnjem nivou u 1981., 1986., 1988. , 1993 - na istom nivou.
Nakon 1993. godine svi kasniji padovi u građevinarstvu nisu iznosili više od 50%. Ali približava se ekonomska kriza (zbog COVID-19) može stvoriti rekordnu krizu u građevinskoj industriji u periodu 2017-2021, čiji pad već u periodu 2017-2019 iznosi ukupno više od 60%.
Rast stanovništva San Francisca dinamiku iu periodu 1980-1993 pokazao skoro eksponencijalni rast. Ekonomska snaga i inovativna energija Silicijumske doline bila je čvrsta osnova na kojoj je izgrađena hiperbola nove ekonomije, američke renesanse i dot-com-a. Bio je to epicentar nove ekonomije. Ali za razliku od porasta ulaganja u nekretnine, nakon vrhunca dot-com-a, stanovništvo je zapravo palo na plato.
Prije vrhunca dot-com-a 2001. godine, godišnji rast stanovništva od 1950. godine iznosio je otprilike 1% godišnje. Zatim, nakon kolapsa balona, priliv novog stanovništva je usporen i od 2001. godine iznosi samo 0.2 posto godišnje.
U 2019. godini (prvi put od 1950. godine) dinamika rasta pokazala je odliv stanovništva (-0.21% ili 7000 ljudi) iz grada San Francisca.
Očekivanja i realnost prilikom izrade troškovnika
U korištenim skupovima podataka, podaci o cijeni dozvole za građevinski projekat podijeljeni su na:
- originalna procijenjena cijena (procijenjena_cijena)
- trošak rada nakon revalorizacije (revised_cost)
U vrijeme ekspanzije, glavna svrha revalorizacije je povećanje početnog troška, kada investitor (kupac izgradnje) pokaže apetit nakon početka izgradnje.
Tokom krize nastoje da ne premaše procijenjene troškove, a početne procjene se praktično ne mijenjaju (osim zemljotresa 1989.).
Prema grafikonu izgrađenom na razlici između revaloriziranog i procijenjenog troška (revidirani_trošak - procijenjeni_trošak), može se uočiti da:
Visina povećanja troškova pri revalorizaciji obima građevinskih radova direktno zavisi od ciklusa ekonomskog buma
data_spread = data_cost.assign(spread = (data_cost.revised_cost-data_cost.estimated_cost))
U periodima brzog ekonomskog rasta, kupci rada (investitori) prilično izdašno troše svoja sredstva, povećavajući svoje zahtjeve nakon početka rada.
Kupac (investitor), osjećajući se finansijski sigurnim, traži od izvođača radova ili arhitekte da produži već izdatu građevinsku dozvolu. Ovo može biti odluka o povećanju početne dužine bazena ili povećanju površine kuće (nakon početka radova i izdavanja građevinske dozvole).
Na vrhuncu dot-com ere, takvi "dodatni" troškovi dostizali su "dodatnu" milijardu godišnje.
Ako pogledate ovu tabelu već u procentualnim promjenama, onda se vršno povećanje procjene (100% ili 2 puta od prvobitne procijenjene cijene) dogodilo u godini prije potresa koji se dogodio 1989. u blizini grada. Pretpostavljam da su nakon zemljotresa građevinski projekti započeti 1988. godine zahtijevali, nakon zemljotresa 1989. godine, više vremena i sredstava za realizaciju.
S druge strane, revizija procijenjenih troškova naniže (koja se dogodila samo jednom u periodu od 1980. do 2019.) nekoliko godina prije potresa je vjerovatno zbog činjenice da su neki projekti započeti 1986.-1987. zamrznuti ili su ulaganja u ove projekte smanjena dole. Na rasporedu u prosjeku za svaki projekat započet 1987. godine - smanjenje procijenjenih troškova bilo je -20% prvobitnog plana.
data_spred_percent = data_cost_y.assign(spred = ((data_cost_y.revised_cost-data_cost_y.estimated_cost)/data_cost_y.estimated_cost*100))
Povećanje početne procijenjene cijene za više od 40% je ukazivalo ili je bilo moguće posljedica približavanja balona na finansijskom, a potom i građevinskom tržištu.
Koji je razlog smanjenja raspona (razlike) između procijenjenih i revidiranih troškova nakon 2007. godine?
Možda su investitori počeli pažljivo gledati brojke (prosječni iznos tokom 20 godina porastao je sa 100 hiljada dolara na 2 miliona dolara) ili je možda odjel za građevinarstvo, sprječavajući i inhibirajući pojavu balona na tržištu nekretnina, uveo nova pravila i ograničenja kako bi smanjio moguće manipulacije i mogući rizici koji će se pojaviti tokom kriznih godina.
Građevinska djelatnost ovisno o godišnjem dobu
Grupiranjem podataka po kalendarskim sedmicama u godini (54 sedmice), možete pratiti građevinsku aktivnost u gradu San Francisco ovisno o sezoni i godišnjem dobu.
Do Božića sve građevinske organizacije pokušavaju na vrijeme dobiti dozvolu za nove „velike“ projekte. (u isto vrijeme! broj! dozvola u tim istim mjesecima je na istom nivou tokom cijele godine). Investitori, koji planiraju da dobiju svoju nekretninu u narednih godinu dana, sklapaju ugovore u zimskim mjesecima, računajući na velike popuste (budući da se ljetni ugovori, uglavnom, privode kraju do kraja godine, a građevinske kompanije su zainteresovane u prijemu novih prijava).
Prije Božića podnosi se najveći broj prijava (povećanje sa prosečnih 1-1,5 milijardi mesečno na 5 milijardi samo u decembru). Istovremeno, ukupan broj prijava po mjesecima ostaje na istom nivou (vidi odjeljak ispod: statistika ukupnog broja prijava po mjesecu i danu)
Poslije zimskih praznika građevinska industrija aktivno planira i provodi „božićne“ narudžbe (skoro da nema povećanja broja dozvola) kako bi do sredine godine (prije praznika Dana nezavisnosti) oslobodila resurse prije novog val ljetnih ugovora počinje odmah nakon junskih praznika.
data_month_year = data_month_year.assign(week_year = data_month_year.permit_creation_date.dt.week)
data_month_year = data_month_year.groupby(['week_year'])['estimated_cost'].sum()
Isti podaci o procentima (narandžasta linija) takođe pokazuju da industrija posluje „uglađeno“ tokom cele godine, ali pre i posle praznika, aktivnost na dozvolama raste na 150% u periodu između 20. i 24. nedelje (pre Dana nezavisnosti), a pada odmah nakon praznika do -70%.
Prije Noći vještica i Božića, aktivnost u građevinskoj industriji San Francisca raste za 43% tokom sedmice 44-150 (od dna do vrha), a zatim se smanjuje na nulu tokom praznika.
Dakle, industrija se nalazi u šestomjesečnom ciklusu, koji su razdvojeni praznicima “Dan nezavisnosti SAD” (20. sedmica) i “Božić” (52. sedmica).
Ukupna investicija u nekretnine u San Franciscu
Na osnovu podataka o građevinskim dozvolama u gradu:
Ukupna investicija u građevinske projekte u San Francisku od 1980. do 2019. iznosi 91,5 milijardi dolara.
sf_worth = data_location_lang_long.cost.sum()
Ukupna tržišna vrijednost svih stambenih nekretnina u San Franciscu procijenjena porezima na imovinu (što je procijenjena vrijednost svih nekretnina i cjelokupne lične imovine u vlasništvu San Francisca) .
U koja područja San Francisca su investirali u proteklih 40 godina?
Koristeći Folium biblioteku, da vidimo gdje je ovih 91,5 milijardi dolara uloženo po regijama. Da bismo to učinili, grupirajući podatke po poštanskom broju, prikazat ćemo rezultirajuće vrijednosti pomoću krugova (funkcija Circle iz biblioteke Folium).
import folium
from folium import Circle
from folium import Marker
from folium.features import DivIcon
# map folium display
lat = data_location_lang_long.lat.mean()
long = data_location_lang_long.long.mean()
map1 = folium.Map(location = [lat, long], zoom_start = 12)
for i in range(0,len(data_location_lang_long)):
Circle(
location = [data_location_lang_long.iloc[i]['lat'], data_location_lang_long.iloc[i]['long']],
radius= [data_location_lang_long.iloc[i]['cost']/20000000],
fill = True, fill_color='#cc0000',color='#cc0000').add_to(map1)
Marker(
[data_location_mean.iloc[i]['lat'], data_location_mean.iloc[i]['long']],
icon=DivIcon(
icon_size=(6000,3336),
icon_anchor=(0,0),
html='<div style="font-size: 14pt; text-shadow: 0 0 10px #fff, 0 0 10px #fff;; color: #000";"">%s</div>'
%("$ "+ str((data_location_lang_long.iloc[i]['cost']/1000000000).round()) + ' mlrd.'))).add_to(map1)
map1
Iz regiona je jasno da Većina kolača je logično otišla u DownTown. Pojednostavljeno grupisanje svih objekata po udaljenosti do centra grada i vremenu potrebnom da se stigne do centra (naravno, na obali se grade i skupe kuće), sve dozvole su podijeljene u 4 grupe: 'Downtown' , '<0.5H centar', '< 1H centar', 'Izvan SF'.
from geopy.distance import vincenty
def distance_calc (row):
start = (row['lat'], row['long'])
stop = (37.7945742, -122.3999445)
return vincenty(start, stop).meters/1000
df_pr['distance'] = df_pr.apply (lambda row: distance_calc (row),axis=1)
def downtown_proximity(dist):
'''
< 2 -> Near Downtown, >= 2, <4 -> <0.5H Downtown
>= 4, <6 -> <1H Downtown, >= 8 -> Outside SF
'''
if dist < 2:
return 'Downtown'
elif dist < 4:
return '<0.5H Downtown'
elif dist < 6:
return '<1H Downtown'
elif dist >= 6:
return 'Outside SF'
df_pr['downtown_proximity'] = df_pr.distance.apply(downtown_proximity)Od 91,5 milijardi uloženih u grad, skoro 70 milijardi (75% svih investicija) uloženih u popravke i izgradnju je u centru grada (zelena zona) i do gradskog područja u radijusu od 2 km. od centra (plava zona).
Prosječna procijenjena cijena građevinske aplikacije po gradskoj četvrti
Svi podaci, kao i ukupni iznos investicije, grupirani su po poštanskim brojevima. Samo u ovom slučaju sa prosječnim (.mean()) procijenjenim troškovima aplikacije po poštanskom broju.
data_location_mean = data_location.groupby(['zipcode'])['lat','long','estimated_cost'].mean()
U uobičajenim dijelovima grada (više od 2 km od centra grada) - prosječna procijenjena cijena građevinske aplikacije je 50 hiljada dolara.
Prosječna procijenjena cijena u centru grada je otprilike tri puta veća (150 hiljada do 400 hiljada dolara) nego u drugim oblastima (30-50 hiljada dolara).
Pored cijene zemljišta, tri faktora određuju ukupne troškove izgradnje kuće: rad, materijal i državne naknade. Ove tri komponente su veće u Kaliforniji nego u ostatku zemlje. Kalifornijski građevinski propisi smatraju se jednim od najsveobuhvatnijih i najstrožih u zemlji (zbog zemljotresa i ekoloških propisa), često zahtijevajući skuplje materijale i rad.
Na primjer, vlada zahtijeva od građevinara da koriste kvalitetniji građevinski materijal (prozore, izolaciju, sisteme grijanja i hlađenja) kako bi postigli visoke standarde energetske efikasnosti.
Iz opšte statistike o prosječnim troškovima zahtjeva za izdavanje dozvole izdvajaju se dvije lokacije:
- Treasure Island - umjetno ostrvo u zaljevu San Francisco. Prosječna procijenjena cijena građevinske dozvole je 6,5 miliona dolara.
- Mission bay — (2926 stanovnika) Prosječna procijenjena cijena građevinske dozvole je 1,5 miliona dolara.
U stvari, visoka prosječna primjena u ove dvije oblasti je povezana sa najmanjim brojem prijava za ove poštanske lokacije (145 odnosno 3064, gradnja na ostrvu je vrlo ograničena), dok za ostale poštanske brojeve - XNUMXi period 1980-2019 primio oko 1300 prijava godišnje (ukupno u prosjeku 30 -50 hiljada prijava za cijeli period).
Prema parametru “broj prijava” uočljiva je savršeno ravnomjerna raspodjela broja prijava po poštanskom broju u cijelom gradu.
Statistika ukupnog broja prijava po mjesecu i danu
Ukupna statistika o ukupnom broju prijava po mjesecima i danima u sedmici između 1980. i 2019. pokazuje da Najmirniji mjeseci za građevinsko odjeljenje su proljetni i zimski mjeseci. Istovremeno, iznos ulaganja koji je naveden u prijavama uvelike varira i povremeno se razlikuje od mjeseca do mjeseca (vidi dodatno „Građevinska aktivnost u zavisnosti od sezone“). Među danima u sedmici, ponedjeljkom je opterećenje odjeljenja približno 20% manje nego ostalim danima u sedmici.
months = [ 'January', 'February', 'March', 'April', 'May','June', 'July', 'August', 'September', 'October', 'November', 'December' ]
data_month_count = data_month.groupby(['permit_creation_date']).count().reindex(months)
Dok su juni i jul praktično isti po broju prijava, u pogledu ukupnih procenjenih troškova razlika dostiže 100% (4,3 milijarde u maju i julu i 8,2 milijarde u junu).
data_month_sum = data_month.groupby(['permit_creation_date']).sum().reindex(months)
Budućnost građevinske industrije San Francisca, predviđanje aktivnosti prema obrascima.
Na kraju, uporedimo grafikon građevinskih aktivnosti u San Franciscu sa grafikonom cijena bitkoina (2015-2018) i grafikonom cijena zlata (1940 - 1980).
Uzorak (od engleskog uzorka - model, uzorak) - u tehničkoj analizi se nazivaju stabilne ponavljajuće kombinacije podataka o cijeni, obimu ili indikatoru. Analiza uzoraka temelji se na jednom od aksioma tehničke analize: „povijest se ponavlja” – vjeruje se da ponovljene kombinacije podataka dovode do sličnog rezultata.
Glavni obrazac koji se može vidjeti na godišnjem grafikonu aktivnosti je Ovo je obrazac preokreta trenda “Glava i ramena”. Tako je nazvan jer grafikon izgleda kao ljudska glava (vrh) i ramena sa strane (manji vrhovi). Kada cijena probije liniju koja povezuje korita, obrazac se smatra završenim i kretanje će vjerovatno biti naniže.
Kretanja aktivnosti u građevinskoj industriji San Francisca gotovo se u potpunosti poklapaju s rastom cijene zlata i bitcoina. Istorijski učinak ova tri grafikona cijena i aktivnosti pokazuje značajne sličnosti.
Da biste mogli predvidjeti ponašanje građevinskog tržišta u budućnosti, potrebno je izračunati koeficijent korelacije sa svakim od ova dva trenda.
Dvije slučajne varijable se nazivaju koreliranim ako je njihov korelacijski moment (ili koeficijent korelacije) različit od nule; i nazivaju se nekorelisane veličine ako je njihov korelacioni moment jednak nuli.
Ako je rezultirajuća vrijednost bliža 0 nego 1, onda nema smisla govoriti o jasnom obrascu. Ovo je složen matematički problem, kojim bi se mogli pozabaviti stariji drugovi koje bi ova tema mogla zanimati.
Ako! nenaučno! pogledajte temu daljeg razvoja građevinske industrije u San Franciscu: ako se obrazac nastavi poklapati s cijenom Bitcoina, onda prema ovoj pesimističkoj opciji — izlazak iz krize građevinske industrije u San Franciscu neće biti lak u periodu neposredno nakon krize.
Sa "optimističnijom" opcijom razvoj, ponovljeni eksponencijalni rast u građevinskoj industriji je moguć ako aktivnost ovdje slijedi scenario “cijene zlata”. U ovom slučaju, za 20-30 godina (moguće za 10), građevinski sektor će se suočiti sa novim porastom zaposlenosti i razvoja.
Pobliže ću se osvrnuti na pojedine sektore građevinarstva (popravke krovova, kuhinja, izgradnja stepenica, kupatila, ako imate bilo kakve sugestije o djelatnostima ili drugim podacima - napišite u komentarima) i uporediti inflaciju za pojedine vrste radova sa fiksne stope na hipotekarne zajmove i profitabilnost državnih obveznica SAD (fiksne stope na hipoteku i prinos američkog trezora).
Link do drugog dela:
Link na Jupyter notebook:
Molimo, za one koji su sa Kaggle-om, dajte Notebook-u plus (Hvala!).
(Komentari i objašnjenja koda će biti dodati kasnije u Notebook)
Link do engleske verzije:
Ako vam se sviđa moj sadržaj, razmislite o tome da mi kupite kafu.
hvala na podršci!
Samo registrovani korisnici mogu učestvovati u anketi. molim.
Kakva budućnost nosi građevinsku industriju San Francisca?
-
66,7%Veća je vjerovatnoća da će građevinski sektor slijediti put Bitcoin2
-
0,0%Građevinski sektor može krenuti putem cijena zlata0
-
0,0%Sektor očekuje veliku popularnost u narednih 10 godina0
-
33,3%Razvoj sektora ne ide po šablonima1
Glasalo je 3 korisnika. Uzdržano je bilo 6 korisnika.
izvor: www.habr.com