Seri artikel iki dikhususake kanggo sinau babagan kegiatan konstruksi ing kutha utama Silicon Valley - San Francisco. San Francisco minangka teknologi "Moscow" ing donya kita, nggunakake contone (kanthi bantuan data mbukak) kanggo mirsani perkembangan industri konstruksi ing kutha-kutha gedhe lan ibukutha.
Konstruksi grafik lan petungan ditindakake ing (ing platform Kaggle.com).
Data ing luwih saka siji yuta ijin bangunan (cathetan ing rong dataset) saka Departemen Gedung San Francisco - ngidini njelasno ora mung kegiatan construction ing kutha, nanging uga kritis nimbang tren paling anyar lan sejarah pangembangan industri konstruksi sajrone 40 taun kepungkur, antarane 1980 lan 2019.
Open data ndadekake iku bisa kanggo njelajah faktor utama sing wis mengaruhi lan bakal mengaruhi pangembangan industri construction ing kutha, dibagi dadi "eksternal" (booms ekonomi lan krisis) lan "internal" (pengaruh preian lan siklus musiman-taunan).
Isi
Mbukak data lan mriksa paramèter baseline.
Iki dudu terjemahan saka artikel kasebut. Aku nulis ing LinkedIn lan supaya ora nggawe grafis ing sawetara basa, kabeh grafis ing Inggris.
Link menyang bagean kapindho:
Data Ijin Bangunan Kutha San Francisco - Saka Portal Data Terbuka - . Portal kasebut duwe sawetara set data babagan topik konstruksi. Loro set data kasebut nyimpen lan nganyari data babagan ijin sing ditanggepi kanggo pambangunan utawa ndandani obyek ing kutha:
- (850 ewu cathetan)
- (280 ewu cathetan, data diundhuh lan dianyari saben minggu)
Dataset kasebut ngemot informasi babagan ijin konstruksi sing ditanggepi, kanthi macem-macem karakteristik obyek sing ditanggepi ijin kasebut. Jumlah total entri (ijin) sing ditampa ing periode 1980-2019 - 1 ijin.
Parameter utama saka dataset iki sing digunakake kanggo analisis:
- ijin_nggawe_tanggal - tanggal nggawe aplikasi (nyatane, dina nalika karya konstruksi diwiwiti)
- katrangan - katrangan aplikasi (loro utawa telung tembung kunci sing nggambarake proyek konstruksi (karya) sing ijin digawe)
- taksiran_biaya - kira-kira (kira-kira) biaya karya konstruksi
- biaya_revisi - biaya sing diowahi (biaya kerja sawise evaluasi maneh, nambah utawa nyuda volume awal aplikasi)
- ana_nggunakake - jinis omah (omah siji, loro kulawarga, apartemen, kantor, produksi, lsp.)
- kode pos, lokasi - kode pos lan koordinat obyek
Kegiatan konstruksi taunan ing San Francisco
Grafik ing ngisor iki nuduhake paramèter taksiran_biaya и biaya_revisi dituduhake minangka distribusi saka total biaya karya saben sasi.
data_cost_m = data_cost.groupby(pd.Grouper(freq='M')).sum()Kanggo ngurangi "outlier" saben wulan, data saben wulan diklompokaké miturut taun. Grafik jumlah dhuwit sing diinvestasikan miturut taun wis ditampa kanthi bentuk sing luwih logis lan bisa dianalisis.
data_cost_y = data_cost.groupby(pd.Grouper(freq='Y')).sum()
Adhedhasar gerakan taunan saka jumlah biaya (kabeh ijin kanggo taun) kanggo fasilitas kutha faktor ekonomi sing dipengaruhi saka 1980 kanggo 2019 katon cetha babagan jumlah lan biaya proyek konstruksi, utawa liyane babagan investasi ing real estate San Francisco.
Jumlah ijin bangunan (jumlah proyek konstruksi utawa jumlah investasi) sajrone 40 taun kepungkur ana hubungane karo kegiatan ekonomi ing Silicon Valley.
Puncak pisanan kegiatan konstruksi digandhengake karo hype elektronik ing pertengahan 80-an ing lembah. Resesi elektronik lan perbankan ing taun 1985 nyebabake pasar real estate regional mudhun lan ora bisa pulih nganti meh sepuluh taun.
Sawisé iku, kaping pindho (ing taun 1993-2000 lan 2009-2016) sadurunge ambruk gelembung Dotcom lan boom teknologi ing taun-taun pungkasan. Industri konstruksi San Francisco wis ngalami pertumbuhan parabola sawetara ewu persen..
Kanthi ngilangi puncak lan palung penengah lan ninggalake nilai minimal lan maksimal kanggo saben siklus ekonomi, jelas kepiye fluktuasi pasar gedhe sing nyebabake industri sajrone 40 taun kepungkur.
Tambah paling gedhe ing investasi ing konstruksi dumadi nalika boom dot-com, nalika antarane 1993 lan 2001 $ 10 milyar diinvestasi ing renovasi lan konstruksi, utawa kira-kira $ 1 milyar saben taun. Yen kita ngetung ing meter persegi (biaya 1 m² ing taun 1995 yaiku $3000), iki kira-kira 350 m000 saben taun sajrone 2 taun, wiwit taun 10.
Wutah total investasi taunan ing periode iki udakara 1215%.
Perusahaan-perusahaan sing nyewa peralatan konstruksi ing wektu iki padha karo perusahaan sing ngedol shovel nalika rush emas (ing wilayah sing padha ing pertengahan abad kaping-19). Mung tinimbang shovels, ing taun 2000-an wis ana kren lan pompa beton kanggo perusahaan konstruksi sing mentas dibentuk sing pengin nggawe dhuwit ing boom konstruksi.
Sawise saben akeh krisis sing dialami industri konstruksi sajrone pirang-pirang taun, liwat rong taun sawise krisis, investasi (jumlah aplikasi kanggo ijin) kanggo construction mudhun paling sethithik 50% saben wektu.
Krisis paling gedhe ing industri konstruksi San Francisco dumadi ing taun 90-an. Ing endi, kanthi periodisitas 5 taun, industri kasebut mudhun (-85% ing periode 1983-1986), banjur mundhak maneh (+895% ing periode 1988-1992), tetep ing istilah taunan ing taun 1981, 1986, 1988 , 1993 - ing tingkat sing padha.
Sawise 1993, kabeh nolak sakteruse ing industri construction gunggungipun ora luwih saka 50%. Nanging nyedhaki krisis ekonomi (amarga COVID-19) bisa nggawe rekor krisis ing industri konstruksi ing periode 2017-2021, penurunan sing wis ana ing periode 2017-2019 gunggunge luwih saka 60%.
wutah populasi San Francisco dinamika ing periode 1980-1993 uga nuduhake wutah sing meh eksponensial. Kekuwatan ekonomi lan energi inovatif saka Silicon Valley minangka pondasi padhet ing ngendi hiperbola Ekonomi Anyar, Renaissance Amerika, lan dot-coms dibangun. Iki minangka pusat ekonomi anyar. Nanging ora kaya munggah ing investasi real estate, sawise puncak dot-com, populasi bener plateaued.
Sadurunge puncak dot-com ing taun 2001, pertumbuhan populasi taunan wiwit taun 1950 kira-kira 1% saben taun. Banjur, sawise ambruk gelembung, influx saka populasi anyar kalem mudhun lan wiwit 2001 wis mung 0.2 persen saben taun.
Ing 2019 (sapisanan wiwit taun 1950), dinamika pertumbuhan nuduhake aliran metu populasi (-0.21% utawa 7000 wong) saka kutha San Francisco.
Pangarepan lan kasunyatan nalika nyiapake prakiraan biaya
Ing dataset sing digunakake, data babagan biaya ijin kanggo proyek konstruksi dipérang dadi:
- perkiraan biaya asli (taksiran_biaya)
- biaya karya sawise revaluasi (biaya_revisi)
Sajrone jaman boom, tujuan utama revaluasi yaiku nambah biaya awal, nalika investor (pelanggan konstruksi) nuduhake napsu sawise wiwitan konstruksi.
Sajrone krisis, dheweke nyoba ora ngluwihi biaya sing dikira, lan perkiraan awal meh ora ana owah-owahan (kajaba lindhu 1989).
Miturut grafik sing dibangun ing prabédan antarane biaya revalued lan kira-kira (revised_cost - estimated_cost), bisa diamati yen:
Jumlah mundhak biaya nalika revaluing volume karya construction langsung gumantung ing siklus boom ekonomi
data_spread = data_cost.assign(spread = (data_cost.revised_cost-data_cost.estimated_cost))
Sajrone periode pertumbuhan ekonomi kanthi cepet, para pelanggan kerja (investor) mbuwang dana kanthi cukup akeh, nambah panjaluk sawise wiwitan kerja.
Pelanggan (investor), rumangsa yakin kanthi finansial, njaluk kontraktor utawa arsitek konstruksi kanggo ngluwihi ijin bangunan sing wis ditanggepi. Iki bisa dadi keputusan kanggo nambah dawa kolam renang utawa nambah area omah (sawise miwiti kerja lan nerbitake ijin bangunan).
Ing puncak jaman dot-com, biaya "tambahan" kasebut tekan "ekstra" 1 milyar saben taun.
Yen dideleng ing tabel iki wis ana ing persentasi owah-owahan, banjur mundhak puncak ing prakiraan (100% utawa 2 kaping biaya kira-kira asli) dumadi ing taun sadurunge lindhu sing dumadi ing taun 1989 cedhak kutha. Aku nganggep yen sawise lindhu, proyek konstruksi sing diwiwiti ing 1988 mbutuhake, sawise lindhu ing 1989, luwih akeh wektu lan dana kanggo implementasine.
Kosok baline, revisi mudhun saka perkiraan biaya (sing kedadeyan mung sepisan sajrone periode saka 1980 nganti 2019) sawetara taun sadurunge lindhu bisa uga amarga sawetara proyek sing diwiwiti ing 1986-1987 beku utawa investasi ing proyek kasebut dipotong. mudhun. Ing jadwal rata-rata kanggo saben proyek diwiwiti ing 1987 - pangurangan biaya kira-kira -20% saka rencana asli.
data_spred_percent = data_cost_y.assign(spred = ((data_cost_y.revised_cost-data_cost_y.estimated_cost)/data_cost_y.estimated_cost*100))
Tambah ing biaya kira-kira awal luwih saka 40% dituduhake utawa bisa dadi akibat saka gelembung nyedhak ing financial lan salajengipun pasar construction.
Apa sebabe nyuda panyebaran (prabédan) antarane biaya sing dikira-kira lan direvisi sawise 2007?
Mbok investor wiwit kasebut kanthi teliti, katon ing nomer (jumlah rata-rata liwat 20 taun tambah saka $ 100 ewu kanggo $ 2 yuta) utawa mbok menawa departemen construction, nyegah lan nyandhet muncul umpluk ing pasar real estate, ngenalaken aturan anyar lan watesan kanggo ngurangi kemungkinan manipulasi. lan kemungkinan risiko sing bakal muncul sajrone taun krisis.
Aktivitas konstruksi gumantung ing musim taun
Kanthi nglumpukake data miturut minggu tanggalan ing taun (54 minggu), sampeyan bisa mirsani kegiatan konstruksi ing kutha San Francisco gumantung saka musiman lan wektu taun.
Ing Natal, kabeh organisasi konstruksi nyoba njaluk ijin kanggo proyek "gedhe" anyar ing wektu. (ing wektu sing padha! jumlah! ijin ing sasi sing padha ing tingkat sing padha ing saindhenging taun). Investor, ngrancang entuk properti ing taun ngarep, mlebu kontrak ing sasi mangsa, ngetung diskon gedhe (amarga kontrak musim panas, umume, bakal rampung ing pungkasan taun lan perusahaan konstruksi kasengsem. nalika nampa aplikasi anyar).
Sadurunge Natal, jumlah paling gedhe saka aplikasi diajukake (tambah saka rata-rata 1-1,5 milyar saben sasi dadi 5 milyar ing Desember wae). Ing wektu sing padha, jumlah aplikasi saben wulan tetep ing tingkat sing padha (deleng bagean ing ngisor iki: statistik babagan jumlah aplikasi miturut wulan lan dina)
Sawise preian mangsa, industri konstruksi aktif ngrancang lan ngleksanakake pesenan "Natal" (kanthi meh ora nambah jumlah ijin) supaya bisa mbebasake sumber daya ing tengah taun (sadurunge liburan Dina Kamardikan) sadurunge preian anyar. gelombang kontrak panas wiwit sanalika sawise preian Juni.
data_month_year = data_month_year.assign(week_year = data_month_year.permit_creation_date.dt.week)
data_month_year = data_month_year.groupby(['week_year'])['estimated_cost'].sum()
Data persentase sing padha (garis oranye) uga nuduhake yen industri beroperasi "lancar" ing saindhenging taun, nanging sadurunge lan sawise preian, aktivitas ing ijin mundhak kanggo 150% ing periode antarane minggu 20-24 (sadurunge Dina Kamardikan), lan sudo sanalika sawise preian nganti -70%.
Sadurunge Halloween lan Natal, aktivitas ing industri konstruksi San Francisco mundhak 43% sajrone minggu 44-150 (saka ngisor nganti puncak) lan banjur mudhun dadi nol nalika preian.
Mangkono, industri ana ing siklus nem sasi, sing dipisahake dening preian "Dina Kamardikan AS" (minggu 20) lan "Natal" (minggu 52).
Total investasi real estate ing San Francisco
Adhedhasar data babagan ijin bangunan ing kutha:
Total investasi ing proyek konstruksi ing San Francisco wiwit taun 1980 nganti 2019 yaiku $ 91,5 milyar.
sf_worth = data_location_lang_long.cost.sum()
Nilai pasar total kabeh real estate omah ing San Francisco sing ditaksir miturut pajak properti (minangka nilai sing ditaksir kabeh real estate lan kabeh properti pribadi sing diduweni dening San Francisco) .
Wilayah apa ing San Francisco sing wis nandur modal sajrone 40 taun kepungkur?
Nggunakake perpustakaan Folium, ayo ndeleng ngendi $ 91,5 milyar iki nandur modal miturut wilayah. Kanggo nindakake iki, sawise nglumpukake data kanthi kode pos, kita bakal makili nilai sing diasilake nggunakake bunderan (fungsi Lingkaran saka perpustakaan Folium).
import folium
from folium import Circle
from folium import Marker
from folium.features import DivIcon
# map folium display
lat = data_location_lang_long.lat.mean()
long = data_location_lang_long.long.mean()
map1 = folium.Map(location = [lat, long], zoom_start = 12)
for i in range(0,len(data_location_lang_long)):
Circle(
location = [data_location_lang_long.iloc[i]['lat'], data_location_lang_long.iloc[i]['long']],
radius= [data_location_lang_long.iloc[i]['cost']/20000000],
fill = True, fill_color='#cc0000',color='#cc0000').add_to(map1)
Marker(
[data_location_mean.iloc[i]['lat'], data_location_mean.iloc[i]['long']],
icon=DivIcon(
icon_size=(6000,3336),
icon_anchor=(0,0),
html='<div style="font-size: 14pt; text-shadow: 0 0 10px #fff, 0 0 10px #fff;; color: #000";"">%s</div>'
%("$ "+ str((data_location_lang_long.iloc[i]['cost']/1000000000).round()) + ' mlrd.'))).add_to(map1)
map1
Cetha saka wilayah kasebut Umume pie kanthi logis menyang DownTown. Sawise nyederhanakake pengelompokan kabeh obyek kanthi jarak menyang pusat kutha lan wektu sing dibutuhake kanggo tekan pusat kutha (mesthi omah-omah larang uga dibangun ing pesisir), kabeh ijin dipérang dadi 4 klompok: 'Downtown' , '<0.5H Downtown', '< 1H Downtown', 'Njaba SF'.
from geopy.distance import vincenty
def distance_calc (row):
start = (row['lat'], row['long'])
stop = (37.7945742, -122.3999445)
return vincenty(start, stop).meters/1000
df_pr['distance'] = df_pr.apply (lambda row: distance_calc (row),axis=1)
def downtown_proximity(dist):
'''
< 2 -> Near Downtown, >= 2, <4 -> <0.5H Downtown
>= 4, <6 -> <1H Downtown, >= 8 -> Outside SF
'''
if dist < 2:
return 'Downtown'
elif dist < 4:
return '<0.5H Downtown'
elif dist < 6:
return '<1H Downtown'
elif dist >= 6:
return 'Outside SF'
df_pr['downtown_proximity'] = df_pr.distance.apply(downtown_proximity)Saka 91,5 milyar sing nandur modal ing kutha, meh 70 milyar (75% saka kabeh investasi) sing nandur modal kanggo ndandani lan konstruksi ana ing tengah kutha. (zona ijo) lan menyang wilayah kutha ing radius 2 km. saka tengah (zona biru).
Rata-rata perkiraan biaya aplikasi konstruksi miturut kabupaten kutha
Kabeh data, kaya jumlah investasi total, diklompokaké miturut kode pos. Mung ing kasus iki karo rata-rata (.tegese ()) kira-kira biaya aplikasi dening kode pos.
data_location_mean = data_location.groupby(['zipcode'])['lat','long','estimated_cost'].mean()
Ing wilayah biasa ing kutha (luwih saka 2 km saka pusat kutha) - rata-rata biaya aplikasi konstruksi yaiku $ 50 ewu.
Rata-rata kira-kira biaya ing wilayah tengah kutha kira-kira kaping telu luwih dhuwur ($150 ewu nganti $400 ewu) tinimbang ing wilayah liyane ($30-50 ewu).
Saliyane biaya tanah, telung faktor nemtokake total biaya konstruksi omah: tenaga kerja, bahan, lan biaya pemerintah. Telu komponen iki luwih dhuwur ing California tinimbang ing negara liya. Kode bangunan California dianggep minangka sawetara sing paling lengkap lan ketat ing negara kasebut (amarga peraturan lindhu lan lingkungan), asring mbutuhake bahan lan tenaga kerja sing luwih larang.
Contone, pamrentah mbutuhake tukang bangunan nggunakake bahan bangunan sing luwih dhuwur (jendela, insulasi, sistem pemanasan lan pendinginan) kanggo entuk standar efisiensi energi sing dhuwur.
Saka statistik umum babagan biaya rata-rata aplikasi ijin, rong lokasi katon:
- Langkawi - pulo gawean ing San Francisco Bay. Rata-rata biaya ijin bangunan $ 6,5 yuta.
- Teluk Misi — (populasi 2926) Rata-rata biaya ijin bangunan yaiku $1,5 yuta.
Nyatane, aplikasi rata-rata dhuwur ing rong wilayah kasebut ana gandhengane kanthi jumlah paling sithik aplikasi kanggo lokasi pos kasebut (145 lan 3064, konstruksi ing pulo kasebut winates banget), dene kanggo kode pos liyane - XNUMXlan periode 1980-2019 nampa kira-kira 1300 aplikasi saben taun (total rata-rata 30 -50 ewu aplikasi kanggo kabeh periode).
Miturut parameter "jumlah aplikasi", distribusi sing rata saka jumlah aplikasi saben kode pos ing saindenging kutha katon.
Statistik babagan jumlah aplikasi miturut sasi lan dina
Statistik sakabèhé babagan jumlah aplikasi miturut sasi lan dina ing minggu antarane 1980 lan 2019 nuduhake yen Sasi paling sepi kanggo departemen konstruksi yaiku musim semi lan musim dingin. Ing wektu sing padha, jumlah investasi sing ditemtokake ing aplikasi beda-beda lan beda-beda saben wulan. (ndeleng tambahan "Kegiatan konstruksi gumantung ing mangsa"). Antarane dina minggu, dina Senin beban ing departemen kira-kira 20% kurang saka dina liyane ing minggu.
months = [ 'January', 'February', 'March', 'April', 'May','June', 'July', 'August', 'September', 'October', 'November', 'December' ]
data_month_count = data_month.groupby(['permit_creation_date']).count().reindex(months)
Nalika Juni lan Juli sacoro prakteke padha ing syarat-syarat jumlah aplikasi, ing syarat-syarat total biaya kira-kira prabédan tekan 100% (4,3 milyar ing Mei lan Juli lan 8,2 milyar ing Juni).
data_month_sum = data_month.groupby(['permit_creation_date']).sum().reindex(months)
Masa depan industri konstruksi San Francisco, prédhiksi kegiatan kanthi pola.
Pungkasan, ayo mbandhingake grafik kegiatan konstruksi ing San Francisco karo grafik rega Bitcoin (2015-2018) lan grafik rega emas (1940 - 1980).
Pola (saka pola Inggris - model, sampel) - ing analisis technical stabil mbaleni kombinasi rega, volume utawa data indikator diarani. Analisis pola adhedhasar salah sawijining aksioma analisis teknis: "sejarah mbaleni dhewe" - diyakini yen kombinasi data sing bola-bali nyebabake asil sing padha.
Pola utama sing bisa dideleng ing bagan kegiatan taunan yaiku Iki minangka pola pembalikan tren "Kepala lan Pundhak". Dijenengi amarga grafik kasebut katon kaya sirah manungsa (puncak) lan pundhak ing sisih (puncak sing luwih cilik). Nalika rega ngilangi garis sing nyambungake palung, pola kasebut dianggep lengkap lan gerakan kasebut bakal mudhun.
Gerakan ing kegiatan ing industri konstruksi San Francisco meh rampung pas karo munggah ing rega emas lan bitcoin. Kinerja historis saka telung bagan rega lan aktivitas iki nuduhake podho penting.
Kanggo bisa prédhiksi prilaku pasar konstruksi ing mangsa ngarep, perlu kanggo ngitung koefisien korélasi karo saben loro tren iki.
Rong variabel acak diarani hubungan yen momen korelasi (utawa koefisien korelasi) beda karo nol; lan diarani jumlah sing ora ana hubungane yen momen korelasie nol.
Yen nilai sing diasilake luwih cedhak karo 0 tinimbang 1, mula ora ana gunane kanggo ngomong babagan pola sing jelas. Iki minangka masalah matematika sing rumit, sing bisa ditindakake dening kanca-kanca lawas sing bisa uga kasengsem ing topik iki.
Yen! ora ilmiah! Deleng topik pangembangan industri konstruksi ing San Francisco: yen pola kasebut terus bertepatan karo rega Bitcoin, banjur miturut pilihan pesimis iki - metu saka krisis ing industri konstruksi ing San Francisco ora bakal gampang ing wektu pasca krisis.
Kanthi pilihan sing luwih "optimis". pembangunan, wutah eksponensial bola ing industri construction bisa yen kegiatan kene nderek "rega emas" skenario. Ing skenario iki, ing 20-30 taun (bisa uga ing 10), industri konstruksi bakal ngadhepi lonjakan anyar ing lapangan kerja lan pembangunan.
Aku bakal nliti sektor konstruksi individu (repair atap, pawon, konstruksi tangga, jedhing, yen sampeyan duwe saran babagan industri utawa data liyane - tulis ing komentar) lan mbandhingake inflasi kanggo jinis karya individu. tarif tetep ing silihan hipotek lan untung saka obligasi US pemerintah (Tarif Mortgage Tetep & US Treasury Yield).
Link menyang bagean kapindho:
Link menyang Jupyter Notebook:
Mangga, kanggo sing karo Kaggle, menehi Notebook plus (Matur nuwun!).
(Komentar lan panjelasan kode bakal ditambahake mengko ing Notebook)
Link menyang versi Inggris:
Yen sampeyan seneng karo kontenku, coba tuku aku kopi.
matur nuwun kangge dukunganipun!
Mung pangguna pangguna sing bisa melu survey. nggih.
Apa masa depan industri konstruksi San Francisco?
-
66,7%Sektor konstruksi luwih cenderung ngetutake dalan Bitcoin2
-
0,0%Sektor konstruksi bisa ngetutake jalur rega emas0
-
0,0%Sektor kasebut ngarepake hype sajrone 10 taun sabanjure0
-
33,3%Pangembangan sektor kasebut ora miturut pola1
3 pangguna milih. 6 pangguna abstain.
Source: www.habr.com