本系列文章致力於研究矽谷主要城市—舊金山的建築活動。 舊金山是我們世界的科技“莫斯科”，以它的例子（借助開放資料）觀察大城市和首都建築業的發展。
圖表的建構和計算是在 （在 Kaggle.com 平台上）。
來自舊金山建築部門的超過一百萬個建築許可證的數據（兩個數據集中的記錄） - 允許 不僅分析城市的建築活動，但也要批判性地考慮 過去40年建築業的最新趨勢與發展歷史，1980年至2019年間。
開放資料使探索成為可能 已經和將要影響建築業發展的主要因素 在城市中，將其分為「外部」（經濟繁榮和危機）和「內部」（假期和季節年周期的影響）。
Содержание
開放資料並審查基線參數。
這不是文章的翻譯。 我在 LinkedIn 上寫作，為了避免用多種語言創建圖形，所有圖形都是英文的。
第二部分鏈接：
舊金山市建築許可證資料 - 來自開放資料入口網站 - 。 此入口網站有多個有關建築主題的資料集。 兩個這樣的資料集儲存和更新為在城市中建造或維修物體而頒發的許可證的資料：
- （850萬筆記錄）
- （280萬筆記錄，資料每週下載更新）
這些資料集包含有關已頒發的施工許可證的信息，以及頒發許可證的對象的各種特徵。 收到的條目（權限）總數 1980-2019 年期間 - 1 張許可證.
此資料集中用於分析的主要參數：
- 許可證創建日期 — 應用程式的創建日期（實際上是施工開始的日期）
- 描述 — 申請說明（描述為其創建許可證的建築項目（工作）的兩個或三個關鍵字）
- 估計成本 — 建築工程的估計（估計）成本
- 修正成本 - 修改後的成本（重估、增加或減少應用程式初始數量後的工作成本）
- 現有_使用 - 住房類型（一戶、兩戶住宅、公寓、辦公室、生產等）
- 郵遞區號、位置 — 郵遞區號和物件座標
舊金山的年度建築活動
下圖顯示了參數 估計成本 и 修正成本 呈現為按月劃分的總工作成本分佈。
data_cost_m = data_cost.groupby(pd.Grouper(freq='M')).sum()為了減少每月的“異常值”，每月數據按年份分組。 按年份劃分的投資金額圖表已變得更加合乎邏輯且易於分析。
data_cost_y = data_cost.groupby(pd.Grouper(freq='Y')).sum()
基於城市設施成本總和（當年所有許可證）的年度變動 1980年至2019年影響經濟因素清晰可見 建築項目的數量和成本，或舊金山房地產的投資。
過去40年的建築許可數量（建築工作數量或投資數量）與矽谷的經濟活動密切相關。
建築活動的第一個高峰與 80 年代中期山谷中的電子產品熱潮有關。 1985 年隨之而來的電子和銀行業衰退導致該地區房地產市場陷入衰退，並在近十年內未能恢復。
此後，在網路泡沫破滅和近年來科技繁榮之前，又經歷了兩次（1993-2000年和2009-2016年） 舊金山的建築業經歷了百分之幾千的拋物線成長。.
通過去除中間的波峰和波谷，留下每個經濟週期的最小值和最大值，可以清楚看出過去40年來市場波動有多大困擾了這個產業。
建築投資的最大增幅發生在網路繁榮時期，1993 年至 2001 年間，翻修和建築投資達 10 億美元，即每年約 1 億美元。 如果我們以平方公尺計算（1 年 1995 平方公尺的成本為 3000 美元），那麼從 350 年開始的 000 年內每年約為 2 平方公尺。
在此期間每年總投資成長達1215%。
這段期間租賃建築設備的公司與淘金熱時期銷售鏟子的公司類似（19世紀中葉在同一地區）。 只是在 2000 年代，新成立的建築公司想要在建築熱潮中賺錢時，已經有了起重機和混凝土泵，而不是鏟子。
在建築業多年來經歷的每一次危機之後， 危機後的未來兩年，投資 建築（許可證申請數量） 每次至少下跌50%.
舊金山建築業最大的危機發生在上世紀九十年代。 以 90 年為週期，該行業要么下降（5-85 年期間-1983%），然後再次上升（1986-895 年期間+1988%），在 1992 年、1981 年、1986 年仍按年度計算，1988年-處於同一水平。
1993年以後，建築業隨後的跌幅均不超過50%。 但 經濟危機逼近 （由於新冠肺炎 (COVID-19)） 可能會在建築業造成創紀錄的危機 2017-2021年期間，2017-2019年期間累計下降幅度超過60%。
舊金山人口成長 1980-1993 年期間的動態 幾乎呈指數級成長。 矽谷的經濟實力和創新活力是新經濟、美國文藝復興和網路泡沫的堅實基礎。 它是新經濟的中心。 但與房地產投資的成長不同的是，在網路泡沫達到頂峰之後，人口實際上趨於穩定。
在 2001 年網路泡沫達到高峰之前，自 1950 年以來人口年增率約為 1%。 然後，泡沫破滅後，新人口流入速度放緩，自2001年以來每年僅增加0.2%。
2019 年（自 1950 年以來首次），成長動態顯示人口從舊金山市流出（-0.21% 或 7000 人）。
準備成本估算時的期望與現實
在所使用的資料集中，有關建設項目許可證成本的資料分為：
- 原始估計成本（估計成本)
- 重估後的工作成本（修正成本)
在繁榮時期，當投資者（建築客戶）在開工後表現出興趣時，重估價的主要目的是增加初始成本。
在危機期間，他們盡量不超過估計成本，最初的估計幾乎沒有變化 （1989年地震除外）。
根據重估成本和估計成本之間的差異所建構的圖表（revised_cost -estimated_cost），可以觀察到：
重估建築工程量時的成本增加量直接取決於經濟景氣週期
data_spread = data_cost.assign(spread = (data_cost.revised_cost-data_cost.estimated_cost))
在經濟快速成長時期，工作客戶（投資者）相當慷慨地花費他們的資金，在工作開始後增加他們的要求。
客戶（投資者）在財務上有信心，要求建築承包商或建築師延長已頒發的建築許可證。 這可能是增加游泳池初始長度或增加房屋面積的決定（在開始工作並頒發建築許可證之後）。
在網路時代的巔峰時期，此類「額外」支出每年達到「額外」1億美元。
如果您查看此表中的百分比變化，則估算的峰值增長（100% 或原始估算成本的 2 倍）發生在 1989 年該市附近發生地震的前一年。 我認為地震後，1988年開始的建設項目在1989年地震後需要更多的時間和資金來實施。
相反，地震前幾年對估計成本的向下修正（僅在 1980 年至 2019 年期間發生過一次）可能是由於 1986 年至 1987 年啟動的一些項目被凍結或對這些項目的投資被削減向下。 按照時間表 平均而言，對於 1987 年開始的每個項目，預計成本減少了原計劃的 -20%.
data_spred_percent = data_cost_y.assign(spred = ((data_cost_y.revised_cost-data_cost_y.estimated_cost)/data_cost_y.estimated_cost*100))
最初估計成本增加了 40% 以上，這表明或可能是金融泡沫以及隨後的建築市場泡沫逼近的結果。
2007 年後估算成本與修訂成本之間的差距（差異）縮小的原因是什麼？
也許投資者開始仔細觀察這些數字（20年來平均金額從100萬美元增加到2萬美元），或者建築部門可能為了防止和抑制房地產市場出現泡沫，引入了新的規則和限制以減少可能的操縱行為以及危機年份可能出現的風險。
施工活動取決於一年中的季節
透過按一年中的日曆週（54 週）對資料進行分組，您可以根據季節和一年中的時間觀察舊金山市的建築活動。
到聖誕節，所有建築組織都在努力及時獲得新「大型」項目的許可。 （同時！同一月份的許可證數量全年處於同一水平）。 計劃在明年內收到房產的投資者在冬季簽訂合同，指望獲得大幅折扣（因為夏季合同大部分將於年底結束，建築公司對此感興趣）接收新申請）。
聖誕節前提交的申請數量最多 （從平均每月 1-1,5 億增加到僅 5 月就增加到 XNUMX 億）。 同時，各月申請總數維持不變 （請參閱下節：按月、日申請總數統計）
寒假過後，建築業正在積極籌劃和落實「聖誕節」訂單（許可證數量幾乎沒有增加），以便在年中（獨立日假期前）之前釋放資源。六月假期結束後，夏季合約浪潮立即開始。
data_month_year = data_month_year.assign(week_year = data_month_year.permit_creation_date.dt.week)
data_month_year = data_month_year.groupby(['week_year'])['estimated_cost'].sum()
同樣的百分比數據（橙色線）還顯示，該行業全年運行“平穩”，但在假期前後，許可證活動在第 150 周至第 20 週（獨立日之前）期間增加至 24%，並且節後立即下降至-70%。
在萬聖節和聖誕節之前，舊金山建築業的活動在 43-44 週期間（從低谷到高峰）增加 150%，然後在假期期間降至零。
因此，該行業處於六個月的周期，其間隔是假期“美國獨立日”（第20週）和“聖誕節”（第52週）。
舊金山房地產投資總額
根據該市建築許可數據：
1980年至2019年舊金山建設項目總投資為91,5億美元。
sf_worth = data_location_lang_long.cost.sum()
舊金山所有住宅房地產按財產稅評估的總市場價值（即舊金山擁有的所有房地產和所有個人財產的評估價值） .
過去 40 年來舊金山在哪些領域進行了投資？
使用 Folium 庫，讓我們看看這 91,5 億美元按地區投資在哪裡。 為此，在按郵遞區號對資料進行分組後，我們將使用圓圈（Folium 庫中的 Circle 函數）表示結果值。
import folium
from folium import Circle
from folium import Marker
from folium.features import DivIcon
# map folium display
lat = data_location_lang_long.lat.mean()
long = data_location_lang_long.long.mean()
map1 = folium.Map(location = [lat, long], zoom_start = 12)
for i in range(0,len(data_location_lang_long)):
Circle(
location = [data_location_lang_long.iloc[i]['lat'], data_location_lang_long.iloc[i]['long']],
radius= [data_location_lang_long.iloc[i]['cost']/20000000],
fill = True, fill_color='#cc0000',color='#cc0000').add_to(map1)
Marker(
[data_location_mean.iloc[i]['lat'], data_location_mean.iloc[i]['long']],
icon=DivIcon(
icon_size=(6000,3336),
icon_anchor=(0,0),
html='<div style="font-size: 14pt; text-shadow: 0 0 10px #fff, 0 0 10px #fff;; color: #000";"">%s</div>'
%("$ "+ str((data_location_lang_long.iloc[i]['cost']/1000000000).round()) + ' mlrd.'))).add_to(map1)
map1
從各地區情況可以明顯看出 從邏輯上講，大部分餡餅都流向了市中心。 根據與市中心的距離和到達市中心所需的時間（當然，沿海地區也在建造昂貴的房屋）簡化了所有物件的分組，所有許可證均分為 4 組：「市中心」 、「<0.5 H 市中心」、「<1H 市中心」、「舊金山以外」。
from geopy.distance import vincenty
def distance_calc (row):
start = (row['lat'], row['long'])
stop = (37.7945742, -122.3999445)
return vincenty(start, stop).meters/1000
df_pr['distance'] = df_pr.apply (lambda row: distance_calc (row),axis=1)
def downtown_proximity(dist):
'''
< 2 -> Near Downtown, >= 2, <4 -> <0.5H Downtown
>= 4, <6 -> <1H Downtown, >= 8 -> Outside SF
'''
if dist < 2:
return 'Downtown'
elif dist < 4:
return '<0.5H Downtown'
elif dist < 6:
return '<1H Downtown'
elif dist >= 6:
return 'Outside SF'
df_pr['downtown_proximity'] = df_pr.distance.apply(downtown_proximity)在該市的 91,5 億美元投資中，近 70 億美元（佔全部投資的 75%）投資於市中心 （綠區）及市區2公里半徑範圍內。 從中心（藍色區域）。
按市區劃分的建築申請的平均估計成本
所有數據以及總投資額均按郵遞區號分組。 僅在這種情況下，按郵遞區號計算應用程式的平均 (.mean()) 估計成本。
data_location_mean = data_location.groupby(['zipcode'])['lat','long','estimated_cost'].mean()
在城市的普通地區（距離市中心超過 2 公里）——建築應用的平均估計成本為 50 萬美元。
市中心地區的平均估計成本大約高出三倍 （150萬至400萬美元）高於其他地區（30至50萬美元）。
除了土地成本外，有三個因素決定了房屋建設的總成本：勞動力、材料和政府費用。 加州的這三個組成部分高於該國其他地區。 加州的建築規範被認為是該國最全面、最嚴格的建築規範（由於地震和環境法規），通常需要更昂貴的材料和勞動力。
例如，政府要求建築商使用更高品質的建築材料（窗戶、隔熱材料、暖氣和冷氣系統）以達到高能源效率標準。
從許可證申請平均費用的一般統計數據來看，有兩個地點較為突出：
- 寶藏島 - 舊金山灣的一個人工島。 建築許可證的平均估計成本為 6,5 萬美元。
- 米申灣 —（人口 2926）建築許可證的平均估計成本為 1,5 萬美元。
事實上，這兩個領域的高平均應用率是相關的 這些郵政地點的申請數量最少 （分別為 145 和 3064，島上的建設非常有限），而對於其餘的郵政編碼 - XNUMX1980年至2019年期間每年收到約1300份申請 （整個期間平均總共有 30 -50 萬份申請）。
根據「申請數量」參數，整個城市每個郵遞區號的申請數量分佈非常均勻。
按月、日統計申請總數
1980年至2019年按月份和星期幾劃分的申請總數總體統計顯示： 建築部門最安靜的月份是春季和冬季。 同時，申請中指定的投資金額差異很大，有時每個月都有差異 （另請參閱“取決於季節的施工活動”）。 在一周中的幾天中，該部門週一的負載比一周中其他日子減少約 20%。
months = [ 'January', 'February', 'March', 'April', 'May','June', 'July', 'August', 'September', 'October', 'November', 'December' ]
data_month_count = data_month.groupby(['permit_creation_date']).count().reindex(months)
雖然 100 月和 4,3 月的申請數量幾乎相同，但就預計總費用而言，差異達到 8,2%（XNUMX 月和 XNUMX 月為 XNUMX 億，XNUMX 月為 XNUMX 億）。
data_month_sum = data_month.groupby(['permit_creation_date']).sum().reindex(months)
舊金山建築業的未來，透過模式預測活動。
最後，讓我們將舊金山的建築活動圖表與比特幣價格圖表（2015-2018）和黃金價格圖表（1940-1980）進行比較。
圖案 （來自英語模式 - 模型、樣本） - 在技術分析中，價格、交易量或指標數據的穩定重複組合被稱為。 模式分析基於技術分析的公理之一：「歷史重演」—人們相信資料的重複組合會導致類似的結果。
年度活動圖表上可以看到的主要模式是 這是「頭肩」趨勢反轉形態。 之所以如此命名，是因為圖表看起來像人的頭部（峰值）和側面的肩膀（較小的峰值）。 當價格突破連接波谷的線時，該模式被認為是完整的，並且走勢可能會向下。
舊金山建築業的活動變動幾乎與黃金和比特幣價格的上漲完全一致。 這三個價格和活動圖表的歷史表現顯示出顯著的相似之處。
為了能夠預測未來建築市場的行為， 需要計算相關係數 與這兩種趨勢中的每一個。
若兩個隨機變數的相關矩（或相關係數）不為零，則稱為相關隨機變數； 如果它們的相關矩為零，則稱為不相關量。
如果結果值更接近 0 而不是 1，那麼討論清晰的模式就沒有意義了。 這是一個複雜的數學問題，可能對這個主題有興趣的老同志可以做一下。
如果！ 不科學！ 看看舊金山建築業進一步發展的話題：如果格局繼續與比特幣的價格重合，那麼 根據這個悲觀的選項 - 在危機剛結束的時期，要擺脫舊金山建築業的危機並不容易。
有了更「樂觀」的選擇 如果建築業的活動遵循「金價」情景，那麼建築業的重複指數成長是可能的。 在這種情況下，20-30年（可能是10年），建築業將面臨新的就業和發展激增。
我將仔細研究各個建築部門（屋頂、廚房的維修、樓梯、浴室的建造，如果您對行業或其他數據有任何建議 - 請寫在評論中），並將各個類型的工作的通貨膨脹率與抵押貸款的固定利率和美國政府債券的獲利能力（固定抵押貸款利率和美國公債殖利率）。
第二部分鏈接：
Jupyter Notebook 連結：
請使用 Kaggle 的用戶為 Notebook 加分（謝謝！）。
（程式碼的註解和解釋稍後會在Notebook中添加）
英文版連結：
如果您喜歡我的內容，請考慮請我喝杯咖啡。
感謝您的支持！
只有註冊用戶才能參與調查。 ， 請。
舊金山建築業的未來如何？
-
企業排放佔全球 66,7%建築業更有可能走比特幣2的道路
-
企業排放佔全球 0,0%建築業可能會跟隨金價的腳步0
-
企業排放佔全球 0,0%該行業預計未來 10 年將出現炒作0
-
企業排放佔全球 33,3%該行業的發展不按規律進行1
3 位用戶投票。 6 名用戶棄權。
來源： www.habr.com