この一連の記事は、シリコンバレーの主要都市であるサンフランシスコでの建設活動の研究に特化しています。 サンフランシスコは私たちの世界における技術的な「モスクワ」であり、その例を（オープンデータの助けを借りて）大都市や首都における建設産業の発展を観察するために使用しています。
グラフの作成と計算は次のように実行されました。 (Kaggle.com プラットフォーム上)。
サンフランシスコ建築局からの XNUMX 万件以上の建築許可に関するデータ (XNUMX つのデータセットの記録) - を許可します。 都市の建設活動だけを分析するだけではない、しかし批判的に考慮することもできます 過去40年間の建設業界の最新動向と発展の歴史、1980年から2019年まで。
オープンデータにより探索が可能になります 建設業界の発展に影響を与えてきた、そしてこれから影響を与える主な要因 都市内では、それらを「外部」（景気の好況と危機）と「内部」（休日や季節と年間のサイクルの影響）に分けます。
ページ内容
データをオープンし、ベースラインパラメータをレビューします。
これは記事の翻訳ではありません。 私は LinkedIn で記事を書いていますが、複数の言語でグラフィックを作成しないようにするために、すべてのグラフィックは英語で書かれています。
XNUMX番目の部分へのリンク：
サンフランシスコ市建築許可データ - オープンデータポータルより - 。 ポータルには、建設のトピックに関するいくつかのデータセットがあります。 このような XNUMX つのデータセットは、市内のオブジェクトの建設または修理のために発行された許可に関するデータを保存および更新します。
- (850万件のレコード)
- (280万件のレコード、データは毎週ダウンロードされ更新されます)
これらのデータセットには、発行された建設許可に関する情報と、許可が発行される対象のさまざまな特性が含まれています。 受信したエントリ（権限）の総数 1980年から2019年まで - 1件の許可.
分析に使用されたこのデータセットの主なパラメーターは次のとおりです。
- 許可作成日 — 申請書の作成日（実際には工事が開始される日）
- 説明 — 申請の説明 (許可が作成された建設プロジェクト (作業) を説明する XNUMX つまたは XNUMX つのキーワード)
- 見積もり金額 — 建設工事の推定（推定）費用
- 修正済み_コスト — 修正コスト（再評価後の作業コスト、アプリケーションの初期ボリュームの増減）
- 既存の使用 - 住宅の種類（一戸建て、二世帯住宅、アパート、オフィス、プロダクションなど）
- 郵便番号、所在地 — 郵便番号とオブジェクトの座標
サンフランシスコでの毎年恒例の建設活動
以下のグラフはパラメータを示しています 見積もり金額 и 修正済み_コスト 総作業コストの月ごとの分布として表示されます。
data_cost_m = data_cost.groupby(pd.Grouper(freq='M')).sum()月ごとの「外れ値」を減らすために、月ごとのデータは年ごとにグループ化されます。 年ごとの投資金額のグラフが、より論理的で分析しやすい形式になりました。
data_cost_y = data_cost.groupby(pd.Grouper(freq='Y')).sum()
市の施設にかかる費用の合計（その年のすべての許可）の年次推移に基づく 1980 年から 2019 年までに影響を及ぼした経済的要因がはっきりと見える 建設プロジェクトの数とコスト、あるいはサンフランシスコの不動産への投資について。
過去 40 年間の建築許可の数 (建設雇用の数または投資の数) は、シリコンバレーの経済活動と密接に関係しています。
建設活動の最初のピークは、この渓谷における 80 年代半ばのエレクトロニクスの誇大宣伝と関連していました。 1985 年に続いたエレクトロニクスと銀行の不況により、地域の不動産市場は低迷に陥り、その後 XNUMX 年近く回復することはありませんでした。
その後、さらに 1993 回 (2000 ～ 2009 年と 2016 ～ XNUMX 年)、ドットコム バブルの崩壊と近年のテクノロジー ブームが到来しました。 サンフランシスコの建設業界は、数千パーセントの放物線状の成長を遂げています。.
中間の山と谷を取り除き、各経済サイクルの最小値と最大値を残すと、過去 40 年間にどれほど大きな市場変動が業界を悩ませてきたかが明らかです。
建設投資が最も大きく増加したのはドットコム ブームの時期で、1993 年から 2001 年の間に改修と建設に 10 億ドル、つまり年間約 1 億ドルが投資されました。 平方メートルで計算すると (1 年の 1995 平方メートルのコストは 3000 ドル)、これは 350 年からの 000 年間で年間約 2 平方メートルになります。
この期間の年間総投資額の伸びは 1215% に達しました。
この時期に建設機械をレンタルしていた会社は、（19 世紀半ばの同じ地域で）ゴールド ラッシュ時にシャベルを販売していた会社と似ていました。 2000 年代には、建設ブームで儲けようとして設立されたばかりの建設会社のために、シャベルの代わりにクレーンとコンクリート ポンプがすでに存在していました。
建設業界が長年にわたって経験してきた多くの危機のたびに、 危機後の今後 XNUMX 年間の投資 建設業（許可申請件数） 毎回少なくとも50%減少した.
サンフランシスコの建設業界における最大の危機は 90 年代に発生しました。 5 年の周期で、業界は下落 (85 ～ 1983 年の期間で -1986%) した後、再び上昇し (895 ～ 1988 年の期間で +1992%)、1981、1986、1988 年の年間ベースで推移しました。 、1993年 - 同じレベル。
1993 年以降、建設業界の減少はすべて 50% にとどまりました。 しかし 経済危機が近づいている (新型コロナウイルス感染症(COVID-19)の影響による) 建設業界に記録的な危機を引き起こす可能性がある 2017 年から 2021 年の期間では、その減少率はすでに 2017 年から 2019 年の期間で合計 60% 以上に達しています。
サンフランシスコの人口増加 1980 年から 1993 年にかけての動向も ほぼ指数関数的な成長を示した。 シリコンバレーの経済力と革新的エネルギーは、ニューエコノミー、アメリカン・ルネッサンス、ドットコムといった誇張表現が築かれる強固な基盤でした。 そこはニューエコノミーの震源地でした。 しかし、不動産投資の増加とは異なり、ドットコムのピークの後、人口は実際には頭打ちになった。
2001 年のドットコム ピークまでは、1950 年以降の年間人口増加率はおよそ 1% でした。 その後、バブル崩壊後は新規人口流入が鈍化し、2001年以降は年間0.2％にとどまった。
2019 年（1950 年以来初めて）の成長ダイナミクスは、サンフランシスコ市からの人口流出（-0.21% または 7000 人）を示しました。
コスト見積もり作成時の期待と現実
使用されるデータセットでは、建設プロジェクトの許可コストに関するデータは次のように分割されています。
- 当初の推定コスト (見積もり金額)
- 再評価後の作業コスト (修正済み_コスト)
好況期には、着工後に投資家（建設顧客）が意欲を示した際に、初期費用を値上げすることが再評価の主な目的となります。
危機発生時には、見積もりコストを超えないよう努め、当初の見積もりは事実上変更されません。 (1989 年の地震を除く)。
再評価コストと推定コストの差 (revized_cost -estimated_cost) に基づいて構築されたグラフによると、次のことがわかります。
建設工事量を再評価した場合のコスト増加額は好況サイクルに直接依存します
data_spread = data_cost.assign(spread = (data_cost.revised_cost-data_cost.estimated_cost))
高度経済成長期には、仕事の顧客（投資家）はかなり気前よく資金を使い、仕事を始めてからの要求も増えてきました。
顧客（投資家）は経済的に自信を持っており、建設請負業者または建築家にすでに発行された建築許可の延長を依頼します。 これは、プールの最初の長さを増やすか、家の面積を増やすか（作業の開始と建築許可の発行後）を決定する可能性があります。
ドットコム時代のピーク時には、そのような「追加」出費は年間「追加」1億ドルに達しました。
すでに変化率で示されているこの表を見ると、推定値のピーク増加 (100% または元の推定コストの 2 倍) は、1989 年に市の近くで発生した地震の前年に発生しました。 1988 年に始まった建設プロジェクトは、地震後の 1989 年以降、より多くの時間と資金を必要としたと思います。
逆に、震災の数年前に見積額が下方修正された（1980年から2019年までに1986回のみ）のは、1987年からXNUMX年に着手された一部のプロジェクトが凍結されたり、これらのプロジェクトへの投資が削減されたためと考えられる。下。 予定通りに 1987 年に開始された各プロジェクトの平均 - 推定コストの削減は当初計画の -20% でした.
data_spred_percent = data_cost_y.assign(spred = ((data_cost_y.revised_cost-data_cost_y.estimated_cost)/data_cost_y.estimated_cost*100))
当初の推定コストが 40% 以上増加したことは、金融市場とその後の建設市場におけるバブルの接近を示しているか、あるいはその結果である可能性があります。
2007 年以降、見積コストと修正コストのスプレッド（差）が減少した理由は何ですか?
おそらく投資家がその数字（20年間の平均額は100万ドルから2万ドルに増加）を慎重に検討し始めたか、あるいは建設部門が不動産市場の新興バブルを阻止し、ブレーキをかけるために、操作の可能性を減らすために新しい規則と制限を導入したのかもしれない。そして危機の年に生じる可能性のあるリスク。
季節に応じた建設活動
データを年間の暦週 (54 週間) ごとにグループ化すると、季節や時期に応じてサンフランシスコ市の建設活動を観察できます。
クリスマスまでに、すべての建設組織は新しい「大規模」プロジェクトの許可を期限内に得ようとしている。 （同時に、これらの同じ月の許可の数は、年間を通じて同じレベルです）。 来年中に不動産を取得する予定の投資家は、大幅な割引を期待して冬の間に契約を結びます（夏の契約は年末までにほとんどが終了し、建設会社が興味を持っているためです）新規申請受付中）。
クリスマス前に最も多くの申請が提出されます (月平均 1 ～ 1,5 億から 5 月だけで XNUMX 億に増加)。 同時に、月ごとの申請総数は同じレベルを維持しています。 (以下のセクションを参照: 月別および日別の申請総数の統計)
冬休みが終わると、建設業界は、新年の祝日が始まる前の年半ば（独立記念日の休暇前）までにリソースを解放するために、「クリスマス」注文を積極的に計画し、実行しています（許可数はほとんど増加しません）。夏期契約の波は、XNUMX 月の休暇の直後に始まります。
data_month_year = data_month_year.assign(week_year = data_month_year.permit_creation_date.dt.week)
data_month_year = data_month_year.groupby(['week_year'])['estimated_cost'].sum()
同じ割合のデータ (オレンジ色の線) は、業界が年間を通して「順調に」運営されていることも示していますが、休暇の前後では、第 150 週から第 20 週 (独立記念日の前) の期間に許可に対する活動が 24% に増加します。休日直後は最大-70%まで減少します。
ハロウィーンとクリスマスの前に、サンフランシスコの建設業界の活動は第 43 週から第 44 週にかけて (最低から最高まで) 150% 増加し、その後休暇中にはゼロに減少します。
したがって、業界は 20 か月サイクルであり、「米国独立記念日」（第 52 週）と「クリスマス」（第 XNUMX 週）の祝日で区切られています。
サンフランシスコの不動産投資総額
市内の建築許可に関するデータに基づく：
1980年から2019年までのサンフランシスコの建設プロジェクトへの総投資額は91,5億ドルです。
sf_worth = data_location_lang_long.cost.sum()
固定資産税によって評価されたサンフランシスコのすべての住宅用不動産の市場価値の合計 (サンフランシスコが所有するすべての不動産およびすべての個人資産の評価額) .
過去 40 年間にわたり、サンフランシスコのどの地域に投資が行われてきましたか?
Folium ライブラリを使用して、この 91,5 億ドルが地域ごとにどこに投資されたかを見てみましょう。 これを行うには、データを郵便番号ごとにグループ化し、結果の値を円 (Folium ライブラリの Circle 関数) を使用して表します。
import folium
from folium import Circle
from folium import Marker
from folium.features import DivIcon
# map folium display
lat = data_location_lang_long.lat.mean()
long = data_location_lang_long.long.mean()
map1 = folium.Map(location = [lat, long], zoom_start = 12)
for i in range(0,len(data_location_lang_long)):
Circle(
location = [data_location_lang_long.iloc[i]['lat'], data_location_lang_long.iloc[i]['long']],
radius= [data_location_lang_long.iloc[i]['cost']/20000000],
fill = True, fill_color='#cc0000',color='#cc0000').add_to(map1)
Marker(
[data_location_mean.iloc[i]['lat'], data_location_mean.iloc[i]['long']],
icon=DivIcon(
icon_size=(6000,3336),
icon_anchor=(0,0),
html='<div style="font-size: 14pt; text-shadow: 0 0 10px #fff, 0 0 10px #fff;; color: #000";"">%s</div>'
%("$ "+ str((data_location_lang_long.iloc[i]['cost']/1000000000).round()) + ' mlrd.'))).add_to(map1)
map1
地域を見れば明らかですが、 パイのほとんどは当然ダウンタウンに流れました。 市の中心部までの距離と市の中心部に行くのにかかる時間に基づいてすべてのオブジェクトをグループ化することを単純化したため (もちろん、海岸沿いには高価な住宅も建設されています)、すべての許可は 4 つのグループに分けられました。 、「ダウンタウン 0.5 時間未満」、「ダウンタウン 1 時間未満」、「SF 郊外」。
from geopy.distance import vincenty
def distance_calc (row):
start = (row['lat'], row['long'])
stop = (37.7945742, -122.3999445)
return vincenty(start, stop).meters/1000
df_pr['distance'] = df_pr.apply (lambda row: distance_calc (row),axis=1)
def downtown_proximity(dist):
'''
< 2 -> Near Downtown, >= 2, <4 -> <0.5H Downtown
>= 4, <6 -> <1H Downtown, >= 8 -> Outside SF
'''
if dist < 2:
return 'Downtown'
elif dist < 4:
return '<0.5H Downtown'
elif dist < 6:
return '<1H Downtown'
elif dist >= 6:
return 'Outside SF'
df_pr['downtown_proximity'] = df_pr.distance.apply(downtown_proximity)市への91,5億投資のうち、約70億（全投資の75％）が市中心部の修繕と建設に投資されています。 （グリーンゾーン）から半径2km以内の市街地まで。 中央（青いゾーン）から。
市区別の建築申請の平均見積額
投資総額と同様に、すべてのデータは郵便番号ごとにグループ化されています。 この場合のみ、郵便番号別のアプリケーションの平均 (.mean()) 推定コストが使用されます。
data_location_mean = data_location.groupby(['zipcode'])['lat','long','estimated_cost'].mean()
市内の通常の地域（市内中心部から 2 km 以上）では、建設申請の平均推定コストは 50 万ドルです。
都心部の平均推定コストは約XNUMX倍 （150万ドルから400万ドル）は他の地域（30万ドルから50万ドル）よりも優れています。
土地の価格に加えて、人件費、資材、政府への手数料という XNUMX つの要素が住宅建設の総コストを決定します。 これら XNUMX つの要素は、カリフォルニアでは他の地域よりも高くなります。 カリフォルニアの建築基準は、（地震や環境規制のため）国内で最も包括的かつ厳格なものの一つと考えられており、多くの場合、より高価な資材や労働力が必要となります。
たとえば、政府は建築業者に対し、高いエネルギー効率基準を達成するために、より高品質の建築材料 (窓、断熱材、冷暖房システム) を使用することを要求しています。
許可申請の平均費用に関する一般的な統計から、次の XNUMX つの場所が際立っています。
- 宝島 - サンフランシスコ湾にある人工島。 建築許可にかかる平均推定費用は 6,5 万ドルです。
- ミッションベイ — (人口 2926 人) 建築許可の平均推定費用は 1,5 万ドルです。
実際、これら XNUMX つの領域における平均アプリケーションの高さには関連性があります。 これらの郵便局への申請数が最も少ない場合 (それぞれ 145 と 3064、島での建設は非常に限られています)、残りの郵便番号については - XNUMX1980 年から 2019 年までは年間約 1300 件の申請がありました （期間全体の合計平均30〜50のアプリケーション）。
「申請数」パラメータによると、市内全体の郵便番号ごとの申請数が完全に均等に分布していることがわかります。
月別、日別の申請総数の統計
1980 年から 2019 年までの月別、曜日別の申請総数に関する全体的な統計によると、 建設部門にとって最も静かな月は春と冬です。 同時に、申請書に指定された投資額は大きく異なり、月ごとに異なる場合もあります。 （「季節に応じた建設活動」も参照）。 曜日のうち、月曜日は他の曜日に比べて部門の負荷が約 20% 減少します。
months = [ 'January', 'February', 'March', 'April', 'May','June', 'July', 'August', 'September', 'October', 'November', 'December' ]
data_month_count = data_month.groupby(['permit_creation_date']).count().reindex(months)
申請件数では100月と4,3月はほぼ同じだが、概算費用総額ではその差は8,2％に達する（XNUMX月とXNUMX月はXNUMX億件、XNUMX月はXNUMX億件）。
data_month_sum = data_month.groupby(['permit_creation_date']).sum().reindex(months)
パターン別に活動を予測する、サンフランシスコの建設業界の将来。
最後に、サンフランシスコの建設活動チャートとビットコイン価格チャート（2015年から2018年）および金価格チャート（1940年から1980年）を比較してみましょう。
模様 （英語のパターンから - モデル、サンプル） - テクニカル分析では、価格、出来高、または指標データの安定した繰り返しの組み合わせが呼び出されます。 パターン分析は、テクニカル分析の公理の XNUMX つである「歴史は繰り返す」に基づいています。これは、データの組み合わせが繰り返されると、同様の結果が得られると考えられています。
年間活動グラフで見られる主なパターンは次のとおりです。 これは「ヘッドアンドショルダー」のトレンド反転パターンです。 この名前は、チャートが人間の頭 (ピーク) と側面の肩 (小さなピーク) のように見えるためです。 価格が底値を結ぶ線を突破すると、パターンが完成したとみなされ、動きは下降する可能性が高くなります。
サンフランシスコの建設業界の活動の動きは、金とビットコインの価格の上昇とほぼ完全に一致しています。 これら XNUMX つの価格およびアクティビティ チャートの過去のパフォーマンスは、顕著な類似点を示しています。
将来の建設市場の動向を予測できるようにするには、 相関係数を計算する必要がある これら XNUMX つのトレンドのそれぞれに対応します。
XNUMX つの確率変数は、その相関モーメント (または相関係数) がゼロ以外の場合、相関があると呼ばれます。 相関モーメントがゼロの場合、それらは無相関量と呼ばれます。
結果の値が 0 よりも 1 に近い場合、明確なパターンについて話すことに意味はありません。 これは複雑な数学的問題であり、このトピックに興味がある年配の同志が取り組むかもしれません。
もし！ 非科学的！ サンフランシスコの建設業のさらなる発展という話題に注目してください。もしこのパターンがビットコインの価格と一致し続ければ、 この悲観的な選択肢によると — サンフランシスコの建設業界の危機から抜け出すことは、危機直後は容易ではないでしょう。
より「楽観的な」オプションを使用 ここでの活動が「金価格」のシナリオに従っていれば、建設業界で指数関数的な成長が繰り返される可能性があります。 この場合、20～30年後（おそらく10年後）に、建設部門は新たな雇用と開発の急増に直面することになるだろう。
個々の建設部門（屋根、キッチンの修理、階段、バスルームの建設、業界やその他のデータに関する提案があれば、コメントに記入してください）を詳しく見て、個々の種類の作業のインフレを比較します。住宅ローンの固定金利と米国国債の収益性 (固定住宅ローン金利と米国国債利回り)。
XNUMX番目の部分へのリンク：
Jupyter ノートブックへのリンク:
Kaggle を利用している人は Notebook にプラスを与えてください (ありがとう!)。
(コードのコメントと説明は後で Notebook に追加されます)
英語版へのリンク:
私のコンテンツを気に入っていただけましたら、ぜひコーヒーをおごってください。
ご協力ありがとうございました！
登録ユーザーのみがアンケートに参加できます。 お願いします。
サンフランシスコの建設業界の将来はどうなるでしょうか?
-
視聴者の３８%が建設部門はビットコイン2の流れをたどる可能性が高い
-
視聴者の３８%が建設セクターは金価格の流れをたどる可能性0
-
視聴者の３８%がこの業界は今後 10 年間で誇大宣伝が予想されます0
-
視聴者の３８%がこの分野の発展はパターン通りに進んでいない1
3 人のユーザーが投票しました。 6名のユーザーが棄権した。
出所： habr.com