Тази поредица от статии е посветена на изследването на строителната дейност в главния град на Силиконовата долина - Сан Франциско. Сан Франциско е технологичната „Москва“ на нашия свят, използвайки нейния пример (с помощта на отворени данни), за да наблюдаваме развитието на строителната индустрия в големите градове и столици.
Изграждането на графики и изчисления е извършено през (в платформата Kaggle.com).
Данни за повече от милион разрешителни за строеж (записи в два набора от данни) от строителния отдел на Сан Франциско - позволява анализират не само строителната дейност в града, но и критично обмислете най-новите тенденции и история на развитието на строителната индустрия през последните 40 години, между 1980 и 2019 г.
Отворените данни правят възможно изследването основни фактори, които са повлияли и ще влияят върху развитието на строителната индустрия в града, разделяйки ги на „външни” (икономически подем и кризи) и „вътрешни” (влиянието на празниците и сезонно-годишните цикли).
Съдържание
Отворени данни и преглед на базовите параметри.
Това не е превод на статията. Пиша в LinkedIn и за да не създавам графики на няколко езика, всички графики са на английски.
Линк към втората част:
Данни за разрешение за строеж на град Сан Франциско - от портал за отворени данни - . Порталът разполага с няколко набора от данни по темата за строителството. Два такива масива съхраняват и актуализират данни за издадени разрешителни за строеж или ремонт на обекти в града:
- (850 хиляди записа)
- (280 хиляди записа, данните се изтеглят и актуализират всяка седмица)
Тези набори от данни съдържат информация за издадените разрешения за строеж, с различни характеристики на обекта, за който е издадено разрешението. Общ брой получени записи (разрешения). в периода 1980-2019 г. - 1 137 695 разрешителни.
Основните параметри от този набор от данни, използвани за анализ:
- дата_на_създаване на разрешение — дата на създаване на заявлението (всъщност денят, в който започват строителните работи)
- описание — описание на заявлението (две или три ключови думи, описващи строителния проект (работа), за който е създадено разрешението)
- очаквани разходи — прогнозна (прогнозна) стойност на строителните работи
- ревизирана_цена — коригирана цена (цена на работа след преоценка, увеличаване или намаляване на първоначалните обеми на приложението)
- съществуваща_употреба - тип жилища (едно-, двуфамилни къщи, апартаменти, офиси, производство и др.)
- пощенски код, местоположение — пощенски код и координати на обекта
Годишна строителна дейност в Сан Франциско
Графиката по-долу показва параметрите очаквани разходи и ревизирана_цена представени като разпределение на общата стойност на работата по месеци.
data_cost_m = data_cost.groupby(pd.Grouper(freq='M')).sum()За да се намалят месечните „отклонения“, месечните данни се групират по години. Графиката на размера на инвестираните средства по години е получила по-логичен и анализируем вид.
data_cost_y = data_cost.groupby(pd.Grouper(freq='Y')).sum()
Въз основа на годишното движение на сумата от разходите (всички разрешителни за годината) към градските съоръжения икономическите фактори, повлияли от 1980 до 2019 г., са ясно видими върху броя и цената на строителните проекти или по друг начин върху инвестициите в недвижими имоти в Сан Франциско.
Броят на разрешителните за строеж (броят работни места в строителството или броят на инвестициите) през последните 40 години е тясно свързан с икономическата активност в Силиконовата долина.
Първият пик на строителната дейност беше свързан с шума на електрониката от средата на 80-те години в долината. Последвалата рецесия в областта на електрониката и банкирането през 1985 г. изпрати регионалния пазар на недвижими имоти в спад, от който той не се възстанови почти десетилетие.
След това още два пъти (през 1993-2000 г. и 2009-2016 г.) преди срива на Dotcom балона и технологичния бум през последните години Строителната индустрия на Сан Франциско отбеляза параболичен растеж от няколко хиляди процента..
Чрез премахване на междинните пикове и спадове и оставяне на минималните и максималните стойности за всеки икономически цикъл става ясно колко големи пазарни колебания са измъчвали индустрията през последните 40 години.
Най-голямото увеличение на инвестициите в строителството се наблюдава по време на дотком бума, когато между 1993 г. и 2001 г. 10 милиарда долара са инвестирани в обновяване и строителство, или приблизително 1 милиард долара годишно. Ако броим в квадратни метри (цената на 1 m² през 1995 г. е $3000), това са приблизително 350 000 m2 годишно за 10 години, започвайки от 1993 г.
Ръстът на годишните общи инвестиции през този период възлиза на 1215%.
Компаниите, които наемат строителна техника през този период, са подобни на компаниите, които продават лопати по време на златната треска (в същия регион в средата на 19 век). Само вместо лопати, през 2000-те вече имаше кранове и бетонови помпи за новосформирани строителни компании, които искаха да правят пари от строителния бум.
След всяка от многото кризи, които строителната индустрия преживя през годините, през следващите две години след кризата, инвестиции (брой заявления за разрешителни) за строеж намалява с поне 50% всеки път.
Най-големите кризи в строителната индустрия на Сан Франциско настъпиха през 90-те години. Където с периодичност от 5 години индустрията или спада (-85% в периода 1983-1986 г.), след което отново се покачва (+895% в периода 1988-1992 г.), оставайки в годишно изражение през 1981, 1986, 1988 г. , 1993 - на същото ниво.
След 1993 г. всички последващи спадове в строителния бранш възлизат на не повече от 50%. Но наближаваща икономическа криза (поради COVID-19) може да създаде рекордна криза в строителната индустрия в периода 2017-2021 г., чийто спад още в периода 2017-2019 г. възлиза на общо над 60%.
Нарастване на населението на Сан Франциско динамика и в периода 1980-1993г показа почти експоненциален растеж. Икономическата сила и иновативната енергия на Силициевата долина бяха солидната основа, върху която беше изградена хиперболата на Новата икономика, Американския ренесанс и дот-комите. Това беше епицентърът на новата икономика. Но за разлика от нарастването на инвестициите в недвижими имоти, след пика на dot-com, населението всъщност достигна плато.
Преди пика на dot-com през 2001 г. годишният прираст на населението от 1950 г. насам е бил приблизително 1% годишно. След това, след срутването на балона, притокът на ново население се забави и от 2001 г. е едва 0.2 процента годишно.
През 2019 г. (за първи път от 1950 г.) динамиката на растеж показа отлив на население (-0.21% или 7000 души) от град Сан Франциско.
Очакване и реалност при изготвяне на разчети
В използваните набори от данни данните за цената на разрешение за строителен проект са разделени на:
- първоначална прогнозна цена (очаквани разходи)
- разходи за работа след преоценка (ревизирана_цена)
По време на бум основната цел на преоценката е да се увеличи първоначалната цена, когато инвеститорът (клиентът на строителството) прояви апетит след началото на строителството.
По време на криза те се опитват да не надхвърлят прогнозните разходи и първоначалните оценки практически не претърпяват промени (с изключение на земетресението от 1989 г.).
Съгласно графиката, изградена върху разликата между преоценената и прогнозната цена (revised_cost - оценена_цена), може да се наблюдава, че:
Размерът на увеличението на разходите при преоценка на обема на строителните работи зависи пряко от циклите на икономически бум
data_spread = data_cost.assign(spread = (data_cost.revised_cost-data_cost.estimated_cost))
По време на периоди на бърз икономически растеж клиентите на работа (инвеститорите) изразходват средствата си доста щедро, увеличавайки заявките си след започване на работа.
Клиентът (инвеститор), чувствайки се финансово уверен, иска от строителния предприемач или архитект да удължи срока на вече издаденото разрешение за строеж. Това може да бъде решение за увеличаване на първоначалната дължина на басейна или увеличаване на площта на къщата (след започване на работа и издаване на разрешение за строеж).
В пика на ерата на dot-com подобни „допълнителни“ разходи достигнаха „допълнителни“ 1 милиард на година.
Ако погледнете тази таблица вече в процентна промяна, тогава пиковото увеличение на оценката (100% или 2 пъти първоначалната прогнозна цена) е настъпило през годината преди земетресението, което се случи през 1989 г. близо до града. Предполагам, че след земетресението започнатите през 1988 г. строителни проекти са изисквали след земетресението през 1989 г. повече време и средства за изпълнение.
Обратно, ревизия надолу на прогнозните разходи (която се случи само веднъж през периода от 1980 до 2019 г.) няколко години преди земетресението вероятно се дължи на факта, че някои проекти, започнати през 1986-1987 г., бяха замразени или инвестициите в тези проекти бяха съкратени надолу. Навреме средно за всеки проект, започнат през 1987 г. - намалението на прогнозните разходи беше -20% от първоначалния план.
data_spred_percent = data_cost_y.assign(spred = ((data_cost_y.revised_cost-data_cost_y.estimated_cost)/data_cost_y.estimated_cost*100))
Увеличението на първоначалната прогнозна цена с повече от 40% е индикация или вероятно е следствие от наближаващия балон на финансовия, а впоследствие и на строителния пазар.
Каква е причината за намаляването на спреда (разликата) между прогнозните и ревизираните разходи след 2007 г.?
Може би инвеститорите започнаха внимателно да разглеждат числата (средната сума за 20 години се увеличи от $100 хиляди на $2 милиона) или може би строителният отдел, предотвратявайки и възпрепятствайки възникващите балони на пазара на недвижими имоти, въведе нови правила и ограничения, за да намали възможните манипулации и възможните рискове, които ще възникнат през кризисните години.
Строителна дейност в зависимост от сезона на годината
Чрез групиране на данните по календарни седмици от годината (54 седмици), можете да наблюдавате строителната дейност в град Сан Франциско в зависимост от сезона и времето на годината.
До Коледа всички строителни организации се опитват да получат навреме разрешение за нови „големи“ проекти. (в същото време! броят! на разрешителните през същите тези месеци е на едно и също ниво през цялата година). Инвеститорите, които планират да придобият имота си през следващата година, сключват договори през зимните месеци, разчитайки на големи отстъпки (тъй като летните договори в по-голямата си част изтичат до края на годината и строителните фирми проявяват интерес при получаване на нови заявления).
Преди Коледа се подават най-много заявления (увеличение от средно 1-1,5 милиарда на месец до 5 милиарда само през декември). В същото време общият брой заявления по месеци остава на същото ниво (вижте раздела по-долу: статистика за общия брой заявления по месеци и дни)
След зимните празници строителният бранш активно планира и изпълнява „коледни“ поръчки (без почти никакво увеличение на разрешителните), за да освободи ресурси до средата на годината (преди празника на Деня на независимостта) преди новата вълна от летни договори започва веднага след юнските празници.
data_month_year = data_month_year.assign(week_year = data_month_year.permit_creation_date.dt.week)
data_month_year = data_month_year.groupby(['week_year'])['estimated_cost'].sum()
Същите процентни данни (оранжева линия) също показват, че индустрията работи „гладко“ през цялата година, но преди и след празниците активността по разрешителните се увеличава до 150% в периода между 20-24 седмица (преди Деня на независимостта) и намалява веднага след празника до -70%.
Преди Хелоуин и Коледа активността в строителната индустрия в Сан Франциско се увеличава със 43% през седмицата 44-150 (от дъното до пика) и след това намалява до нула по време на празниците.
Така индустрията е в шестмесечен цикъл, който е разделен от празниците „Ден на независимостта на САЩ“ (седмица 20) и „Коледа“ (седмица 52).
Обща инвестиция в недвижими имоти в Сан Франциско
Въз основа на данните за разрешенията за строеж в града:
Общата инвестиция в строителни проекти в Сан Франциско от 1980 до 2019 г. е 91,5 милиарда долара.
sf_worth = data_location_lang_long.cost.sum()
Общата пазарна стойност на всички жилищни недвижими имоти в Сан Франциско, оценена чрез данъци върху собствеността (която е оценената стойност на всички недвижими имоти и цялата лична собственост, притежавана от Сан Франциско) .
В кои райони на Сан Франциско са инвестирани през последните 40 години?
Използвайки библиотеката Folium, нека видим къде са инвестирани тези $91,5 милиарда по региони. За да направите това, след като групирате данните по пощенски код, ще представим получените стойности с помощта на кръгове (функцията Circle от библиотеката Folium).
import folium
from folium import Circle
from folium import Marker
from folium.features import DivIcon
# map folium display
lat = data_location_lang_long.lat.mean()
long = data_location_lang_long.long.mean()
map1 = folium.Map(location = [lat, long], zoom_start = 12)
for i in range(0,len(data_location_lang_long)):
Circle(
location = [data_location_lang_long.iloc[i]['lat'], data_location_lang_long.iloc[i]['long']],
radius= [data_location_lang_long.iloc[i]['cost']/20000000],
fill = True, fill_color='#cc0000',color='#cc0000').add_to(map1)
Marker(
[data_location_mean.iloc[i]['lat'], data_location_mean.iloc[i]['long']],
icon=DivIcon(
icon_size=(6000,3336),
icon_anchor=(0,0),
html='<div style="font-size: 14pt; text-shadow: 0 0 10px #fff, 0 0 10px #fff;; color: #000";"">%s</div>'
%("$ "+ str((data_location_lang_long.iloc[i]['cost']/1000000000).round()) + ' mlrd.'))).add_to(map1)
map1
От регионите става ясно, че По-голямата част от баницата логично отиде в DownTown. След като опростихме групирането на всички обекти по разстояние до центъра на града и времето, необходимо за достигане до центъра на града (разбира се, скъпи къщи също се строят на брега), всички разрешителни бяха разделени на 4 групи: „Център“ , '<0.5H в центъра', '< 1H в центъра', 'Извън SF'.
from geopy.distance import vincenty
def distance_calc (row):
start = (row['lat'], row['long'])
stop = (37.7945742, -122.3999445)
return vincenty(start, stop).meters/1000
df_pr['distance'] = df_pr.apply (lambda row: distance_calc (row),axis=1)
def downtown_proximity(dist):
'''
< 2 -> Near Downtown, >= 2, <4 -> <0.5H Downtown
>= 4, <6 -> <1H Downtown, >= 8 -> Outside SF
'''
if dist < 2:
return 'Downtown'
elif dist < 4:
return '<0.5H Downtown'
elif dist < 6:
return '<1H Downtown'
elif dist >= 6:
return 'Outside SF'
df_pr['downtown_proximity'] = df_pr.distance.apply(downtown_proximity)От 91,5 милиарда, инвестирани в града, почти 70 милиарда (75% от всички инвестиции), инвестирани в ремонти и строителство, са в центъра на града (зелена зона) и до района на града в радиус от 2 км. от центъра (синя зона).
Средна прогнозна цена на заявление за строителство по градски район
Всички данни, както и общата сума на инвестицията, бяха групирани по пощенски код. Само в този случай със средната (.mean()) прогнозна цена на приложението по пощенски код.
data_location_mean = data_location.groupby(['zipcode'])['lat','long','estimated_cost'].mean()
В обикновените райони на града (повече от 2 км от центъра на града) - средната прогнозна цена на едно строително приложение е 50 хиляди долара.
Средната прогнозна цена в района на центъра на града е приблизително три пъти по-висока ($150 хиляди до $400 хиляди), отколкото в други области ($30-50 хиляди).
В допълнение към цената на земята, три фактора определят общата цена на строителството на дома: труд, материали и държавни такси. Тези три компонента са по-високи в Калифорния, отколкото в останалата част на страната. Строителните норми на Калифорния се считат за едни от най-изчерпателните и строги в страната (поради земетресенията и екологичните разпоредби), често изискващи по-скъпи материали и труд.
Например правителството изисква от строителите да използват по-висококачествени строителни материали (прозорци, изолация, системи за отопление и охлаждане), за да постигнат високи стандарти за енергийна ефективност.
От общата статистика за средната цена на едно заявление за разрешително се открояват две места:
- Островът на съкровищата - изкуствен остров в залива на Сан Франциско. Средната прогнозна цена на разрешение за строеж е 6,5 милиона долара.
- Mission Bay — (население 2926) Средната прогнозна цена на разрешение за строеж е 1,5 милиона долара.
Всъщност високото средно приложение в тези две области е свързано с най-малък брой приложения за тези пощенски местоположения (съответно 145 и 3064, строителството на острова е много ограничено), докато за останалите пощенски кодове - XNUMXи периодът 1980-2019 г. получава приблизително 1300 заявления годишно (общо средно 30 -50 хиляди заявления за целия период).
Според параметъра „брой приложения“ се забелязва идеално равномерно разпределение на броя на заявления по пощенски код в целия град.
Статистика за общия брой заявки по месеци и дни
Общата статистика за общия брой заявления по месеци и дни от седмицата между 1980 г. и 2019 г. показва, че Най-спокойните месеци за строителния отдел са пролетните и зимните месеци. В същото време размерът на инвестициите, посочени в приложенията, варира значително и се различава от месец на месец на моменти (виж допълнително „Строителна дейност в зависимост от сезона”). Сред дните от седмицата понеделник натоварването на отдела е приблизително 20% по-малко, отколкото в останалите дни от седмицата.
months = [ 'January', 'February', 'March', 'April', 'May','June', 'July', 'August', 'September', 'October', 'November', 'December' ]
data_month_count = data_month.groupby(['permit_creation_date']).count().reindex(months)
Докато юни и юли са практически еднакви по отношение на броя на заявления, по отношение на общата прогнозна цена разликата достига 100% (4,3 милиарда през май и юли и 8,2 милиарда през юни).
data_month_sum = data_month.groupby(['permit_creation_date']).sum().reindex(months)
Бъдещето на строителната индустрия в Сан Франциско, прогнозиране на активността по модели.
И накрая, нека сравним диаграмата на строителната дейност в Сан Франциско с диаграмата на цените на Биткойн (2015-2018) и диаграмата на цените на златото (1940 - 1980).
модел (от англ. pattern - модел, образец) - в техническия анализ се наричат стабилни повтарящи се комбинации от данни за цена, обем или индикатор. Анализът на модели се основава на една от аксиомите на техническия анализ: „историята се повтаря“ - смята се, че повтарящите се комбинации от данни водят до подобен резултат.
Основният модел, който може да се види на годишната диаграма на дейността, е Това е модел за обръщане на тенденцията „Глава и рамене“. Наречена така, защото диаграмата изглежда като човешка глава (връх) и рамене отстрани (по-малки върхове). Когато цената пробие линията, свързваща дъните, моделът се счита за завършен и движението вероятно ще бъде надолу.
Движенията в активността в строителната индустрия на Сан Франциско почти напълно съвпадат с покачването на цената на златото и биткойн. Историческото представяне на тези три диаграми на цените и активността показва забележими прилики.
За да можем да прогнозираме поведението на строителния пазар в бъдеще, необходимо е да се изчисли коефициентът на корелация с всяка от тези две тенденции.
Две случайни променливи се наричат корелирани, ако техният корелационен момент (или коефициент на корелация) е различен от нула; и се наричат некорелирани величини, ако техният корелационен момент е нула.
Ако получената стойност е по-близо до 0, отколкото до 1, тогава няма смисъл да говорим за ясен модел. Това е сложна математическа задача, която може да се заеме от по-възрастни другари, които може да се интересуват от тази тема.
Ако! ненаучно! погледнете темата за по-нататъшното развитие на строителната индустрия в Сан Франциско: ако моделът продължава да съвпада с цената на биткойн, тогава според този песимистичен вариант — излизането от кризата в строителната индустрия в Сан Франциско няма да бъде лесно в периода непосредствено след кризата.
С по-„оптимистичен“ вариант развитие, възможен е повторен експоненциален растеж в строителната индустрия, ако дейността тук следва сценария на „цената на златото“. В този случай след 20-30 години (може и след 10) строителният сектор ще бъде изправен пред нов скок на заетост и развитие.
Ще разгледам по-подробно отделните сектори на строителството (ремонт на покриви, кухни, изграждане на стълби, бани, ако имате някакви предложения за отрасли или други данни - моля, пишете в коментарите) и ще сравня инфлацията за отделните видове работа с фиксирани лихвени проценти по ипотечните заеми и доходността на държавните облигации на САЩ (фиксирани ипотечни лихвени проценти и доходност на държавните облигации на САЩ).
Линк към втората част:
Връзка към Jupyter Notebook:
Моля, за тези, които са с Kaggle, дайте плюс на Notebook (Благодарим ви!).
(Коментари и обяснения на кода ще бъдат добавени по-късно в Notebook)
Линк към английската версия:
Ако харесвате моето съдържание, моля, помислете дали да не ми купите кафе.
Благодаря за подкрепата!
В анкетата могат да участват само регистрирани потребители. , Моля те.
Какво крие бъдещето за строителната индустрия в Сан Франциско?
-
66,7%Строителният сектор е по-вероятно да следва пътя на Bitcoin2
-
0,0%Строителният сектор може да последва пътя на цените на златото0
-
0,0%Секторът очаква шум през следващите 10 години0
-
33,3%Развитието на сектора не върви по шаблони1
3 потребители гласуваха. 6 потребители се въздържаха.
Източник: www.habr.com