Ця серія статей присвячена дослідженню будівельної активності головного міста Кремнієвої Долини – Сан-Франциско. Сан-Франциско - технологічна "Москва" нашого світу, на прикладі якого (за допомогою відкритих даних) можна спостерігати за розвитком будівельної галузі у великих містах та столицях.
Побудова графіків та розрахунків проводилася в (На платформі Kaggle.com).
Дані про більш ніж мільйон дозволів на будівництво (записів у двох датасетах) від департаменту будівництва Сан-Франциско — дозволяють проаналізувати не лише будівельну активність у місті, а й критично розглянути останні тенденції та історію розвитку будівельної галузі за останні 40 років, у період з 1980 до 2019 року.
Відкриті дані дають можливість досліджувати основні фактори, які впливали та впливатимуть на розвиток будівельної галузі у місті, розділивши їх на “зовнішні” (економічні буми та кризи) та “внутрішні” (вплив свят та сезонно-річних циклів).
Зміст
Відкриті дані та огляд вихідних параметрів.
Це не переклад статті. Я пишу на LinkedIn і щоб не створювати графіки кількома мовами — усі графіки англійською.
Посилання на другу частину:
Дані про дозволи на будівництво в місті Сан-Франциско взяті з порталу відкритих даних. . На порталі є кілька датасетів на тему будівництва. У двох таких датасетах зберігаються та оновлюються дані щодо дозволів, виданих на будівництво або ремонт об'єктів у місті:
- (850 тис. записів)
- (280 тис. записів, дані завантажуються та оновлюються щотижня)
У датасетах міститься інформація про видані дозволи на будівництво, з різними характеристиками об'єкта, на який видається дозвіл. Загальна кількість записів (дозвіл), отриманих у період 1980-2019 рік - 1 137 695 дозволів.
Основні параметри цього датасет, які були використані для аналізу:
- permit_creation_date — дата створення заявки (за фактом день, з якого починаються будівельні роботи)
- desctription - Опис заявки (два-три ключові слова, що описують об'єкт будівництва (роботи) на яке створювався дозвіл)
- estimated_cost - Кошторисна (імовірна) вартість будівельних робіт
- revised_cost - Переглянута вартість (вартість робіт після переоцінки, збільшення або зменшення початкових обсягів за заявкою)
- existing_use - Тип житла (один-, дво-фамільний будинок, апартаменти, офіси, виробництво та ін.)
- zipcode, location - Поштовий індекс та координати об'єкта
Річна будівельна активність у Сан-Франциско
На графіку нижче дані щодо параметрів estimated_cost и revised_cost представлені у вигляді розподілу загальної вартості робіт за місяцями.
data_cost_m = data_cost.groupby(pd.Grouper(freq='M')).sum()Для зменшення місячних "викидів" місячні дані згруповані за роками. Графік кількості інвестованих грошей за роками отримав більш логічний і піддається аналізу — вигляд.
data_cost_y = data_cost.groupby(pd.Grouper(freq='Y')).sum()
За річним рухом суми цін (всіх дозволів за рік) до міських об'єктів добре видно економічні чинники, які з 1980 по 2019 роки впливали на кількість та вартість будівельних об'єктів, або інакше на інвестиції в нерухомість Сан-Франциско.
Кількість дозволів на будівництво (кількість будівельних робіт або кількість інвестицій) протягом останніх 40 років була тісно пов'язана з економічною активністю в кремнієвій долині.
Перший пік будівельної активності був пов'язаний із хайпом електроніки середини 80-х років у долині. Наступний спад в галузі електроніки і банківської справи в 1985 році призвів до того, що регіональний ринок нерухомості занепав, від якого він не відновлювався майже десять років.
Після цього ще двічі (у 1993-2000 та 2009-2016 рр.) перед схлопуванням міхура Доткомов та технологічним бумом останніх років будівельна галузь Сан-Франциско пройшла через параболічне зростання у кілька тисяч відсотків.
Прибравши проміжні піки та спади та залишивши мінімальні та максимальні значення на кожному економічному циклі, видно наскільки великі коливання ринку переслідували галузь останні 40 років.
Найбільше зростання інвестицій у будівництво припало на час буму доткомів, коли за період з 1993 по 2001 рік у ремонт та будівництво було проінвестовано — $10 млрд. або приблизно по $1 млрд. на рік. Якщо рахувати в квадратних метрах (вартість 1м² у 1995 році - $3000) - це приблизно по 350 000 м2 на рік протягом 10 років, починаючи з 1993 року.
Зростання щорічних сумарних інвестицій за цей період склало 1215%.
Фірми, які в цей період займалися здаванням в оренду будівельної техніки, були схожими на контори, які продавали лопати за часів золотої лихоманки (у цьому ж регіоні в середині 19 століття). Тільки замість лопат — у 2000-ті вже були крани і бетононасоси, для будівельних фірм, що тільки-но утворилися, які хотіли заробити на будівельному бумі.
Після кожної з численних криз, які пережила будівельна галузь за ці роки, протягом наступних двох післякризових років інвестиції (сума заявок з дозволів) на будівництво щоразу падали мінімум на 50%.
Найбільші кризи у будівельній галузі Сан-Франциско припали на 90-ті роки. Де з періодичністю 5 років, галузь то падала (-85% у період 1983-1986 рр.), то знову піднімалася (+895% у період 1988-1992 рр.), залишаючись у щорічному вираз 1981, 1986, 1988, 1993 - на одному рівні.
Вже після 1993 року усі подальші спади у будівельній галузі становили не більше 50%. Але економічна криза, що наближається (через COVID-19) може створити рекордну кризу у будівельній галузі у період 2017-2021 рр., падіння якої вже за період 2017-2019 р. складає сумарно більше 60%.
Зростання населення Сан-Франциско за динамікою в період 1980-1993 років також показував майже експоненційне зростання. Економічна сила та інноваційна енергія кремнієвої долини були міцною основою, на якій будувалася гіпербола нової економіки, американського відродження та доткомів. То справді був епіцентр нової економіки. Але на відміну від зростання інвестицій у нерухомість, після піку доткомів, чисельність населення фактично вийшла на плато.
Якщо до піку доткомів у 2001 році, з 1950 року щорічний приріст населення становив приблизно 1% на рік. То після схлопування міхура приплив нового населення загальмувався і з 2001 року становить лише 0.2 відсотка на рік.
B 2019 року (вперше з 1950 року) динаміка приросту показала відтік населення (-0.21% або 7000 осіб) з міста Сан-Франциско.
Очікування та реальність при складанні кошторисної вартості
У використаних датасетах дані щодо вартості розподілу на будівельний об'єкт поділені на:
- початкову кошторисну вартість (estimated_cost)
- вартість робіт після переоцінки (revised_cost)
За часів буму основна мета переоцінки - це збільшення початкової вартості, коли в інвестора (замовник будівництва) проявляється апетит вже після початку будівництва.
Під час кризи кошторисні вартості, намагаються не перевищувати, і початкові кошториси практично не зазнають змін (Виняток землетрус 1989 року).
За графіком побудованого на різниці переоціненої та кошторисної вартості (revised_cost - estimated_cost) можна спостерігати, що:
Сума збільшення вартості при переоцінці обсягу будівельних робіт прямо залежить від циклів економічного буму
data_spread = data_cost.assign(spread = (data_cost.revised_cost-data_cost.estimated_cost))
У періоди стрімкого економічного зростання замовники робіт (інвестори) досить щедро витрачають свої кошти, збільшуючи свої запити вже після початку робіт.
Замовник (інвестор), відчуваючи свою фінансову впевненість, просить будівельного підрядника чи архітектора розширити вже виданий дозвіл на будівництво. Це може бути рішення про збільшення початкової довжини басейну або збільшення площі будинку (вже після початку робіт та видачі дозволу на будівництво).
У пік доткомів такі "додаткові" витрати доходили до "зайвих" 1 млрд. на рік.
Якщо подивитися на цю таблицю вже у відсотковій зміні, то пік збільшення кошторису (у 100% або в 2 рази від первісної кошторисної вартості) припав на рік перед землетрусом, що стався у 1989 році недалеко від міста. Припускаю, що після землетрусу об'єкти будівництва, які були розпочаті у 1988 р., вимагали після землетрусу у 1989 р. — більшу кількість часу та коштів на реалізацію.
І навпаки, перегляд кошторисної вартості в меншу сторону (що сталося лише один раз за період з 1980 по 2019 рік) за кілька років до землетрусу, ймовірно пов'язаний з тим, що деякі об'єкти розпочаті в 1986-1987 році були заморожені або інвестиції по цих об'єктах. були урізані. Згідно з графіком в середньому на кожен об'єкт розпочатий у 1987 році - зниження кошторисної вартості становило -20% від початкового плану.
data_spred_percent = data_cost_y.assign(spred = ((data_cost_y.revised_cost-data_cost_y.estimated_cost)/data_cost_y.estimated_cost*100))
Збільшення початкової кошторисної вартості на більш ніж 40%, вказувало або можливо було наслідком міхура, що наближається, на фінансовому і в подальшому — будівельному ринку.
З чим пов'язане зменшення спреду (різниці) між кошторисною та переглянутою вартістю після 2007 року?
Можливо інвестори почали ретельно дивитися на цифри (середня сума за 20 років зросла зі $100 тис. до $2 млн.) або можливо департамент з будівництва, попереджаючи і гальмуючи бульбашки, що виникають на ринку нерухомості, ввело нові правила та обмеження, щоб знизити можливі маніпуляції та можливі ризики, що виникнуть у кризові роки.
Активність будівництва в залежності від сезону року
Згрупувавши дані за календарними тижнями в році (54 тижні), можна спостерігати за будівельною активністю міста Сан-Франциско в залежності від сезонності та пори року.
До Різдва всі будівельні організації намагаються встигнути отримати дозвіл на нові "великі" об'єкти. (При цьому! кількість! дозволів у ці ж місяці знаходиться на одному рівні протягом усього року). Інвестори, плануючи отримати свій об'єкт протягом наступного року укладають договори в зимові місяці, розраховуючи на великі знижки (оскільки літні договори, здебільшого, до кінця року підходять до закінчення і будівельні фірми зацікавлені у надходженні нових заявок).
Перед різдвом подаються найбільші суми в заявках (Збільшення із середніх 1-1,5 млрд. на місяць. до 5 млрд. за один лише грудень). При цьому загальна кількість заявок по місяцях залишається на одному рівні (див. Нижче розділ: статистика по кількості заявок по місяцях і днях)
Після зимових канікул будівельна галузь активно (майже без зростання кількості дозволів) займається плануванням та реалізацією “різдвяних” замовлень, щоб до середини року (до свята “Дня незалежності”) – встигнути звільнити ресурси перед початком одразу після червневих свят – новою хвилею літніх договорів.
data_month_year = data_month_year.assign(week_year = data_month_year.permit_creation_date.dt.week)
data_month_year = data_month_year.groupby(['week_year'])['estimated_cost'].sum()
Ці ж дані у відсотках (помаранчева лінія) так само показують, що галузь працює "рівно" протягом року, але перед і після свят активність за дозволами збільшується до 150% у період між week 20-24 (перед Днем Незалежності), і знижується відразу після свята до -70%.
Перед Хеллоіном та Різдвом активність у будівельній галузі Сан-Франциско week 43-44 зростає на 150% (від дна до піку) і після зменшується на канікулах до нуля.
Таким чином галузь знаходиться у піврічному циклі, який розділений святами “Днем незалежності США” (week 20) та “Різдвом” (week 52).
Загальний обсяг інвестицій у нерухомість Сан-Франциско
Виходячи з даних щодо дозволів на будівництво у місті:
Загальний обсяг інвестицій у будівельні об'єкти Сан-Франциско в період з 1980 року до 2019 року становить 91,5 млрд. доларів.
sf_worth = data_location_lang_long.cost.sum()
Загальна ринкова вартість всієї житлової нерухомості в Сан-Франциско, оцінена з податку на майно (є оцінною вартістю всієї нерухомості та всієї особистої власності, що належить Сан-Франциско) .
У які райони Сан-Франциско інвестували за останні 40 років
За допомогою бібліотеки Folium подивимося, куди були інвестовані ці $91,5 млрд. по районах. Для цього згрупувавши дані по поштовому індексу (zipcode), представимо отримані значення за допомогою кіл (функції Circle із бібліотеки Folium).
import folium
from folium import Circle
from folium import Marker
from folium.features import DivIcon
# map folium display
lat = data_location_lang_long.lat.mean()
long = data_location_lang_long.long.mean()
map1 = folium.Map(location = [lat, long], zoom_start = 12)
for i in range(0,len(data_location_lang_long)):
Circle(
location = [data_location_lang_long.iloc[i]['lat'], data_location_lang_long.iloc[i]['long']],
radius= [data_location_lang_long.iloc[i]['cost']/20000000],
fill = True, fill_color='#cc0000',color='#cc0000').add_to(map1)
Marker(
[data_location_mean.iloc[i]['lat'], data_location_mean.iloc[i]['long']],
icon=DivIcon(
icon_size=(6000,3336),
icon_anchor=(0,0),
html='<div style="font-size: 14pt; text-shadow: 0 0 10px #fff, 0 0 10px #fff;; color: #000";"">%s</div>'
%("$ "+ str((data_location_lang_long.iloc[i]['cost']/1000000000).round()) + ' mlrd.'))).add_to(map1)
map1
По районах видно, що Більшість пирога логічно дісталася DownTown. Спрощено згрупувавши всі об'єкти по відстані до центру міста та часу, які необхідно щоб дістатися центру міста (звичайно дорогі будинки будуються також на узбережжі), всі дозволи були розділені на 4 групи: 'Downtown', '<0.5H Downtown', '< 1H Downtown', 'Outside SF'.
from geopy.distance import vincenty
def distance_calc (row):
start = (row['lat'], row['long'])
stop = (37.7945742, -122.3999445)
return vincenty(start, stop).meters/1000
df_pr['distance'] = df_pr.apply (lambda row: distance_calc (row),axis=1)
def downtown_proximity(dist):
'''
< 2 -> Near Downtown, >= 2, <4 -> <0.5H Downtown
>= 4, <6 -> <1H Downtown, >= 8 -> Outside SF
'''
if dist < 2:
return 'Downtown'
elif dist < 4:
return '<0.5H Downtown'
elif dist < 6:
return '<1H Downtown'
elif dist >= 6:
return 'Outside SF'
df_pr['downtown_proximity'] = df_pr.distance.apply(downtown_proximity)Із 91,5 млрд. інвестованих у місто — майже 70 мільярдів (75% усіх інвестицій) інвестованих у ремонт та будівництво припадають на центр міста (зелена зона) та в район міста в радіусі 2 км. від центру (синя зона).
Середня кошторисна вартість заявки на будівництво в районах міста
Усі дані, як і у випадку із загальною сумою інвестицій, були згруповані за поштовим індексом. Тільки в даному випадку із середньою (.mean()) кошторисною вартістю заявки за поштовим індексом.
data_location_mean = data_location.groupby(['zipcode'])['lat','long','estimated_cost'].mean()
У звичайних районах міста (більше 2 км. від центру міста) — середня кошторисна вартість заявки на будівництво становить $50 тис.
Середня кошторисна вартість у районі центру міста вища приблизно втричі ($ 150 тис. до $ 400 тис.) ніж у інших районах ($30-50 тис.).
Окрім вартості землі, три фактори визначають загальну вартість при будівництві житла: працю, матеріали та державні збори. Ці три компоненти у Каліфорнії вищі, ніж у решті країни. Будівельні норми та стандарти Каліфорнії вважаються одними з найбільш всеосяжних і суворих у країні (через землетруси та екологічні норми), часто вимагаючи більш дорогих матеріалів та робочої сили.
Наприклад, держава вимагає, щоб будівельники використовували будівельні матеріали (вікна, ізоляція, системи опалення та охолодження) вищої якості для досягнення високих стандартів у галузі енергоефективності.
Із загальної статистики за середньою вартістю заявки на дозвіл вибиваються дві локації:
- Острів скарбів - Штучний острів у затоці Сан-Франциско. Середня кошторисна вартість дозволу на будівництво - $6,5 мільйонів.
- Mission Bay — (проживає 2926 осіб) Середня кошторисна вартість дозволу на будівництво — 1,5 мільйона доларів.
Насправді висока середня заявка у цих двох районах пов'язана з найменшою кількістю заявок на ці поштові локації (145 і 3064 відповідно, будівництво на острові сильно обмежене), тоді як за іншими поштовими індексамиа період 1980-2019 рік надходило приблизно по 1300 заяв на рік (Всього в середньому 30 -50 тис. заяв за весь період).
За параметром "кількість заявок" помітно ідеально-рівне розподіл кількості заявок, що припадають на один поштовий індекс, по всій території міста.
Статистика щодо загальної кількості заявок за місяцями та днями
Загальна статистика щодо загальної кількості заявок за місяцями та днями тижня у період з 1980 по 2019 рік показує, що "найспокійніші" місяці для департаменту будівництва - це весняні та зимові місяці. При цьому сума інвестицій, зазначених у заявках, сильно варіюється, і відрізняє від місяця до місяця в рази (Див. додатково "Активність будівництва залежно від сезону року"). Серед днів тижня у понеділок навантаження на департамент приблизно на 20% менше, ніж у решту днів тижня.
months = [ 'January', 'February', 'March', 'April', 'May','June', 'July', 'August', 'September', 'October', 'November', 'December' ]
data_month_count = data_month.groupby(['permit_creation_date']).count().reindex(months)
Тоді як за кількістю заявок Червень та Липень практично не відрізняються, за загальною кошторисною вартістю різниця сягає 100% (4,3 млрд. у травні та липні та 8,2 млрд. у червні).
data_month_sum = data_month.groupby(['permit_creation_date']).sum().reindex(months)
Майбутнє будівельної галузі Сан-Франциско, передбачення активності з патернів.
Наприкінці порівняємо графік активності будівництва в Сан-Франциско з графіком ціни на Біткоїн (2015-2018 рр.) та графіком ціни на золото (1940 - 1980 рр.)
патерн (Від англ. pattern - Модель, зразок) - в технічному аналізі називаються стійкі повторювані поєднання даних ціни, обсягу або індикаторів. Аналіз патернів ґрунтується на одній з аксіом технічного аналізу: «історія повторюється» — вважається, що комбінації даних, що повторюються, призводять до аналогічного результату.
Основний патерн, який вгадується на графіку річної активності. це "Голова та плечі" - патерн розвороту тренду. Названий так, оскільки графік схожий на людську голову (пік) та плечі з боків (менші піки). Коли ціна прориває лінію, що з'єднує западини, патерн вважається завершеним, а рух, швидше за все, відбуватиметься вниз.
Рухи активності в будівельній галузі Сан-Франциско практично повністю збігаються з графіком зростання ціни на золото і біткоін. Історичні показники цих трьох графіків руху цін та активності демонструють помітні подібності.
Щоб можна було передбачити поведінку будівельного ринку у майбутньому, необхідно розрахувати коефіцієнт корелюваності з кожним із цих двох трендів.
Дві випадкові величини називаються корельованими, якщо їхній кореляційний момент (або коефіцієнт кореляції) відмінний від нуля; і називають некорельованими величинами, якщо їхній кореляційний момент дорівнює нулю.
Якщо отримане значення буде ближчим до 0, ніж до 1, то говорити про чітку закономірність немає сенсу. Це складне математичне завдання, за яке, можливо, візьмуться старші товариші, яких може зацікавити ця тема.
Якщо! ненауково! подивитися на тему подальшого розвитку будівельної галузі Сан-Франциско: при збігу патерну і далі з ціною біткоїну, то за цим песимістичним варіантом — вийти з кризи будівельної галузі у Сан-Франциско буде непросто найближчим часом посткризового.
При більш "оптимістичному" варіанті розвитку, можливе повторне експоненційне зростання будівельної галузі, якщо активність тут піде за сценарієм "ціни на золото". У цьому варіанті через 20-30 років (можливо через 10) на будівельну сферу очікує новий сплеск зайнятості та розвитку.
я докладніше розгляну окремі галузі будівництва (ремонт дахів, кухонь, будівництво сходів, ванних кімнат, якщо у вас є побажання за галузями чи іншими даними — напишіть будь ласка в коментарі) та порівняю інфляцію за окремими типами робіт із фіксованою ставкою за іпотечними кредитами та прибутковістю державних облігацій США (Fixed Mortgage Rates & US Treasury Yield).
Посилання на другу частину:
Посилання на Jupyter Notebook:
Будь ласка тим, хто з Kaggle - поставте плюс Notebook (Дякую!).
(У Notebook пізніше будуть додані коментарі та пояснення за кодом)
Посилання на англійську версію:
Якщо вам подобається мій контент, будь ласка, подумайте про покупку кави.
Дякую за вашу підтримку!
Тільки зареєстровані користувачі можуть брати участь в опитуванні. , будь ласка.
Яке майбутнє чекає на будівельну сферу Сан-Франциско?
-
66,7%Будівельний сектор скоріше піде шляхом Біткоіна2
-
0,0%Будівельний сектор можливо піде шляхом ціни на золото0
-
0,0%Сектор очікує хайп протягом наступних 10 років0
-
33,3%Розвиток сектора не по патернам1
Проголосували 3 користувачів. Утрималися 6 користувачів.
Джерело: habr.com