Cette série d'articles est consacrée à l'étude de l'activité de construction dans la principale ville de la Silicon Valley - San Francisco. San Francisco est le « Moscou » technologique de notre monde, prenant son exemple (avec l’aide des données ouvertes) pour observer le développement du secteur de la construction dans les grandes villes et les capitales.
La construction des graphiques et des calculs a été réalisée en (sur la plateforme Kaggle.com).
Les données sur plus d'un million de permis de construire (enregistrements dans deux ensembles de données) du Département du bâtiment de San Francisco - permettent analyser non seulement l'activité de construction dans la ville, mais aussi considérer d’un œil critique dernières tendances et historique du développement de l'industrie de la construction au cours des 40 dernières années, entre 1980 et 2019.
Les données ouvertes permettent d'explorer principaux facteurs qui ont influencé et influenceront le développement de l'industrie de la construction dans la ville, en les divisant en « externes » (les booms et crises économiques) et « internes » (l'influence des vacances et des cycles saisonniers-annuels).
Teneur
Données ouvertes et examen des paramètres de base.
Ceci n'est pas une traduction de l'article. J'écris sur LinkedIn et afin de ne pas créer de graphismes en plusieurs langues, tous les graphismes sont en anglais.
Lien vers la deuxième partie :
Données sur les permis de construire de la ville de San Francisco - Depuis le portail de données ouvertes - . Le portail dispose de plusieurs ensembles de données sur le thème de la construction. Deux de ces ensembles de données stockent et mettent à jour les données sur les permis délivrés pour la construction ou la réparation d'objets dans la ville :
- (850 mille enregistrements)
- (280 XNUMX enregistrements, les données sont téléchargées et mises à jour chaque semaine)
Ces ensembles de données contiennent des informations sur les permis de construire délivrés, avec diverses caractéristiques de l'objet pour lequel le permis est délivré. Nombre total d'entrées (autorisations) reçues dans la période 1980-2019 - 1 137 695 permis.
Les principaux paramètres de cet ensemble de données qui ont été utilisés pour l'analyse :
- permis_création_date — date de création de la demande (en fait, le jour du début des travaux de construction)
- description — description de la demande (deux ou trois mots-clés décrivant le projet de construction (ouvrage) pour lequel le permis a été créé)
- coût estimé — coût estimé (estimé) des travaux de construction
- coût_révisé — coût révisé (coût des travaux après revalorisation, augmentation ou diminution des volumes initiaux de la demande)
- utilisation_existante - type de logement (maison unifamiliale, bifamiliale, appartements, bureaux, production, etc.)
- code postal, emplacement — code postal et coordonnées de l'objet
Activité de construction annuelle à San Francisco
Le graphique ci-dessous montre les paramètres coût estimé и coût_révisé présenté sous forme de répartition du coût total des travaux par mois.
data_cost_m = data_cost.groupby(pd.Grouper(freq='M')).sum()Pour réduire les « valeurs aberrantes » mensuelles, les données mensuelles sont regroupées par année. Le graphique du montant d'argent investi par année a reçu une forme plus logique et analysable.
data_cost_y = data_cost.groupby(pd.Grouper(freq='Y')).sum()
Basé sur le mouvement annuel de la somme des coûts (tous les permis de l'année) vers les installations de la ville les facteurs économiques qui ont influencé de 1980 à 2019 sont clairement visibles sur le nombre et le coût des projets de construction, ou à défaut sur les investissements dans l'immobilier à San Francisco.
Le nombre de permis de construire (le nombre d'emplois dans le bâtiment ou le nombre d'investissements) au cours des 40 dernières années a été étroitement lié à l'activité économique de la Silicon Valley.
Le premier pic d'activité de construction a été associé au battage médiatique de l'électronique du milieu des années 80 dans la vallée. La récession électronique et bancaire qui a suivi en 1985 a plongé le marché immobilier régional dans un déclin dont il ne s'est pas remis avant près d'une décennie.
Ensuite, deux autres fois (en 1993-2000 et 2009-2016) avant l'effondrement de la bulle Internet et le boom technologique de ces dernières années. Le secteur de la construction à San Francisco a connu une croissance parabolique de plusieurs milliers de pour cent..
En supprimant les pics et les creux intermédiaires et en laissant les valeurs minimales et maximales pour chaque cycle économique, il est clair à quel point les grandes fluctuations du marché ont tourmenté l'industrie au cours des 40 dernières années.
La plus forte augmentation des investissements dans la construction s'est produite pendant le boom des dot-com, lorsqu'entre 1993 et 2001, 10 milliards de dollars ont été investis dans la rénovation et la construction, soit environ 1 milliard de dollars par an. Si l'on compte en mètres carrés (le coût d'un m² en 1 est de 1995 3000 dollars), cela représente environ 350 000 m2 par an pendant 10 ans, à partir de 1993.
La croissance des investissements totaux annuels au cours de cette période s'est élevée à 1215 XNUMX %.
Les entreprises qui louaient du matériel de construction durant cette période étaient semblables aux entreprises qui vendaient des pelles lors de la ruée vers l'or (dans la même région au milieu du XIXe siècle). Seulement, au lieu de pelles, dans les années 19, il existait déjà des grues et des pompes à béton pour les entreprises de construction nouvellement créées qui voulaient gagner de l'argent grâce au boom de la construction.
Après chacune des nombreuses crises qu'a connues le secteur de la construction au fil des années, au cours des deux prochaines années post-crise, les investissements (nombre de demandes de permis) pour la construction a chuté d'au moins 50% à chaque fois.
Les plus grandes crises du secteur de la construction à San Francisco se sont produites dans les années 90. Où, avec une périodicité de 5 ans, l'industrie soit a chuté (-85% sur la période 1983-1986), puis a augmenté à nouveau (+895% sur la période 1988-1992), restant en termes annuels en 1981, 1986, 1988. , 1993 - au même niveau.
Après 1993, tous les déclins ultérieurs dans le secteur de la construction n'ont pas dépassé 50 %. Mais l'approche de la crise économique (à cause du COVID-19) pourrait créer une crise record dans le secteur de la construction au cours de la période 2017-2021, dont la baisse déjà au cours de la période 2017-2019 s'élève au total à plus de 60 %.
Croissance démographique de San Francisco dynamique dans la période 1980-1993 également a connu une croissance presque exponentielle. La force économique et l’énergie innovante de la Silicon Valley ont constitué la base solide sur laquelle s’est construite l’hyperbole de la nouvelle économie, de la Renaissance américaine et des entreprises point-com. C'était l'épicentre de la nouvelle économie. Mais contrairement à l’augmentation des investissements immobiliers, après le pic des dot-com, la population a en fait plafonné.
Avant le pic de la bulle Internet en 2001, la croissance démographique annuelle depuis 1950 était d'environ 1 % par an. Puis, après l’éclatement de la bulle, l’afflux de nouvelle population s’est ralenti et depuis 2001 n’est plus que de 0.2 pour cent par an.
En 2019 (pour la première fois depuis 1950), la dynamique de croissance a montré un exode de la population (-0.21% ou 7000 XNUMX personnes) de la ville de San Francisco.
Attente et réalité lors de la préparation des estimations de coûts
Dans les ensembles de données utilisés, les données sur le coût d'un permis pour un projet de construction sont divisées en :
- coût estimé initial (coût estimé)
- coût des travaux après réévaluation (coût_révisé)
En période de boom, l'objectif principal de la réévaluation est d'augmenter le coût initial, lorsque l'investisseur (le client de la construction) manifeste un appétit après le début de la construction.
En période de crise, ils essaient de ne pas dépasser les coûts estimés, et les estimations initiales ne subissent pratiquement aucun changement. (sauf pour le tremblement de terre de 1989).
D'après le graphique construit sur la différence entre le coût réévalué et estimé (revised_cost -estimate_cost), on peut observer que :
Le montant de l'augmentation des coûts lors de la réévaluation du volume des travaux de construction dépend directement des cycles d'expansion économique
data_spread = data_cost.assign(spread = (data_cost.revised_cost-data_cost.estimated_cost))
Pendant les périodes de croissance économique rapide, les clients du travail (investisseurs) dépensent leurs fonds assez généreusement, augmentant leurs demandes après le début des travaux.
Le client (investisseur), se sentant en confiance financièrement, demande à l'entrepreneur en construction ou à l'architecte de prolonger le permis de construire déjà délivré. Il peut s'agir d'une décision d'augmenter la longueur initiale de la piscine ou d'augmenter la superficie de la maison (après le début des travaux et la délivrance d'un permis de construire).
Au plus fort de l’ère Internet, ces dépenses « supplémentaires » atteignaient 1 milliard « supplémentaire » par an.
Si vous regardez déjà ce tableau en pourcentage de variation, alors l'augmentation maximale de l'estimation (100 % ou 2 fois le coût estimé initial) s'est produite l'année précédant le tremblement de terre survenu en 1989 près de la ville. Je suppose qu'après le tremblement de terre, les projets de construction commencés en 1988 ont nécessité, après le tremblement de terre de 1989, plus de temps et de fonds pour leur mise en œuvre.
À l’inverse, une révision à la baisse du coût estimé (qui ne s’est produite qu’une seule fois au cours de la période 1980 à 2019) plusieurs années avant le séisme est probablement due au fait que certains projets démarrés en 1986-1987 ont été gelés ou que les investissements dans ces projets ont été réduits. vers le bas. Dans les délais en moyenne pour chaque projet démarré en 1987 - la réduction du coût estimé était de -20 % par rapport au plan initial.
data_spred_percent = data_cost_y.assign(spred = ((data_cost_y.revised_cost-data_cost_y.estimated_cost)/data_cost_y.estimated_cost*100))
Une augmentation du coût initial estimé de plus de 40 % indiquait ou était peut-être une conséquence de l'approche d'une bulle sur le marché financier, puis sur le marché de la construction.
Quelle est la raison de la diminution de l’écart (différence) entre les coûts estimés et révisés après 2007 ?
Peut-être que les investisseurs ont commencé à examiner attentivement les chiffres (le montant moyen sur 20 ans est passé de 100 2 $ à XNUMX millions de dollars), ou peut-être que le département de la construction, empêchant et inhibant l'émergence de bulles sur le marché immobilier, a introduit de nouvelles règles et restrictions pour réduire les manipulations possibles. et les risques possibles qui surgiront pendant les années de crise.
Activité de construction selon la saison de l'année
En regroupant les données par semaines calendaires de l'année (54 semaines), vous pouvez observer l'activité de construction dans la ville de San Francisco en fonction de la saisonnalité et de la période de l'année.
D'ici Noël, tous les organismes de construction tentent d'obtenir à temps les permis pour de nouveaux « grands » projets. (en même temps ! le nombre ! de permis dans ces mêmes mois est au même niveau tout au long de l'année). Les investisseurs, qui envisagent d'acquérir leur propriété au cours de l'année prochaine, concluent des contrats pendant les mois d'hiver, en comptant sur des remises importantes (puisque les contrats d'été, pour la plupart, arrivent à leur terme d'ici la fin de l'année et que les entreprises de construction sont intéressées). dans la réception de nouvelles candidatures).
Avant Noël, le plus grand nombre de candidatures est soumis (augmentation d'une moyenne de 1 à 1,5 milliard par mois à 5 milliards rien qu'en décembre). Dans le même temps, le nombre total de candidatures par mois reste au même niveau (voir section ci-dessous : statistiques sur le nombre total de candidatures par mois et par jour)
Après les vacances d'hiver, le secteur de la construction planifie et met en œuvre activement les commandes de « Noël » (avec quasiment aucune augmentation du nombre de permis) afin de libérer des ressources d'ici le milieu de l'année (avant les vacances du Jour de l'Indépendance) avant le nouveau la vague de contrats d'été commence immédiatement après les vacances de juin.
data_month_year = data_month_year.assign(week_year = data_month_year.permit_creation_date.dt.week)
data_month_year = data_month_year.groupby(['week_year'])['estimated_cost'].sum()
Les mêmes données en pourcentage (ligne orange) montrent également que l'industrie fonctionne « sans problème » tout au long de l'année, mais qu'avant et après les vacances, l'activité sur les permis augmente jusqu'à 150 % entre la semaine 20 et la 24 (avant le Jour de l'Indépendance) et diminue immédiatement après les vacances jusqu'à -70%.
Avant Halloween et Noël, l'activité dans le secteur de la construction à San Francisco augmente de 43 % au cours de la semaine 44-150 (du bas vers le sommet) puis diminue jusqu'à zéro pendant les vacances.
Ainsi, l'industrie est dans un cycle de six mois, séparés par les jours fériés « Jour de l'indépendance des États-Unis » (semaine 20) et « Noël » (semaine 52).
Investissement immobilier total à San Francisco
Sur la base des données sur les permis de construire dans la ville :
L'investissement total dans les projets de construction à San Francisco de 1980 à 2019 s'élève à 91,5 milliards de dollars.
sf_worth = data_location_lang_long.cost.sum()
La valeur marchande totale de tous les biens immobiliers résidentiels à San Francisco évaluée par les impôts fonciers (soit la valeur imposable de tous les biens immobiliers et de tous les biens personnels appartenant à San Francisco) .
Dans quels quartiers de San Francisco avez-vous investi au cours des 40 dernières années ?
À l’aide de la bibliothèque Folium, voyons où ces 91,5 milliards de dollars ont été investis par région. Pour ce faire, après avoir regroupé les données par code postal, nous représenterons les valeurs résultantes à l'aide de cercles (la fonction Circle de la bibliothèque Folium).
import folium
from folium import Circle
from folium import Marker
from folium.features import DivIcon
# map folium display
lat = data_location_lang_long.lat.mean()
long = data_location_lang_long.long.mean()
map1 = folium.Map(location = [lat, long], zoom_start = 12)
for i in range(0,len(data_location_lang_long)):
Circle(
location = [data_location_lang_long.iloc[i]['lat'], data_location_lang_long.iloc[i]['long']],
radius= [data_location_lang_long.iloc[i]['cost']/20000000],
fill = True, fill_color='#cc0000',color='#cc0000').add_to(map1)
Marker(
[data_location_mean.iloc[i]['lat'], data_location_mean.iloc[i]['long']],
icon=DivIcon(
icon_size=(6000,3336),
icon_anchor=(0,0),
html='<div style="font-size: 14pt; text-shadow: 0 0 10px #fff, 0 0 10px #fff;; color: #000";"">%s</div>'
%("$ "+ str((data_location_lang_long.iloc[i]['cost']/1000000000).round()) + ' mlrd.'))).add_to(map1)
map1
Il ressort clairement des régions que La majeure partie du gâteau est logiquement allée au centre-ville. Après avoir simplifié le regroupement de tous les objets en fonction de la distance au centre-ville et du temps nécessaire pour se rendre au centre-ville (bien sûr, des maisons coûteuses sont également construites sur la côte), tous les permis ont été divisés en 4 groupes : « Centre-ville » , '<0.5H Centre-ville', '<1H Centre-ville', 'En dehors de SF'.
from geopy.distance import vincenty
def distance_calc (row):
start = (row['lat'], row['long'])
stop = (37.7945742, -122.3999445)
return vincenty(start, stop).meters/1000
df_pr['distance'] = df_pr.apply (lambda row: distance_calc (row),axis=1)
def downtown_proximity(dist):
'''
< 2 -> Near Downtown, >= 2, <4 -> <0.5H Downtown
>= 4, <6 -> <1H Downtown, >= 8 -> Outside SF
'''
if dist < 2:
return 'Downtown'
elif dist < 4:
return '<0.5H Downtown'
elif dist < 6:
return '<1H Downtown'
elif dist >= 6:
return 'Outside SF'
df_pr['downtown_proximity'] = df_pr.distance.apply(downtown_proximity)Sur les 91,5 milliards investis dans la ville, près de 70 milliards (75 % de tous les investissements) investis dans la réparation et la construction se trouvent dans le centre-ville. (zone verte) et à l'agglomération dans un rayon de 2 km. du centre (zone bleue).
Coût moyen estimé d'une demande de construction par quartier de la ville
Toutes les données, ainsi que le montant total de l'investissement, ont été regroupées par code postal. Seulement dans ce cas avec le coût estimé moyen (.mean()) de l'application par code postal.
data_location_mean = data_location.groupby(['zipcode'])['lat','long','estimated_cost'].mean()
Dans les zones ordinaires de la ville (à plus de 2 km du centre-ville), le coût moyen estimé d'une demande de construction est de 50 XNUMX $.
Le coût moyen estimé dans la zone du centre-ville est environ trois fois plus élevé (150 400 à 30 50 dollars) que dans les autres domaines (XNUMX à XNUMX XNUMX dollars).
En plus du coût du terrain, trois facteurs déterminent le coût total de la construction d’une maison : la main-d’œuvre, les matériaux et les frais gouvernementaux. Ces trois composantes sont plus élevées en Californie que dans le reste du pays. Les codes du bâtiment californiens sont considérés comme parmi les plus complets et les plus stricts du pays (en raison des réglementations sismiques et environnementales), nécessitant souvent des matériaux et une main d'œuvre plus coûteux.
Par exemple, le gouvernement exige que les constructeurs utilisent des matériaux de construction de meilleure qualité (fenêtres, isolation, systèmes de chauffage et de climatisation) pour atteindre des normes d’efficacité énergétique élevées.
Des statistiques générales sur le coût moyen d’une demande de permis, deux localisations se démarquent :
- Treasure Island - une île artificielle dans la baie de San Francisco. Le coût moyen estimé d'un permis de construire est de 6,5 millions de dollars.
- Mission Bay — (population 2926 1,5) Le coût moyen estimé d'un permis de construire est de XNUMX million de dollars.
En fait, la demande moyenne élevée dans ces deux domaines est liée avec le moins de candidatures pour ces emplacements postaux (respectivement 145 et 3064, la construction sur l'île est très limitée), tandis que pour le reste des codes postaux - XNUMXet la période 1980-2019 a reçu environ 1300 XNUMX candidatures par an (total en moyenne 30 à 50 XNUMX candidatures pour toute la période).
Selon le paramètre « nombre de candidatures », on constate une répartition parfaitement homogène du nombre de candidatures par code postal dans toute la ville.
Statistiques sur le nombre total de candidatures par mois et par jour
Les statistiques globales sur le nombre total de demandes par mois et par jour de la semaine entre 1980 et 2019 montrent que Les mois les plus calmes pour le département de construction sont les mois de printemps et d’hiver. Dans le même temps, le montant des investissements spécifiés dans les candidatures varie considérablement et diffère parfois d'un mois à l'autre. (voir également « Activité de construction selon la saison »). Parmi les jours de la semaine, le lundi, la charge sur le département est inférieure d'environ 20 % à celle des autres jours de la semaine.
months = [ 'January', 'February', 'March', 'April', 'May','June', 'July', 'August', 'September', 'October', 'November', 'December' ]
data_month_count = data_month.groupby(['permit_creation_date']).count().reindex(months)
Alors que juin et juillet sont pratiquement identiques en termes de nombre de demandes, en termes de coût total estimé, la différence atteint 100% (4,3 milliards en mai et juillet et 8,2 milliards en juin).
data_month_sum = data_month.groupby(['permit_creation_date']).sum().reindex(months)
L'avenir du secteur de la construction à San Francisco, en prédisant l'activité selon des modèles.
Enfin, comparons le graphique de l'activité de construction à San Francisco avec le graphique des prix du Bitcoin (2015-2018) et celui de l'or (1940 - 1980).
Modèle (du modèle anglais - modèle, échantillon) - dans l'analyse technique, des combinaisons répétitives stables de données de prix, de volume ou d'indicateur sont appelées. L'analyse des modèles est basée sur l'un des axiomes de l'analyse technique : « l'histoire se répète » - on pense que des combinaisons répétées de données conduisent à un résultat similaire.
La principale tendance visible sur le graphique d’activité annuel est Il s’agit d’un modèle d’inversion de tendance « tête et épaules ». Ainsi nommé parce que le graphique ressemble à une tête humaine (pic) et à des épaules sur les côtés (petits pics). Lorsque le prix franchit la ligne reliant les creux, la configuration est considérée comme terminée et le mouvement est probablement à la baisse.
Les mouvements d’activité dans le secteur de la construction à San Francisco coïncident presque entièrement avec la hausse du prix de l’or et du bitcoin. Les performances historiques de ces trois graphiques de prix et d’activité montrent des similitudes notables.
Pour pouvoir prédire le comportement du marché de la construction à l'avenir, il faut calculer le coefficient de corrélation avec chacune de ces deux tendances.
Deux variables aléatoires sont dites corrélées si leur moment de corrélation (ou coefficient de corrélation) est différent de zéro ; et sont appelées quantités non corrélées si leur moment de corrélation est nul.
Si la valeur résultante est plus proche de 0 que de 1, alors cela n'a aucun sens de parler d'un modèle clair. Il s’agit d’un problème mathématique complexe qui peut être abordé par des camarades plus âgés susceptibles d’être intéressés par ce sujet.
Si! peu scientifique! regardez le sujet du développement futur de l'industrie de la construction à San Francisco : si la tendance continue de coïncider avec le prix du Bitcoin, alors selon cette option pessimiste — sortir de la crise du secteur de la construction à San Francisco ne sera pas facile dans l'immédiat après-crise.
Avec une option plus « optimiste » développement, une croissance exponentielle répétée dans le secteur de la construction est possible si l’activité ici suit le scénario du « prix de l’or ». Dans ce cas, dans 20 à 30 ans (peut-être dans 10 ans), le secteur de la construction sera confronté à une nouvelle poussée d’emploi et de développement.
J'examinerai de plus près les différents secteurs de la construction (réparation de toits, cuisines, construction d'escaliers, salles de bains, si vous avez des suggestions sur les industries ou d'autres données - veuillez les écrire dans les commentaires) et comparerai l'inflation pour différents types de travaux avec les taux fixes sur les prêts hypothécaires et la rentabilité des obligations d'État américaines (Fixed Mortgage Rates & US Treasury Yield).
Lien vers la deuxième partie :
Lien vers le bloc-notes Jupyter :
S'il vous plaît, pour ceux qui sont avec Kaggle, donnez un plus à Notebook (Merci !).
(Les commentaires et explications du code seront ajoutés ultérieurement dans Notebook)
Lien vers la version anglaise :
Si vous appréciez mon contenu, pensez à m'offrir un café.
Merci pour votre aide!
Seuls les utilisateurs enregistrés peuvent participer à l'enquête. s'il te plait.
Quel avenir pour le secteur de la construction à San Francisco ?
-
66,7%Le secteur de la construction est plus susceptible de suivre la voie du Bitcoin2
-
0,0%Le secteur de la construction pourrait suivre la trajectoire des prix de l’or0
-
0,0%Le secteur s'attend à un battage médiatique au cours des 10 prochaines années0
-
33,3%Le développement du secteur ne se déroule pas selon des schémas1
3 utilisateurs ont voté. 6 utilisateurs se sont abstenus.
Source: habr.com