Esta serie de artigos está dedicada ao estudo da actividade de construción na principal cidade de Silicon Valley - San Francisco. San Francisco é a "Moscova" tecnolóxica do noso mundo, utilizando o seu exemplo (coa axuda de datos abertos) para observar o desenvolvemento da industria da construción nas grandes cidades e capitais.
Realizouse a construción de gráficos e cálculos en (na plataforma Kaggle.com).
Os datos sobre máis dun millón de licenzas de construción (rexistros en dous conxuntos de datos) do Departamento de Construción de San Francisco permiten analizar non só a actividade de construción na cidade, pero tamén considerar críticamente últimas tendencias e historia de desenvolvemento da industria da construción nos últimos 40 anos, entre 1980 e 2019.
Os datos abertos permiten explorar principais factores que influíron e influirán no desenvolvemento da industria da construción na cidade, dividíndoas en “externas” (booms económicos e crises) e “internas” (influencia das vacacións e ciclos estacionais-anuais).
Contido
Datos abertos e revisión dos parámetros de referencia.
Esta non é unha tradución do artigo. Escribo en LinkedIn e para non crear gráficos en varios idiomas, todos os gráficos están en inglés.
Ligazón á segunda parte:
Datos do permiso de construción da cidade de San Francisco - Do portal de datos abertos - . O portal ten varios conxuntos de datos sobre o tema da construción. Dous destes conxuntos de datos almacenan e actualizan datos sobre os permisos emitidos para a construción ou reparación de obxectos na cidade:
- (850 mil rexistros)
- (280 mil rexistros, os datos descárganse e actualízanse semanalmente)
Estes conxuntos de datos conteñen información sobre as licenzas de construción emitidas, con diversas características do obxecto para o que se emite. Número total de entradas (permisos) recibidas no período 1980-2019 - 1 permisos.
Os principais parámetros deste conxunto de datos que se utilizaron para a análise:
- data_de_creación_permiso - data de creación da solicitude (de feito, o día no que comezan as obras de construción)
- descrición — descrición da solicitude (dúas ou tres palabras clave que describen o proxecto de construción (obra) para o que se creou a autorización)
- custo_estimado - Custo estimado (estimado) dos traballos de construción
- custo_revisado — custo revisado (custo de traballo despois da revalorización, aumento ou diminución dos volumes iniciais da solicitude)
- uso_existente - Tipo de vivenda (casa unifamiliar, bifamiliar, pisos, oficinas, produción, etc.)
- código postal, localización - Código postal e coordenadas do obxecto
Actividade anual de construción en San Francisco
O seguinte gráfico mostra os parámetros custo_estimado и custo_revisado presentado como unha distribución do custo total do traballo por mes.
data_cost_m = data_cost.groupby(pd.Grouper(freq='M')).sum()Para reducir os "outliers" mensuais, os datos mensuais agrúpanse por ano. O gráfico da cantidade de diñeiro investido por ano recibiu unha forma máis lóxica e analizábel.
data_cost_y = data_cost.groupby(pd.Grouper(freq='Y')).sum()
En función do movemento anual da suma de custos (todos os permisos do ano) ás instalacións da cidade Os factores económicos que influíron desde 1980 ata 2019 son claramente visibles sobre o número e custo dos proxectos de construción, ou doutro xeito sobre investimentos en inmobles de San Francisco.
O número de licenzas de construción (o número de traballos de construción ou o número de investimentos) nos últimos 40 anos estivo moi relacionado coa actividade económica en Silicon Valley.
O primeiro pico de actividade de construción estivo asociado co bombo da electrónica de mediados dos anos 80 no val. A conseguinte recesión electrónica e bancaria en 1985 enviou o mercado inmobiliario rexional a un declive do que non se recuperou durante case unha década.
Despois diso, dúas veces máis (en 1993-2000 e 2009-2016) antes do colapso da burbulla Dotcom e o boom tecnolóxico dos últimos anos. A industria da construción de San Francisco experimentou un crecemento parabólico de varios miles por cento..
Ao eliminar os picos e valles intermedios e deixando os valores mínimos e máximos para cada ciclo económico, queda claro como as grandes flutuacións do mercado afectaron á industria nos últimos 40 anos.
O maior aumento do investimento en construción produciuse durante o boom das puntocom, cando entre 1993 e 2001 se investiron 10 millóns de dólares en renovación e construción, ou aproximadamente 1 millóns de dólares ao ano. Se contamos en metros cadrados (o custo de 1 m² en 1995 é de 3000 dólares), isto é aproximadamente 350 m² ao ano durante 000 anos, a partir de 2.
O crecemento dos investimentos totais anuais durante este período ascendeu ao 1215%.
As empresas que alugaban equipos de construción durante este período eran similares ás empresas que vendían pas durante a febre do ouro (na mesma rexión a mediados do século XIX). Só que en lugar de palas, nos anos 19 xa había guindastres e bombas de formigón para empresas de construción de recente creación que querían gañar cartos co boom da construción.
Despois de cada unha das moitas crises que experimentou a industria da construción ao longo dos anos, nos próximos dous anos posteriores á crise, investimentos (cantidade das solicitudes de licenzas) para a construción caeu polo menos un 50% cada vez.
As maiores crises na industria da construción de San Francisco ocorreron nos anos 90. Onde, cunha periodicidade de 5 anos, a industria ou ben descendeu (-85% no período 1983-1986), para despois volveu subir (+895% no período 1988-1992), manténdose en termos anuais en 1981, 1986, 1988. , 1993 - ao mesmo nivel.
Despois de 1993, todos os descensos posteriores na industria da construción non superaron o 50%. Pero aproximación da crise económica (debido ao COVID-19) podería crear unha crise récord no sector da construción no período 2017-2021, cuxo descenso xa no período 2017-2019 ascende a un total de máis do 60%.
Crecemento poboacional de San Francisco dinámica no período 1980-1993 tamén mostrou un crecemento case exponencial. A fortaleza económica e a enerxía innovadora de Silicon Valley foi a base sólida sobre a que se construíu a hipérbole da Nova Economía, o Renacemento americano e as punto com. Foi o epicentro da nova economía. Pero a diferenza do aumento do investimento inmobiliario, despois do pico das puntocom, a poboación realmente se estabiliza.
Antes do pico das puntocom en 2001, o crecemento da poboación anual desde 1950 foi de aproximadamente o 1% anual. Despois, despois do colapso da burbulla, a entrada de nova poboación diminuíu e desde 2001 foi só do 0.2 por cento ao ano.
En 2019 (por primeira vez desde 1950), a dinámica de crecemento mostrou unha saída de poboación (-0.21% ou 7000 persoas) da cidade de San Francisco.
Expectativa e realidade á hora de elaborar estimacións de custos
Nos conxuntos de datos utilizados, os datos sobre o custo dunha licenza para un proxecto de construción divídense en:
- custo estimado orixinal (custo_estimado)
- custo do traballo despois da revalorización (custo_revisado)
Durante os tempos de boom, o obxectivo principal da revalorización é aumentar o custo inicial, cando o investidor (o cliente da construción) mostra un apetito despois do inicio da construción.
Durante unha crise, intentan non superar os custos estimados, e as estimacións iniciais practicamente non experimentan cambios (excepto o terremoto de 1989).
Segundo o gráfico construído sobre a diferenza entre o custo revalorizado e estimado (custo_revisado - custo_estimado), pódese observar que:
A cantidade de aumento dos custos ao revalorizar o volume da obra depende directamente dos ciclos de boom económico
data_spread = data_cost.assign(spread = (data_cost.revised_cost-data_cost.estimated_cost))
Durante os períodos de rápido crecemento económico, os clientes de traballo (investidores) gastan os seus fondos con bastante xenerosidade, aumentando as súas solicitudes despois do inicio do traballo.
O cliente (investidor), sentíndose financeiramente seguro, pídelle ao contratista da construción ou ao arquitecto que prorrogue a licenza de construción xa emitida. Esta pode ser unha decisión para aumentar a lonxitude orixinal da piscina ou aumentar a superficie da casa (despois do inicio dos traballos e a emisión dunha licenza de construción).
No cumio da era das puntocom, tales gastos "adicionais" alcanzaron os 1 millóns "extra" ao ano.
Se observas esta táboa xa en cambio porcentual, entón o aumento máximo da estimación (100% ou 2 veces o custo estimado orixinal) produciuse no ano anterior ao terremoto que ocorreu en 1989 preto da cidade. Supoño que despois do terremoto, os proxectos de construción que comezaron en 1988 requiriron, despois do terremoto de 1989, máis tempo e fondos para a súa execución.
Pola contra, unha revisión á baixa do custo estimado (que se produciu só unha vez durante o período de 1980 a 2019) varios anos antes do terremoto débese presumiblemente a que algúns proxectos iniciados en 1986-1987 se conxelaron ou se recortaron os investimentos nestes proxectos. abaixo. Dentro do programa de media para cada proxecto iniciado en 1987 - a redución do custo estimado foi do -20% do plan orixinal.
data_spred_percent = data_cost_y.assign(spred = ((data_cost_y.revised_cost-data_cost_y.estimated_cost)/data_cost_y.estimated_cost*100))
Un aumento do custo inicial estimado de máis do 40% indicaba ou posiblemente foi consecuencia da próxima burbulla no mercado financeiro e, posteriormente, da construción.
Cal é a razón da diminución do diferencial (diferenza) entre os custos estimados e revisados despois de 2007?
Quizais os investimentos comezaron a mirar coidadosamente os números (a cantidade media durante 20 anos aumentou de $ 100 mil a $ 2 millóns) ou quizais o departamento de construción, previndo e inhibindo as burbullas emerxentes no mercado inmobiliario, introduciu novas regras e restricións para reducir posibles manipulacións. e os posibles riscos que xurdirán durante os anos de crise.
Actividade de construción en función da estación do ano
Ao agrupar os datos por semanas naturais do ano (54 semanas), pódese observar a actividade de construción na cidade de San Francisco en función da estacionalidade e da época do ano.
Para o Nadal, todas as organizacións de construción están tentando conseguir permisos para novos proxectos "grandes" a tempo. (ao mesmo tempo! o número! de permisos nestes mesmos meses está ao mesmo nivel durante todo o ano). Os investidores, que planean conseguir a súa propiedade no próximo ano, celebran contratos nos meses de inverno, contando con grandes descontos (xa que os contratos de verán, na súa maior parte, rematan a finais de ano e as empresas construtoras están interesadas). á recepción de novas solicitudes).
Antes do Nadal preséntanse as maiores cantidades de solicitudes (aumento dunha media de 1-1,5 millóns por mes a 5 millóns só en decembro). Ao mesmo tempo, o número total de solicitudes por mes mantense no mesmo nivel (ver a seguinte sección: estatísticas sobre o número total de solicitudes por mes e día)
Despois das vacacións de inverno, a industria da construción está a planificar e implementar activamente as ordes de "Nadal" (sen aumentar case ningún número de permisos) para liberar recursos a mediados de ano (antes do festivo do Día da Independencia) antes da nova data. a onda de contratos de verán comeza inmediatamente despois das vacacións de xuño.
data_month_year = data_month_year.assign(week_year = data_month_year.permit_creation_date.dt.week)
data_month_year = data_month_year.groupby(['week_year'])['estimated_cost'].sum()
Os mesmos datos porcentuais (liña laranxa) tamén mostran que a industria funciona "sen problemas" durante todo o ano, pero antes e despois das vacacións, a actividade dos permisos aumenta ata o 150% no período comprendido entre a semana 20-24 (antes do Día da Independencia), e diminúe inmediatamente despois das vacacións ata -70%.
Antes de Halloween e Nadal, a actividade na industria da construción de San Francisco aumenta un 43 % durante a semana 44-150 (de abaixo ao pico) e despois diminúe a cero durante as vacacións.
Así, a industria está nun ciclo de seis meses, que está separado polas vacacións "Día da Independencia dos Estados Unidos" (semana 20) e "Nadal" (semana 52).
Investimento inmobiliario total en San Francisco
Segundo os datos das licenzas de obra na cidade:
O investimento total en proxectos de construción en San Francisco entre 1980 e 2019 é de 91,5 millóns de dólares.
sf_worth = data_location_lang_long.cost.sum()
O valor de mercado total de todos os inmobles residenciais en San Francisco avaliado polos impostos sobre a propiedade (sendo o valor de todos os inmobles e todos os bens persoais propiedade de San Francisco) .
En que zonas de San Francisco investiron nos últimos 40 anos?
Usando a biblioteca Folium, vexamos onde se investiron estes 91,5 millóns de dólares por rexións. Para iso, agrupando os datos por código postal, representaremos os valores resultantes mediante círculos (a función Circle da biblioteca Folium).
import folium
from folium import Circle
from folium import Marker
from folium.features import DivIcon
# map folium display
lat = data_location_lang_long.lat.mean()
long = data_location_lang_long.long.mean()
map1 = folium.Map(location = [lat, long], zoom_start = 12)
for i in range(0,len(data_location_lang_long)):
Circle(
location = [data_location_lang_long.iloc[i]['lat'], data_location_lang_long.iloc[i]['long']],
radius= [data_location_lang_long.iloc[i]['cost']/20000000],
fill = True, fill_color='#cc0000',color='#cc0000').add_to(map1)
Marker(
[data_location_mean.iloc[i]['lat'], data_location_mean.iloc[i]['long']],
icon=DivIcon(
icon_size=(6000,3336),
icon_anchor=(0,0),
html='<div style="font-size: 14pt; text-shadow: 0 0 10px #fff, 0 0 10px #fff;; color: #000";"">%s</div>'
%("$ "+ str((data_location_lang_long.iloc[i]['cost']/1000000000).round()) + ' mlrd.'))).add_to(map1)
map1
Desde as comarcas queda claro que A maior parte do pastel foi loxicamente para DownTown. Unha vez simplificada a agrupación de todos os obxectos pola distancia ao centro da cidade e o tempo que tarda en chegar ao centro da cidade (por suposto, tamén se están construíndo casas caras na costa), todos os permisos dividíronse en 4 grupos: "Centro" , "<0.5 H Centro da cidade", "< 1 H Centro da cidade", "Fóra de SF".
from geopy.distance import vincenty
def distance_calc (row):
start = (row['lat'], row['long'])
stop = (37.7945742, -122.3999445)
return vincenty(start, stop).meters/1000
df_pr['distance'] = df_pr.apply (lambda row: distance_calc (row),axis=1)
def downtown_proximity(dist):
'''
< 2 -> Near Downtown, >= 2, <4 -> <0.5H Downtown
>= 4, <6 -> <1H Downtown, >= 8 -> Outside SF
'''
if dist < 2:
return 'Downtown'
elif dist < 4:
return '<0.5H Downtown'
elif dist < 6:
return '<1H Downtown'
elif dist >= 6:
return 'Outside SF'
df_pr['downtown_proximity'] = df_pr.distance.apply(downtown_proximity)Dos 91,5 millóns investidos na cidade, case 70 millóns (o 75% de todos os investimentos) investidos en reparación e construción están no centro da cidade. (zona verde) e á zona da cidade nun radio de 2 km. do centro (zona azul).
Custo medio estimado dunha solicitude de construción por distrito da cidade
Todos os datos, ao igual que o importe total do investimento, agrupáronse por código postal. Só neste caso co custo medio (.mean()) estimado da aplicación por código postal.
data_location_mean = data_location.groupby(['zipcode'])['lat','long','estimated_cost'].mean()
Nas zonas comúns da cidade (a máis de 2 km do centro da cidade) - o custo medio estimado dunha solicitude de construción é de 50 mil dólares.
O custo medio estimado no centro da cidade é aproximadamente tres veces maior ($150 mil a $400 mil) que noutras áreas ($30-50 mil).
Ademais do custo do terreo, tres factores determinan o custo total da construción de vivendas: man de obra, materiais e taxas gobernamentais. Estes tres compoñentes son máis elevados en California que no resto do país. Os códigos de construción de California considéranse algúns dos máis completos e estritos do país (debido aos terremotos e ás regulacións ambientais), que a miúdo requiren materiais e man de obra máis caros.
Por exemplo, o goberno esixe aos construtores que utilicen materiais de construción de maior calidade (ventas, illamento, sistemas de calefacción e refrixeración) para acadar altos estándares de eficiencia enerxética.
Das estatísticas xerais sobre o custo medio dunha solicitude de autorización, destacan dúas localizacións:
- A Illa do Tesouro - unha illa artificial na baía de San Francisco. O custo medio estimado dunha licenza de construción é de 6,5 millóns de dólares.
- Mission bay — (poboación 2926) O custo medio estimado dunha licenza de construción é de 1,5 millóns de dólares.
De feito, a alta media de aplicación nestas dúas áreas está relacionada co menor número de solicitudes para estas localizacións postais (145 e 3064 respectivamente, a construción na illa é moi limitada), mentres que para o resto dos códigos postais - XNUMXe o período 1980-2019 recibiu aproximadamente 1300 solicitudes ao ano (total de media 30 -50 mil solicitudes para todo o período).
Segundo o parámetro “número de solicitudes”, nótase unha distribución perfectamente uniforme do número de solicitudes por código postal por toda a cidade.
Estatística do número total de solicitudes por mes e días
As estatísticas xerais sobre o número total de solicitudes por mes e día da semana entre 1980 e 2019 mostran que Os meses máis tranquilos para o departamento de construción son os meses de primavera e inverno. Ao mesmo tempo, a cantidade de investimentos especificadas nas solicitudes varía moito e difiere de mes a mes ás veces (ver adicionalmente “Actividade de construción segundo a estación”). Entre os días da semana, o luns a carga no departamento é aproximadamente un 20% menos que noutros días da semana.
months = [ 'January', 'February', 'March', 'April', 'May','June', 'July', 'August', 'September', 'October', 'November', 'December' ]
data_month_count = data_month.groupby(['permit_creation_date']).count().reindex(months)
Mentres xuño e xullo son practicamente iguais en canto ao número de solicitudes, en canto ao custo total estimado a diferenza chega ao 100% (4,3 millóns en maio e xullo e 8,2 millóns en xuño).
data_month_sum = data_month.groupby(['permit_creation_date']).sum().reindex(months)
O futuro da industria da construción de San Francisco, predicindo a actividade por patróns.
En conclusión, imos comparar o gráfico da actividade de construción en San Francisco co gráfico de prezos de Bitcoin (2015-2018) e o gráfico de prezos do ouro (1940 - 1980).
Patrón (do patrón inglés - modelo, mostra) - na análise técnica chámanse combinacións repetidas estables de datos de prezo, volume ou indicador. A análise de patróns baséase nun dos axiomas da análise técnica: "a historia repítese" - crese que as combinacións repetidas de datos conducen a un resultado similar.
O patrón principal que se pode ver no cadro de actividade anual é Este é un patrón de inversión de tendencia "Cabeza e ombreiros". Chámase así porque o gráfico semella unha cabeza humana (pico) e os ombreiros nos lados (picos menores). Cando o prezo rompe a liña que conecta os canales, o patrón considérase completo e é probable que o movemento sexa á baixa.
Os movementos da actividade na industria da construción de San Francisco coinciden case por completo co aumento do prezo do ouro e do bitcoin. O desempeño histórico destes tres gráficos de prezos e actividade mostra notables semellanzas.
Para poder predecir o comportamento do mercado da construción no futuro, é necesario calcular o coeficiente de correlación con cada unha destas dúas tendencias.
Dúas variables aleatorias chámanse correlacionadas se o seu momento de correlación (ou coeficiente de correlación) é diferente de cero; e chámanse cantidades non correlacionadas se o seu momento de correlación é cero.
Se o valor resultante está máis preto de 0 que de 1, entón non ten sentido falar dun patrón claro. Este é un problema matemático complexo, que poden ser asumidos por compañeiros maiores que poidan estar interesados neste tema.
Se! non científico! mire o tema do maior desenvolvemento da industria da construción en San Francisco: se o patrón segue coincidindo co prezo de Bitcoin, entón segundo esta opción pesimista — Non será fácil saír da crise da industria da construción en San Francisco no período inmediato posterior á crise.
Cunha opción máis “optimista”. desenvolvemento, o crecemento exponencial repetido na industria da construción é posible se a actividade aquí segue o escenario do "prezo do ouro". Neste caso, dentro de 20-30 anos (posiblemente en 10), o sector da construción enfrontarase a un novo aumento do emprego e do desenvolvemento.
Darei unha ollada máis atenta aos sectores individuais da construción (reparación de tellados, cociñas, construción de escaleiras, baños, se tes algunha suxestión sobre industrias ou outros datos, escribe nos comentarios) e compararei a inflación dos tipos de traballo individuais con as taxas fixas dos préstamos hipotecarios e a rendibilidade dos bonos do goberno estadounidense (Fixed Mortgage Rates & US Treasury Yield).
Ligazón á segunda parte:
Ligazón a Jupyter Notebook:
Por favor, para aqueles que están con Kaggle, dálle un plus a Notebook (¡Grazas!).
(Os comentarios e explicacións do código engadiranse máis adiante no Caderno)
Ligazón á versión en inglés:
Se che gusta o meu contido, considera comprarme un café.
grazas polo teu apoio!
Só os usuarios rexistrados poden participar na enquisa. , por favor.
Que futuro lle depara a industria da construción de San Francisco?
-
66,7%É máis probable que o sector da construción siga o camiño de Bitcoin2
-
0,0%O sector da construción pode seguir o camiño dos prezos do ouro0
-
0,0%O sector espera bombo nos próximos 10 anos0
-
33,3%O desenvolvemento do sector non vai segundo patróns1
Votaron 3 usuarios. 6 usuarios abstivéronse.
Fonte: www.habr.com