Esta série de artigos é dedicada ao estudo da atividade construtiva na principal cidade do Vale do Silício - São Francisco. São Francisco é a “Moscou” tecnológica do nosso mundo, usando o seu exemplo (com a ajuda de dados abertos) para observar o desenvolvimento da indústria da construção nas grandes cidades e capitais.
A construção dos gráficos e cálculos foi realizada em (na plataforma Kaggle.com).
Dados sobre mais de um milhão de licenças de construção (registros em dois conjuntos de dados) do Departamento de Construção de São Francisco - permitem analisar não apenas a atividade de construção na cidade, mas também considerar criticamente últimas tendências e história de desenvolvimento da indústria da construção nos últimos 40 anos, entre 1980 e 2019.
Os dados abertos permitem explorar principais fatores que influenciaram e influenciarão o desenvolvimento da indústria da construção na cidade, dividindo-os em “externos” (booms e crises económicas) e “internos” (influência dos feriados e dos ciclos sazonais-anuais).
Conteúdo
Dados abertos e revisão dos parâmetros de linha de base.
Esta não é uma tradução do artigo. Escrevo no LinkedIn e para não criar gráficos em vários idiomas, todos os gráficos estão em inglês.
Link para a segunda parte:
Dados de licença de construção da cidade de São Francisco - do portal de dados abertos - . O portal possui diversos conjuntos de dados sobre o tema construção. Dois desses conjuntos de dados armazenam e atualizam dados sobre licenças emitidas para construção ou reparo de objetos na cidade:
- (850 mil registros)
- (280 mil registros, os dados são baixados e atualizados semanalmente)
Esses conjuntos de dados contêm informações sobre licenças de construção emitidas, com diversas características do objeto para o qual a licença é emitida. Número total de entradas (permissões) recebidas no período 1980-2019 – 1 autorizações.
Os principais parâmetros deste conjunto de dados que foram utilizados para análise:
- data_de_permissão_de_criação — data de criação do pedido (na verdade, o dia em que começam as obras)
- descrição — descrição do pedido (duas ou três palavras-chave que descrevem o projeto de construção (obra) para o qual a licença foi criada)
- custo estimado — custo estimado (estimado) das obras
- custo_revisado — custo revisado (custo da obra após reavaliação, aumento ou diminuição dos volumes iniciais da aplicação)
- uso_existente - tipo de habitação (casa unifamiliar, bifamiliar, apartamentos, escritórios, produção, etc.)
- CEP, localização — código postal e coordenadas do objeto
Atividade anual de construção em São Francisco
O gráfico abaixo mostra os parâmetros custo estimado и custo_revisado apresentado como uma distribuição do custo total da obra por mês.
data_cost_m = data_cost.groupby(pd.Grouper(freq='M')).sum()Para reduzir “outliers” mensais, os dados mensais são agrupados por ano. O gráfico do valor investido por ano ganhou uma forma mais lógica e analisável.
data_cost_y = data_cost.groupby(pd.Grouper(freq='Y')).sum()
Com base no movimento anual da soma dos custos (todas as licenças do ano) para instalações da cidade os fatores econômicos que influenciaram de 1980 a 2019 são claramente visíveis sobre o número e o custo dos projetos de construção ou, de outra forma, sobre investimentos em imóveis em São Francisco.
O número de licenças de construção (o número de empregos na construção ou o número de investimentos) nos últimos 40 anos tem estado intimamente relacionado com a actividade económica em Silicon Valley.
O primeiro pico da atividade de construção foi associado ao entusiasmo da eletrônica em meados dos anos 80 no vale. A recessão electrónica e bancária que se seguiu em 1985 levou o mercado imobiliário regional a um declínio do qual não recuperou durante quase uma década.
Depois disso, mais duas vezes (em 1993-2000 e 2009-2016) antes do colapso da bolha pontocom e do boom tecnológico dos últimos anos A indústria da construção de São Francisco experimentou um crescimento parabólico de vários milhares por cento..
Ao remover os altos e baixos intermediários e deixar os valores mínimos e máximos para cada ciclo econômico, fica claro como as grandes flutuações do mercado atormentaram a indústria nos últimos 40 anos.
O maior aumento no investimento na construção ocorreu durante o boom das pontocom, quando entre 1993 e 2001 foram investidos 10 mil milhões de dólares em renovação e construção, ou aproximadamente mil milhões de dólares por ano. Se contarmos em metros quadrados (o custo de 1 m² em 1 era de 1995 dólares), isto equivale a aproximadamente 3000 m350 por ano durante 000 anos, começando em 2.
O crescimento do investimento total anual neste período foi de 1215%.
As empresas que alugaram equipamentos de construção nesse período eram semelhantes às empresas que vendiam pás durante a corrida do ouro (na mesma região em meados do século XIX). Só que em vez de pás, na década de 19 já existiam guindastes e bombas de concreto para construtoras recém-formadas que queriam ganhar dinheiro com o boom da construção.
Depois de cada uma das muitas crises que a indústria da construção passou ao longo dos anos, nos próximos dois anos pós-crise, os investimentos (quantidade de pedidos de licenças) para construção caiu pelo menos 50% de cada vez.
As maiores crises na indústria da construção de São Francisco ocorreram na década de 90. Onde, com uma periodicidade de 5 anos, a indústria ou caiu (-85% no período 1983-1986), depois voltou a subir (+895% no período 1988-1992), mantendo-se em termos anuais em 1981, 1986, 1988 , 1993 - no mesmo nível.
Depois de 1993, todos os declínios subsequentes na indústria da construção não ultrapassaram os 50%. Mas crise económica que se aproxima (devido ao COVID-19) poderia criar uma crise recorde na indústria da construção no período 2017-2021, cujo declínio já no período 2017-2019 ascende a um total de mais de 60%.
Crescimento populacional de São Francisco dinâmica no período 1980-1993 também apresentou crescimento quase exponencial. A força económica e a energia inovadora de Silicon Valley foram a base sólida sobre a qual foi construída a hipérbole da Nova Economia, do Renascimento Americano e das pontocom. Foi o epicentro da nova economia. Mas, ao contrário do aumento do investimento imobiliário, após o pico das pontocom, a população estagnou.
Antes do pico das pontocom em 2001, o crescimento anual da população desde 1950 foi de aproximadamente 1% ao ano. Depois, após o colapso da bolha, o afluxo de nova população abrandou e desde 2001 tem sido de apenas 0.2% ao ano.
Em 2019 (pela primeira vez desde 1950), a dinâmica de crescimento mostrou uma saída de população (-0.21% ou 7000 pessoas) da cidade de São Francisco.
Expectativa e realidade na elaboração de estimativas de custos
Nos conjuntos de dados utilizados, os dados sobre o custo de uma licença para um projeto de construção são divididos em:
- custo estimado original (custo estimado)
- custo do trabalho após reavaliação (custo_revisado)
Em tempos de boom, o principal objetivo da reavaliação é aumentar o custo inicial, quando o investidor (o cliente da construção) demonstra apetite após o início da construção.
Durante uma crise, procuram não ultrapassar os custos estimados, e as estimativas iniciais praticamente não sofrem alterações (exceto o terremoto de 1989).
De acordo com o gráfico construído a partir da diferença entre o custo reavaliado e o estimado (custo_revisado - custo_estimado), observa-se que:
A quantidade de aumento de custos ao reavaliar o volume de obras depende diretamente dos ciclos de expansão econômica
data_spread = data_cost.assign(spread = (data_cost.revised_cost-data_cost.estimated_cost))
Durante períodos de rápido crescimento económico, os clientes de trabalho (investidores) gastam os seus fundos de forma bastante generosa, aumentando os seus pedidos após o início dos trabalhos.
O cliente (investidor), sentindo-se financeiramente confiante, solicita ao empreiteiro ou arquiteto a prorrogação do alvará de construção já emitido. Esta pode ser uma decisão de aumentar o comprimento inicial da piscina ou aumentar a área da casa (após o início das obras e emissão da licença de construção).
No auge da era pontocom, essas despesas “adicionais” atingiram mil milhões “extras” por ano.
Se você olhar esta tabela já em variação percentual, então o aumento máximo na estimativa (100% ou 2 vezes o custo estimado original) ocorreu no ano anterior ao terremoto que ocorreu em 1989 perto da cidade. Presumo que depois do terramoto, os projectos de construção iniciados em 1988 exigiram, depois do terramoto de 1989, mais tempo e fundos para a sua implementação.
Por outro lado, uma revisão em baixa do custo estimado (que ocorreu apenas uma vez durante o período de 1980 a 2019) vários anos antes do terramoto deve-se presumivelmente ao facto de alguns projectos iniciados em 1986-1987 terem sido congelados ou os investimentos nestes projectos terem sido cortados. abaixo. Dentro do cronograma em média para cada projeto iniciado em 1987 - a redução no custo estimado foi de -20% do plano original.
data_spred_percent = data_cost_y.assign(spred = ((data_cost_y.revised_cost-data_cost_y.estimated_cost)/data_cost_y.estimated_cost*100))
Um aumento no custo inicial estimado de mais de 40% indicou ou foi possivelmente uma consequência da aproximação da bolha no mercado financeiro e posteriormente no mercado de construção.
Qual a razão da diminuição do spread (diferença) entre os custos estimados e revistos após 2007?
Talvez os investidores tenham começado a olhar atentamente para os números (o valor médio em 20 anos aumentou de US$ 100 mil para US$ 2 milhões) ou talvez o departamento de construção, prevenindo e inibindo bolhas emergentes no mercado imobiliário, tenha introduzido novas regras e restrições para reduzir possíveis manipulações e possíveis riscos que surgirão durante os anos de crise.
Atividade de construção dependendo da época do ano
Ao agrupar os dados por semanas do ano (54 semanas), é possível observar a atividade de construção na cidade de São Francisco dependendo da sazonalidade e da época do ano.
No Natal, todas as organizações de construção estão tentando obter permissão para novos “grandes” projetos a tempo. (ao mesmo tempo! o número! de licenças nestes mesmos meses mantém-se ao mesmo nível ao longo do ano). Os investidores, que pretendem adquirir o seu imóvel no próximo ano, celebram contratos nos meses de inverno, contando com grandes descontos (já que os contratos de verão, na sua maioria, terminam no final do ano e as construtoras estão interessadas na recepção de novas candidaturas).
Antes do Natal, são apresentadas as maiores quantidades de candidaturas (aumento de uma média de 1-1,5 mil milhões por mês para 5 mil milhões só em Dezembro). Ao mesmo tempo, o número total de pedidos por mês permanece no mesmo nível (veja a seção abaixo: estatísticas sobre o número total de inscrições por mês e dia)
Após as férias de inverno, a indústria da construção está ativamente a planear e implementar encomendas de “Natal” (quase sem aumento no número de licenças), a fim de libertar recursos até meados do ano (antes do feriado do Dia da Independência) antes do novo onda de contratos de verão começa imediatamente após as férias de junho.
data_month_year = data_month_year.assign(week_year = data_month_year.permit_creation_date.dt.week)
data_month_year = data_month_year.groupby(['week_year'])['estimated_cost'].sum()
Os mesmos dados percentuais (linha laranja) também mostram que a indústria opera “sem problemas” ao longo do ano, mas antes e depois dos feriados, a atividade sobre licenças aumenta para 150% no período entre as semanas 20 e 24 (antes do Dia da Independência), e diminui imediatamente após o feriado em até -70%.
Antes do Halloween e do Natal, a atividade na indústria de construção de São Francisco aumenta 43% durante a semana 44-150 (de baixo para cima) e depois diminui para zero durante os feriados.
Assim, a indústria segue um ciclo de seis meses, separados pelos feriados “Dia da Independência dos EUA” (semana 20) e “Natal” (semana 52).
Investimento imobiliário total em São Francisco
Com base em dados sobre licenças de construção na cidade:
O investimento total em projetos de construção em São Francisco de 1980 a 2019 é de US$ 91,5 bilhões.
sf_worth = data_location_lang_long.cost.sum()
O valor total de mercado de todos os imóveis residenciais em São Francisco avaliados pelos impostos sobre a propriedade (sendo o valor avaliado de todos os imóveis e todos os bens pessoais de propriedade de São Francisco) .
Em quais áreas de São Francisco investiram nos últimos 40 anos?
Usando a biblioteca Folium, vamos ver onde esses US$ 91,5 bilhões foram investidos por região. Para isso, agrupados os dados por CEP, representaremos os valores resultantes por meio de círculos (a função Circle da biblioteca Folium).
import folium
from folium import Circle
from folium import Marker
from folium.features import DivIcon
# map folium display
lat = data_location_lang_long.lat.mean()
long = data_location_lang_long.long.mean()
map1 = folium.Map(location = [lat, long], zoom_start = 12)
for i in range(0,len(data_location_lang_long)):
Circle(
location = [data_location_lang_long.iloc[i]['lat'], data_location_lang_long.iloc[i]['long']],
radius= [data_location_lang_long.iloc[i]['cost']/20000000],
fill = True, fill_color='#cc0000',color='#cc0000').add_to(map1)
Marker(
[data_location_mean.iloc[i]['lat'], data_location_mean.iloc[i]['long']],
icon=DivIcon(
icon_size=(6000,3336),
icon_anchor=(0,0),
html='<div style="font-size: 14pt; text-shadow: 0 0 10px #fff, 0 0 10px #fff;; color: #000";"">%s</div>'
%("$ "+ str((data_location_lang_long.iloc[i]['cost']/1000000000).round()) + ' mlrd.'))).add_to(map1)
map1
Fica claro nas regiões que A maior parte do bolo foi logicamente para o centro da cidade. Tendo simplificado o agrupamento de todos os objetos de acordo com a distância ao centro da cidade e o tempo que leva para chegar ao centro da cidade (é claro, casas caras também estão sendo construídas no litoral), todas as licenças foram divididas em 4 grupos: 'Centro' , '<0.5H Centro', '<1H Centro', 'Fora de SF'.
from geopy.distance import vincenty
def distance_calc (row):
start = (row['lat'], row['long'])
stop = (37.7945742, -122.3999445)
return vincenty(start, stop).meters/1000
df_pr['distance'] = df_pr.apply (lambda row: distance_calc (row),axis=1)
def downtown_proximity(dist):
'''
< 2 -> Near Downtown, >= 2, <4 -> <0.5H Downtown
>= 4, <6 -> <1H Downtown, >= 8 -> Outside SF
'''
if dist < 2:
return 'Downtown'
elif dist < 4:
return '<0.5H Downtown'
elif dist < 6:
return '<1H Downtown'
elif dist >= 6:
return 'Outside SF'
df_pr['downtown_proximity'] = df_pr.distance.apply(downtown_proximity)Dos 91,5 mil milhões investidos na cidade, quase 70 mil milhões (75% de todos os investimentos) investidos em reparações e construção estão no centro da cidade (zona verde) e para a área da cidade num raio de 2 km. do centro (zona azul).
Custo médio estimado de uma aplicação de construção por distrito da cidade
Todos os dados, assim como o valor total do investimento, foram agrupados por CEP. Somente neste caso com o custo médio (.mean()) estimado da aplicação por CEP.
data_location_mean = data_location.groupby(['zipcode'])['lat','long','estimated_cost'].mean()
Em áreas comuns da cidade (mais de 2 km do centro da cidade) - o custo médio estimado de uma aplicação de construção é de US$ 50 mil.
O custo médio estimado na área central da cidade é aproximadamente três vezes maior (US$ 150 mil a US$ 400 mil) do que em outras áreas (US$ 30-50 mil).
Além do custo do terreno, três fatores determinam o custo total da construção de uma casa: mão de obra, materiais e taxas governamentais. Esses três componentes são mais elevados na Califórnia do que no resto do país. Os códigos de construção da Califórnia são considerados alguns dos mais abrangentes e rigorosos do país (devido a terremotos e regulamentações ambientais), muitas vezes exigindo materiais e mão de obra mais caros.
Por exemplo, o governo exige que os construtores utilizem materiais de construção de maior qualidade (janelas, isolamento, sistemas de aquecimento e refrigeração) para alcançar elevados padrões de eficiência energética.
Das estatísticas gerais sobre o custo médio de um pedido de licença, destacam-se dois locais:
- A Ilha do Tesouro - uma ilha artificial na Baía de São Francisco. O custo médio estimado de uma licença de construção é de US$ 6,5 milhões.
- Mission Bay — (população 2926) O custo médio estimado de uma licença de construção é de US$ 1,5 milhão.
Na verdade, a aplicação média elevada nestas duas áreas está relacionada com o menor número de inscrições para essas localidades postais (145 e 3064 respetivamente, a construção na ilha é muito limitada), enquanto para os restantes códigos postais - XNUMXe o período 1980-2019 recebeu aproximadamente 1300 candidaturas por ano (total em média 30 a 50 mil inscrições para todo o período).
De acordo com o parâmetro “número de pedidos”, nota-se uma distribuição perfeitamente uniforme do número de pedidos por código postal pela cidade.
Estatísticas sobre o número total de inscrições por mês e dia
As estatísticas globais sobre o número total de pedidos por mês e dia da semana entre 1980 e 2019 mostram que Os meses mais tranquilos para o departamento de construção são os meses de primavera e inverno. Ao mesmo tempo, o valor dos investimentos especificados nas aplicações varia muito e às vezes difere de mês para mês (ver adicionalmente “Atividade de construção em função da época”). Entre os dias da semana, na segunda-feira a carga do departamento é aproximadamente 20% menor que nos demais dias da semana.
months = [ 'January', 'February', 'March', 'April', 'May','June', 'July', 'August', 'September', 'October', 'November', 'December' ]
data_month_count = data_month.groupby(['permit_creation_date']).count().reindex(months)
Enquanto Junho e Julho são praticamente iguais em número de candidaturas, em termos de custo total estimado a diferença chega a 100% (4,3 mil milhões em Maio e Julho e 8,2 mil milhões em Junho).
data_month_sum = data_month.groupby(['permit_creation_date']).sum().reindex(months)
O futuro da indústria de construção de São Francisco, prevendo a atividade por padrões.
Finalmente, vamos comparar o gráfico da atividade de construção em São Francisco com o gráfico de preços do Bitcoin (2015-2018) e o gráfico de preços do ouro (1940-1980).
Padrão (do padrão inglês - modelo, amostra) - na análise técnica são chamadas combinações estáveis e repetidas de preço, volume ou dados de indicadores. A análise de padrões é baseada em um dos axiomas da análise técnica: “a história se repete” - acredita-se que combinações repetidas de dados levam a um resultado semelhante.
O principal padrão que pode ser visto no gráfico anual de atividades é Este é um padrão de reversão de tendência “Cabeça e Ombros”. Assim chamado porque o gráfico se parece com uma cabeça humana (pico) e ombros nas laterais (picos menores). Quando o preço rompe a linha que conecta os mínimos, o padrão é considerado completo e o movimento provavelmente será descendente.
Os movimentos da atividade na indústria da construção de São Francisco coincidem quase completamente com o aumento do preço do ouro e do bitcoin. O desempenho histórico destes três gráficos de preços e atividades mostra semelhanças notáveis.
Para poder prever o comportamento do mercado da construção no futuro, é necessário calcular o coeficiente de correlação com cada uma dessas duas tendências.
Duas variáveis aleatórias são chamadas de correlacionadas se seu momento de correlação (ou coeficiente de correlação) for diferente de zero; e são chamadas de quantidades não correlacionadas se seu momento de correlação for zero.
Se o valor resultante estiver mais próximo de 0 do que de 1, não faz sentido falar sobre um padrão claro. Este é um problema matemático complexo, que pode ser assumido por camaradas mais velhos que possam estar interessados neste tópico.
Se! não científico! observe o tema do desenvolvimento adicional da indústria da construção em São Francisco: se o padrão continuar a coincidir com o preço do Bitcoin, então de acordo com esta opção pessimista — sair da crise na indústria da construção em São Francisco não será fácil no período pós-crise imediato.
Com uma opção mais “otimista” desenvolvimento, o crescimento exponencial repetido na indústria da construção é possível se a actividade aqui seguir o cenário do “preço do ouro”. Neste caso, dentro de 20-30 anos (possivelmente em 10), o sector da construção enfrentará um novo aumento no emprego e no desenvolvimento.
Vou dar uma olhada mais de perto em setores individuais da construção (reparação de telhados, cozinhas, construção de escadas, banheiros, se você tiver alguma sugestão sobre indústrias ou outros dados - escreva nos comentários) e compararei a inflação para tipos individuais de trabalho com taxas fixas sobre empréstimos hipotecários e a rentabilidade dos títulos do governo dos EUA (Taxas Hipotecárias Fixas e Rendimento do Tesouro dos EUA).
Link para a segunda parte:
Link para o Jupyter Notebook:
Por favor, para quem está com Kaggle, dê um plus ao Notebook (obrigado!).
(Comentários e explicações do código serão adicionados posteriormente no Notebook)
Link para a versão em inglês:
Se você gosta do meu conteúdo, considere me comprar um café.
Obrigado por seu apoio!
Apenas usuários registrados podem participar da pesquisa. por favor
O que o futuro reserva para a indústria da construção de São Francisco?
-
66,7%É mais provável que o setor da construção siga o caminho do Bitcoin2
-
0,0%O setor da construção poderá seguir a trajetória dos preços do ouro0
-
0,0%O setor espera entusiasmo nos próximos 10 anos0
-
33,3%O desenvolvimento do setor não segue padrões1
3 usuários votaram. 6 usuários se abstiveram.
Fonte: habr.com