Esta serie de artículos está dedicada al estudio de la actividad constructora en la principal ciudad de Silicon Valley: San Francisco. San Francisco es el “Moscú” tecnológico de nuestro mundo y, con su ejemplo (con la ayuda de datos abiertos), observa el desarrollo de la industria de la construcción en las grandes ciudades y capitales.
La construcción de gráficos y cálculos se realizó en (en la plataforma Kaggle.com).
Datos sobre más de un millón de permisos de construcción (registros en dos conjuntos de datos) del Departamento de Construcción de San Francisco: permiten Analizar no sólo la actividad constructora en la ciudad., pero también considerar críticamente últimas tendencias e historia del desarrollo de la industria de la construcción en los últimos 40 años, entre 1980 y 2019.
Los datos abiertos permiten explorar Principales factores que han influido e influirán en el desarrollo de la industria de la construcción. en la ciudad, dividiéndolas en “externas” (auges y crisis económicas) e “internas” (la influencia de las vacaciones y los ciclos estacionales-anuales).
contenido
Datos abiertos y revisión de parámetros basales.
Esta no es una traducción del artículo. Escribo en LinkedIn y para no crear gráficos en varios idiomas, todos los gráficos están en inglés.
Enlace a la segunda parte:
Datos de permisos de construcción de la ciudad de San Francisco - Del portal de datos abiertos - . El portal dispone de varios conjuntos de datos sobre el tema de la construcción. Dos de estos conjuntos de datos almacenan y actualizan datos sobre permisos emitidos para la construcción o reparación de objetos en la ciudad:
- (850 mil registros)
- (280 mil registros, los datos se descargan y actualizan semanalmente)
Estos conjuntos de datos contienen información sobre los permisos de construcción emitidos, con diversas características del objeto para el cual se emite el permiso. Número total de entradas (permisos) recibidas en el periodo 1980-2019 - 1 permisos.
Los principales parámetros de este conjunto de datos que se utilizaron para el análisis:
- fecha_creación_permiso — fecha de creación de la solicitud (de hecho, el día en que comienzan las obras de construcción)
- descripción — descripción de la solicitud (dos o tres palabras clave que describen el proyecto de construcción (obra) para el cual se creó el permiso)
- costo estimado — costo estimado (estimado) del trabajo de construcción
- costo_revisado — costo revisado (costo del trabajo después de la revaluación, aumento o disminución de los volúmenes iniciales de la solicitud)
- uso_existente - tipo de vivienda (casa unifamiliar, bifamiliar, apartamentos, oficinas, producción, etc.)
- código postal, ubicación — código postal y coordenadas del objeto
Actividad anual de construcción en San Francisco
El siguiente gráfico muestra los parámetros. costo estimado и costo_revisado presentado como una distribución del costo total del trabajo por mes.
data_cost_m = data_cost.groupby(pd.Grouper(freq='M')).sum()Para reducir los "valores atípicos" mensuales, los datos mensuales se agrupan por año. El gráfico de la cantidad de dinero invertido por año ha adquirido una forma más lógica y analizable.
data_cost_y = data_cost.groupby(pd.Grouper(freq='Y')).sum()
Basado en el movimiento anual de la suma de costos (todos los permisos del año) a las instalaciones de la ciudad Son claramente visibles los factores económicos que influyeron desde 1980 hasta 2019. sobre el número y costo de los proyectos de construcción, o sobre inversiones en bienes raíces de San Francisco.
El número de permisos de construcción (el número de trabajos de construcción o el número de inversiones) durante los últimos 40 años ha estado estrechamente relacionado con la actividad económica en Silicon Valley.
El primer pico de actividad de la construcción estuvo asociado con el revuelo por la electrónica de mediados de los años 80 en el valle. La subsiguiente recesión electrónica y bancaria en 1985 provocó un declive en el mercado inmobiliario regional del que no se recuperó durante casi una década.
Después, dos veces más (en 1993-2000 y 2009-2016) antes del colapso de la burbuja Dotcom y el boom tecnológico de los últimos años. La industria de la construcción de San Francisco ha experimentado un crecimiento parabólico de varios miles por ciento..
Al eliminar los picos y valles intermedios y dejar los valores mínimos y máximos para cada ciclo económico, queda claro cuán grandes fluctuaciones del mercado han afectado a la industria durante los últimos 40 años.
El mayor aumento de la inversión en construcción se produjo durante el boom de las puntocom, cuando entre 1993 y 2001 se invirtieron 10 millones de dólares en renovación y construcción, o aproximadamente 1 millones de dólares al año. Si contamos en metros cuadrados (el costo de 1 m² en 1995 era de $3000), esto equivale aproximadamente a 350 m000 por año durante 2 años, a partir de 10.
El crecimiento de las inversiones totales anuales durante este período ascendió al 1215%.
Las empresas que alquilaban equipos de construcción durante este período eran similares a las empresas que vendían palas durante la fiebre del oro (en la misma región a mediados del siglo XIX). Sólo que en lugar de palas, en la década de 19 ya existían grúas y bombas de hormigón para las empresas de construcción recién creadas que querían ganar dinero con el auge de la construcción.
Después de cada una de las muchas crisis que ha experimentado la industria de la construcción a lo largo de los años, Durante los dos próximos años posteriores a la crisis, las inversiones (cantidad de solicitudes de permisos) para construcción cayó al menos un 50% cada vez.
Las mayores crisis en la industria de la construcción de San Francisco ocurrieron en los años 90. Donde, con una periodicidad de 5 años, la industria cayó (-85% en el período 1983-1986), luego volvió a subir (+895% en el período 1988-1992), permaneciendo en términos anuales en 1981, 1986, 1988. , 1993 - al mismo nivel.
Después de 1993, todas las caídas posteriores en la industria de la construcción no ascendieron a más del 50%. Pero Se acerca la crisis económica (debido a COVID-19) podría crear una crisis récord en la industria de la construcción en el período 2017-2021, cuya disminución ya en el período 2017-2019 asciende a un total de más del 60%.
Crecimiento de la población de San Francisco dinámica en el período 1980-1993 también mostró un crecimiento casi exponencial. La fuerza económica y la energía innovadora de Silicon Valley fueron la base sólida sobre la que se construyó la hipérbole de la Nueva Economía, el Renacimiento estadounidense y las puntocom. Fue el epicentro de la nueva economía. Pero a diferencia del aumento de la inversión inmobiliaria, después del pico de las puntocom, la población en realidad se estancó.
Antes del pico de las puntocom en 2001, el crecimiento anual de la población desde 1950 había sido aproximadamente del 1% anual. Luego, tras el colapso de la burbuja, la afluencia de nueva población se desaceleró y desde 2001 ha sido sólo del 0.2 por ciento anual.
En 2019 (por primera vez desde 1950), la dinámica de crecimiento mostró una salida de población (-0.21% o 7000 personas) de la ciudad de San Francisco.
Expectativa y realidad a la hora de elaborar estimaciones de costes
En los conjuntos de datos utilizados, los datos sobre el coste de un permiso para un proyecto de construcción se dividen en:
- costo estimado original (costo estimado)
- costo del trabajo después de la revaluación (costo_revisado)
En tiempos de auge, el objetivo principal de la revaluación es aumentar el costo inicial, cuando el inversor (el cliente de la construcción) muestra apetito después del inicio de la construcción.
Durante una crisis, intentan no exceder los costos estimados y las estimaciones iniciales prácticamente no sufren cambios. (excepto el terremoto de 1989).
De acuerdo al gráfico construido sobre la diferencia entre el costo revaluado y estimado (costo_revisado - costo_estimado), se puede observar que:
La magnitud del aumento de costos al revalorizar el volumen de trabajo de construcción depende directamente de los ciclos de auge económico.
data_spread = data_cost.assign(spread = (data_cost.revised_cost-data_cost.estimated_cost))
Durante los períodos de rápido crecimiento económico, los clientes del trabajo (inversores) gastan sus fondos con bastante generosidad, aumentando sus solicitudes después del inicio del trabajo.
El cliente (inversor), sintiéndose seguro desde el punto de vista financiero, solicita al contratista o al arquitecto una prórroga del permiso de construcción ya concedido. Esta puede ser una decisión sobre aumentar la longitud inicial de la piscina o aumentar el área de la casa (después del inicio del trabajo y la emisión de un permiso de construcción).
En el apogeo de la era de las puntocom, esos gastos “adicionales” alcanzaron mil millones “extra” por año.
Si observa esta tabla en términos de cambio porcentual, entonces el aumento máximo en la estimación (100% o 2 veces el costo estimado original) ocurrió en el año anterior al terremoto que ocurrió en 1989 cerca de la ciudad. Supongo que después del terremoto, los proyectos de construcción que comenzaron en 1988 requirieron, después del terremoto de 1989, más tiempo y fondos para su implementación.
Por el contrario, una revisión a la baja del costo estimado (que ocurrió solo una vez durante el período de 1980 a 2019) varios años antes del terremoto se debe presumiblemente al hecho de que algunos proyectos iniciados en 1986-1987 fueron congelados o se recortaron las inversiones en estos proyectos. abajo. En la fecha prevista en promedio para cada proyecto iniciado en 1987 - la reducción en el costo estimado fue del -20% del plan original.
data_spred_percent = data_cost_y.assign(spred = ((data_cost_y.revised_cost-data_cost_y.estimated_cost)/data_cost_y.estimated_cost*100))
Un aumento en el coste estimado inicial de más del 40% indicó o posiblemente fue una consecuencia de la burbuja que se avecinaba en el mercado financiero y posteriormente en el de la construcción.
¿Cuál es el motivo de la disminución del diferencial (diferencia) entre los costos estimados y revisados después de 2007?
Quizás los inversores comenzaron a mirar atentamente las cifras (el monto promedio en 20 años aumentó de 100 mil dólares a 2 millones de dólares) o quizás el departamento de construcción, previniendo e inhibiendo las burbujas emergentes en el mercado inmobiliario, introdujo nuevas reglas y restricciones para reducir posibles manipulaciones. y posibles riesgos que surgirán durante los años de crisis.
Actividad de construcción según la estación del año.
Al agrupar los datos por semanas calendario del año (54 semanas), se puede observar la actividad de construcción en la ciudad de San Francisco según la estacionalidad y la época del año.
Para Navidad, todas las organizaciones de construcción están tratando de obtener a tiempo permiso para nuevos proyectos "grandes". (¡al mismo tiempo! el número! de permisos en estos mismos meses está al mismo nivel durante todo el año). Los inversores, que planean adquirir su propiedad durante el próximo año, celebran contratos en los meses de invierno, contando con grandes descuentos (ya que los contratos de verano, en su mayor parte, finalizan a finales de año y las empresas constructoras están interesadas). en la recepción de nuevas solicitudes).
Antes de Navidad se presentan el mayor número de solicitudes (aumento de un promedio de 1 a 1,5 millones por mes a 5 millones sólo en diciembre). Al mismo tiempo, el número total de solicitudes por mes se mantiene en el mismo nivel. (consulte la sección siguiente: estadísticas sobre el número total de solicitudes por mes y día)
Después de las vacaciones de invierno, la industria de la construcción está planificando e implementando activamente órdenes de "Navidad" (casi sin aumentar el número de permisos) con el fin de liberar recursos a mediados de año (antes del feriado del Día de la Independencia) antes de la nueva La ola de contratos de verano comienza inmediatamente después de las vacaciones de junio.
data_month_year = data_month_year.assign(week_year = data_month_year.permit_creation_date.dt.week)
data_month_year = data_month_year.groupby(['week_year'])['estimated_cost'].sum()
Los mismos datos porcentuales (línea naranja) también muestran que la industria opera "sin problemas" durante todo el año, pero antes y después de las vacaciones, la actividad con permisos aumenta al 150% en el período comprendido entre la semana 20 y 24 (antes del Día de la Independencia), y disminuye inmediatamente después de las vacaciones hasta -70%.
Antes de Halloween y Navidad, la actividad en la industria de la construcción de San Francisco aumenta un 43% durante la semana 44-150 (de abajo a arriba) y luego disminuye a cero durante las vacaciones.
Así, la industria se encuentra en un ciclo de seis meses, que está separado por los días festivos “Día de la Independencia de Estados Unidos” (semana 20) y “Navidad” (semana 52).
Inversión total en bienes raíces en San Francisco
Basado en datos sobre permisos de construcción en la ciudad:
La inversión total en proyectos de construcción en San Francisco de 1980 a 2019 es de 91,5 millones de dólares.
sf_worth = data_location_lang_long.cost.sum()
El valor total de mercado de todos los bienes raíces residenciales en San Francisco evaluado mediante impuestos a la propiedad (siendo el valor tasado de todos los bienes raíces y todos los bienes personales propiedad de San Francisco) .
¿En qué áreas de San Francisco se ha invertido durante los últimos 40 años?
Utilizando la biblioteca Folium, veamos dónde se invirtieron estos 91,5 millones de dólares por región. Para ello, habiendo agrupado los datos por código postal, representaremos los valores resultantes mediante círculos (la función Círculo de la biblioteca Folium).
import folium
from folium import Circle
from folium import Marker
from folium.features import DivIcon
# map folium display
lat = data_location_lang_long.lat.mean()
long = data_location_lang_long.long.mean()
map1 = folium.Map(location = [lat, long], zoom_start = 12)
for i in range(0,len(data_location_lang_long)):
Circle(
location = [data_location_lang_long.iloc[i]['lat'], data_location_lang_long.iloc[i]['long']],
radius= [data_location_lang_long.iloc[i]['cost']/20000000],
fill = True, fill_color='#cc0000',color='#cc0000').add_to(map1)
Marker(
[data_location_mean.iloc[i]['lat'], data_location_mean.iloc[i]['long']],
icon=DivIcon(
icon_size=(6000,3336),
icon_anchor=(0,0),
html='<div style="font-size: 14pt; text-shadow: 0 0 10px #fff, 0 0 10px #fff;; color: #000";"">%s</div>'
%("$ "+ str((data_location_lang_long.iloc[i]['cost']/1000000000).round()) + ' mlrd.'))).add_to(map1)
map1
De las regiones se desprende claramente que La mayor parte del pastel, lógicamente, se fue al centro de la ciudad. Después de simplificar la agrupación de todos los objetos por distancia al centro de la ciudad y el tiempo que lleva llegar al centro de la ciudad (por supuesto, en la costa también se están construyendo casas caras), todos los permisos se dividieron en 4 grupos: "Centro". , '<0.5H Centro', '<1H Centro', 'Fuera de SF'.
from geopy.distance import vincenty
def distance_calc (row):
start = (row['lat'], row['long'])
stop = (37.7945742, -122.3999445)
return vincenty(start, stop).meters/1000
df_pr['distance'] = df_pr.apply (lambda row: distance_calc (row),axis=1)
def downtown_proximity(dist):
'''
< 2 -> Near Downtown, >= 2, <4 -> <0.5H Downtown
>= 4, <6 -> <1H Downtown, >= 8 -> Outside SF
'''
if dist < 2:
return 'Downtown'
elif dist < 4:
return '<0.5H Downtown'
elif dist < 6:
return '<1H Downtown'
elif dist >= 6:
return 'Outside SF'
df_pr['downtown_proximity'] = df_pr.distance.apply(downtown_proximity)De los 91,5 mil millones invertidos en la ciudad, casi 70 mil millones (75% de todas las inversiones) invertidos en reparaciones y construcción se encuentran en el centro de la ciudad. (zona verde) y al área de la ciudad en un radio de 2 km. del centro (zona azul).
Costo promedio estimado de una solicitud de construcción por distrito de la ciudad
Todos los datos, al igual que el monto total de la inversión, se agruparon por código postal. Solo en este caso con el costo estimado promedio (.mean()) de la aplicación por código postal.
data_location_mean = data_location.groupby(['zipcode'])['lat','long','estimated_cost'].mean()
En las zonas comunes de la ciudad (a más de 2 km del centro de la ciudad), el costo promedio estimado de una solicitud de construcción es de 50 mil dólares.
El coste medio estimado en la zona del centro de la ciudad es aproximadamente tres veces mayor ($150 mil a $400 mil) que en otras áreas ($30-50 mil).
Además del costo del terreno, tres factores determinan el costo total de la construcción de una vivienda: mano de obra, materiales y tarifas gubernamentales. Estos tres componentes son más altos en California que en el resto del país. Los códigos de construcción de California se consideran algunos de los más completos y estrictos del país (debido a las regulaciones ambientales y de terremotos), y a menudo requieren materiales y mano de obra más costosos.
Por ejemplo, el gobierno exige que los constructores utilicen materiales de construcción de mayor calidad (ventanas, aislamiento, sistemas de calefacción y refrigeración) para alcanzar altos estándares de eficiencia energética.
De las estadísticas generales sobre el coste medio de una solicitud de permiso destacan dos ubicaciones:
- Isla del tesoro - una isla artificial en la Bahía de San Francisco. El costo promedio estimado de un permiso de construcción es de $6,5 millones.
- Mission Bay — (población 2926) El coste medio estimado de un permiso de construcción es de 1,5 millones de dólares.
De hecho, la elevada aplicación media en estas dos áreas está relacionada con el menor número de solicitudes para estas ubicaciones postales (145 y 3064 respectivamente, la construcción en la isla es muy limitada), mientras que para el resto de códigos postales - XNUMXy el período 1980-2019 recibió aproximadamente 1300 solicitudes por año (en total, en promedio, entre 30 y 50 mil solicitudes durante todo el período).
Según el parámetro “número de solicitudes”, se nota una distribución perfectamente uniforme del número de solicitudes por código postal en toda la ciudad.
Estadísticas sobre el número total de solicitudes por mes y día
Las estadísticas generales sobre el número total de solicitudes por mes y día de la semana entre 1980 y 2019 muestran que Los meses más tranquilos para el departamento de construcción son los meses de primavera e invierno. Al mismo tiempo, el monto de las inversiones especificadas en las solicitudes varía mucho y, en ocasiones, difiere de un mes a otro. (ver también “Actividad de construcción según temporada”). Entre los días de la semana, el lunes la carga del departamento es aproximadamente un 20% menor que el resto de días de la semana.
months = [ 'January', 'February', 'March', 'April', 'May','June', 'July', 'August', 'September', 'October', 'November', 'December' ]
data_month_count = data_month.groupby(['permit_creation_date']).count().reindex(months)
Si bien junio y julio son prácticamente iguales en cuanto al número de solicitudes, en cuanto al coste total estimado la diferencia alcanza el 100% (4,3 millones en mayo y julio y 8,2 millones en junio).
data_month_sum = data_month.groupby(['permit_creation_date']).sum().reindex(months)
El futuro de la industria de la construcción de San Francisco, prediciendo la actividad por patrones.
Finalmente, comparemos el gráfico de actividad de la construcción en San Francisco con el gráfico de precios de Bitcoin (2015-2018) y el gráfico de precios del oro (1940 - 1980).
Patrón (del patrón inglés - modelo, muestra): en el análisis técnico se denominan combinaciones estables y repetidas de datos de precio, volumen o indicador. El análisis de patrones se basa en uno de los axiomas del análisis técnico: "la historia se repite": se cree que combinaciones repetidas de datos conducen a un resultado similar.
El patrón principal que se puede ver en el gráfico de actividad anual es Este es un patrón de inversión de tendencia de “cabeza y hombros”. Se llama así porque el gráfico parece una cabeza humana (pico) y hombros a los lados (picos menores). Cuando el precio rompe la línea que conecta los valles, el patrón se considera completo y es probable que el movimiento sea a la baja.
Los movimientos de actividad en la industria de la construcción de San Francisco coinciden casi por completo con el aumento del precio del oro y el bitcoin. El desempeño histórico de estos tres gráficos de precios y actividad muestra similitudes notables.
Para poder predecir el comportamiento del mercado de la construcción en el futuro, es necesario calcular el coeficiente de correlación con cada una de estas dos tendencias.
Dos variables aleatorias se denominan correlacionadas si su momento de correlación (o coeficiente de correlación) es distinto de cero; y se llaman cantidades no correlacionadas si su momento de correlación es cero.
Si el valor resultante está más cerca de 0 que de 1, entonces no tiene sentido hablar de un patrón claro. Se trata de un problema matemático complejo, que pueden abordar compañeros mayores que puedan estar interesados en este tema.
¡Si! ¡no científico! Mire el tema del mayor desarrollo de la industria de la construcción en San Francisco: si el patrón continúa coincidiendo con el precio de Bitcoin, entonces según esta opción pesimista — salir de la crisis en la industria de la construcción en San Francisco no será fácil en el período inmediatamente posterior a la crisis.
Con una opción más “optimista” desarrollo, es posible un crecimiento exponencial repetido en la industria de la construcción si la actividad aquí sigue el escenario del “precio del oro”. En este caso, en 20-30 años (posiblemente en 10), el sector de la construcción enfrentará un nuevo aumento en el empleo y el desarrollo.
Examinaré más de cerca los sectores individuales de la construcción (reparación de techos, cocinas, construcción de escaleras, baños, si tiene alguna sugerencia sobre industrias u otros datos, escriba en los comentarios) y compararé la inflación para tipos individuales de trabajo con tipos fijos de préstamos hipotecarios y rentabilidad de los bonos del gobierno estadounidense (Fixed Mortgage Rates & US Treasury Yield).
Enlace a la segunda parte:
Enlace al cuaderno Jupyter:
Por favor, para aquellos que están con Kaggle, denle un plus a Notebook (¡Gracias!).
(Los comentarios y explicaciones del código se agregarán más adelante en Notebook)
Enlace a la versión en inglés:
Si disfrutas de mi contenido, considera invitarme a un café.
¡gracias por su apoyo!
Solo los usuarios registrados pueden participar en la encuesta. por favor
¿Qué le depara el futuro a la industria de la construcción de San Francisco?
-
66,7%Es más probable que el sector de la construcción siga el camino de Bitcoin2
-
0,0%El sector de la construcción puede seguir la senda del precio del oro0
-
0,0%El sector espera expectación en los próximos 10 años0
-
33,3%El desarrollo del sector no sigue patrones1
3 usuarios votaron. 6 usuarios se abstuvieron.
Fuente: habr.com