Machine Learning — Parcial 2

1 − (9/14)² − (5/14)² = 1 − 81/196 − 25/196 = 0,4592.

0,5 es el máximo con dos clases y solo se da con 7 y 7. Para ese mismo nodo: entropía 0,9403 y tasa de error 0,3571; no los confundas.

No. El logaritmo es estrictamente creciente y conserva el orden: cada corte candidato produce los mismos hijos y la misma Δ. Es el mismo árbol con los umbrales en la nueva escala. "Comprime distancias" es la lógica de kNN o SVM, no de árboles.

Padre: 0,5. A: cada hijo 0,375 → ponderada 0,375 → Δ = 0,125. B: hijos 0 y 0,444 con pesos 4/16 y 12/16 → ponderada 0,333 → Δ = 0,167. Elige B. Sin ponderar por tamaño el cálculo está mal.

Falso. Es la reducción de impureza con Imp = entropía: los bits que la pregunta ahorra. Un corte perfecto ahorra todo, IG = H(padre).

Más max_depth → más flexible (menos sesgo, más varianza). Más min_samples_leaf o más ccp_alpha → árbol más chico (más sesgo, menos varianza). Se eligen por validación, nunca mirando el error de entrenamiento.

Del ordenamiento inicial de cada atributo. Con el orden heredado a los hijos, cada nivel es lineal. Reordenar en cada nodo daría O(p n log² n).

4·[0,2 + 0,8/100] = 0,832. Con B → ∞ tiende a ρσ² = 0,8. Agregar árboles ya casi no ayuda; hay que bajar ρ (m_try).

Falso. Los árboles son idénticamente distribuidos: el sesgo del promedio es el de uno y la varianza decrece con B hasta ρσ². Más árboles no empeoran el error de prueba.

El error propio de cada muestra difiere entre árboles y se cancela parcialmente en el voto. El error que todos comparten no se cancela.

Cuántos atributos compiten en cada corte. Chico → árboles más distintos (menos ρ) pero cada uno más sesgado. m_try = p es bagging. Se elige por validación u OOB.

En secuencia: cada uno se ajusta a una versión del problema modificada por los errores de los anteriores. No hay bootstrap ni promedio de igual peso: eso es bagging.

Bagging: varianza. Boosting: sesgo. El promedio de miembros idénticamente distribuidos tiene el sesgo de uno. Una secuencia de stumps (sesgo alto) va quitando sesgo; η controla que no vuelva la varianza.

Uno cuyo error es apenas menor que ½. Mayor que ½ sería un clasificador invertido (voto negativo); igual a 0 no deja nada para corregir.

Con un meta-modelo que usa las predicciones de los base como entradas. En boosting los pesos salen del error de cada etapa; en stacking los aprende otro modelo.

Verdadero. Cada etapa sigue bajando el costo de entrenamiento; cuando ya no queda señal, ajusta ruido. Por eso B se fija con validación o parada temprana (nunca con el conjunto de prueba).

Un árbol con un solo corte y dos hojas. Solo compara un atributo con un umbral: sesgo alto. Promediarlos no arregla eso; sumarlos en secuencia sí.

C es el precio de cada unidad de violación del margen. Al subirlo se toleran menos violaciones: margen más angosto, frontera más ajustada a los datos, menos sesgo y más varianza.

No cambia (verdadero). La solución es una suma sobre los vectores de soporte; las demás observaciones tienen α_i = 0 y no participan. Están del lado correcto, fuera del margen.

Una frontera no lineal en el espacio original sin construir las coordenadas transformadas (que pueden ser infinitas, como en RBF): basta con evaluar K entre pares de observaciones.

Tiene la misma forma Pérdida + Penalización: hinge + L2, con λ = 1/(2C).

Falso. La composición de capas afines es afín: la frontera sigue siendo un hiperplano, y XOR no es linealmente separable. Hace falta una activación no lineal (ReLU, sigmoide, tanh).

z = (1−2+0, 2+2+1) = (−1, 5) → ReLU → a = (0, 5) → y = 1·0 − 1·5 + 0,5 = −4,5. Parámetros: 4 pesos + 2 biases + 2 pesos + 1 bias = 9.

Salida con una unidad sigmoide y pérdida de entropía cruzada binaria. Esa pareja es máxima verosimilitud y el gradiente respecto de la preactivación de salida queda proporcional al residuo ŷ − y.

Cantidad de unidades ocultas (capacidad) y la regularización L2 alpha; además la tasa de aprendizaje y la cantidad de épocas con parada temprana.

Lado: (32 − 3)/1 + 1 = 30 → 30×30×16. Parámetros: (3·3·3 + 1)·16 = 448. Pooling → 15×15×16, sin parámetros nuevos.

Porque el mismo filtro se aplica en todas las posiciones (pesos compartidos). Una imagen más grande da un mapa de salida más grande, no más pesos.

Transferencia: reusar las capas bajas (generales) de una red preentrenada, congelarlas y reentrenar las altas. Sumar data augmentation con transformaciones que conserven la etiqueta, aplicadas solo al entrenamiento.

Escalera = simple: los puntos se suman de a uno a un grupo que crece, a alturas chicas y parecidas (encadenamiento). Balanceado con alturas que crecen mucho = Ward: fusiona grupos compactos de tamaño parecido y la altura mide aumento de varianza.

El enlace simple une dos grupos si un par de puntos está cerca. Una cadena de puntos intermedios hace de puente y un grupo va absorbiendo a los demás: queda uno enorme y algunos sueltos (27, 7 y 3).

Alargados o curvos: simple (sigue la conectividad; ojo con puentes y ruido). Compactos y parejos: Ward (mismo criterio de varianza que k-medias).

Porque decrece siempre al aumentar K y vale 0 con K = n. Hace falta otro criterio: codo, silhouette y, sobre todo, para qué se van a usar los grupos.

k-medias obliga a asignarlo a un grupo y ese punto arrastra el centroide. DBSCAN lo deja afuera, no distorsiona los grupos y no pide K.

Total 10. PC1 = 60 %, PC1+PC2 = 90 % → alcanzan dos.

No, es extracción: construye combinaciones lineales nuevas en las que todos los atributos pesan. Hay que seguir midiendo todos y las coordenadas nuevas no tienen significado directo. La selección conserva columnas originales.

PCA elige direcciones por varianza sin mirar y. La dirección que separa las clases puede ser de baja varianza y quedar descartada. M se valida junto con el modelo.

No. La proyección es una vista parcial: puede ocultar grupos o sugerir separaciones. Sirve para mirar, no para validar.

u·v = 2; ‖u‖ = √2; ‖v‖ = 2 → 2/(2√2) = 1/√2 ≈ 0,707.

La tarea de entrenamiento y sus datos: palabras que aparecen en contextos parecidos reciben gradientes parecidos y terminan cerca.

Da lo mismo para ordenar vecinos: sobre vectores normalizados ambos producen el mismo orden.

El atributo de menor coeficiente en valor absoluto, con atributos estandarizados (sin eso los coeficientes dependen de las unidades). "El que menos aumenta el RSS al reajustar" es selección hacia atrás.

Un wrapper. Filtro: no ajusta ningún modelo. Embebido: selecciona mientras ajusta. Extracción: construye atributos nuevos.

Porque nunca aumenta al agregar un atributo (el modelo anterior sigue disponible poniendo el coeficiente nuevo en cero). Favorece siempre al modelo con los p atributos. No es ruido: es un sesgo sistemático.

No. El selector ya usó las etiquetas de esos folds. Hay que meter el selector en el pipeline para que se reajuste en cada fold. Si además se ajustan hiperparámetros, reservar un test final o usar validación anidada.

No. La dependencia es entre la clase y el par, no con cada atributo por separado. Cualquier ranking univariado es ciego a eso.

Mejor subconjunto: 2^p (p = 10 → 1024). Hacia adelante, contando el nulo: 1 + p(p+1)/2 (p = 20 → 211).

Un baseline simple y regularizado (por ejemplo logística con L1/L2). Alternativas: selección supervisada dentro del pipeline; PCA (no usa y, puede perder la dirección útil); embeddings preentrenados (transfieren información, pero pueden no calzar con el dominio). Nada se asume: se valida.

En clasificación, sobre todo con clases desbalanceadas: mantiene la proporción de positivos en cada parte y evita folds casi sin positivos.