¿Explicar en una defensa de tesis que siempre estará, o explicar que, en una defensa de tesis, habrá incertidumbre? xD

Asumiendo lo lógico (esto es, que me preguntas por lo primero)... puedes explicar un poco por encima qué significa estimar un parámetro y que distintas muestras pueden dar lugar a distintas estimaciones. También puedes hacer especial hincapié en dar medidas del error de las estimaciones que obtengas (márgenes de error, intervalos de confianza, etc.).

Buaaah pues podrían ser muchos temas pero estaría entre datos random de grupos musicales en general (y de Los Planetas en particular) y datos random de fútbol en general (y del Almería en particular).

¿Qué, te esperabas algo de estadística? Mwahahah

La paradoja del cumpleaños suele levantar muchas ampollas, pero la de Monty Hall (y su primo hermano: el problema de los dos sobres) ya sí que es para darse calamonazos contra la pared. La solución no se la creyó ni Paul Erdös, imagínate.

Y a un nivel más mundano: todavía a mucha gente le parece mentira que una muestra de 1.000 o 2.000 unidades sea suficiente para estimar información sobre una población de miles de millones de unidades con un margen de error aceptable... pero es real. "Sólo" necesitas saber qué probabilidad tiene cada unidad de ser seleccionada.

Pues le puedes regalar El arte de la estadística, de Spiegelhalter, que está recién traducido y es baratito. Y si te quieres estirar un poco más, cualquiera de los de Walter Sosa Escudero. Por cierto, una pena que el hijo de tu amigo no supiera que existe el Grado en Estadística 😜

Ni idea :____ no soy especialista en estadísticas sobre crianza. En todo caso, y porque ya me ha dado curiosidad, una búsqueda rápida en Google me lleva a un artículo (https://doi.org/10.1162/opmi_a_00090) describiendo un estudio en el que niños de hasta 7 años se sienten como posesión de sus adres. Pero no puedo decir mucho más.

Por lo general hay que tener cuidado cuando hablamos de outliers, y no eliminarlos a la ligera sólo basándonos en sus valores. Incluso aunque se vayan a eliminar, puede ser interesante estudiarlos aparte. Pero bueno, respondiendo a tu pregunta, los supuestos en los que sí convendría depurarlos son:

• Cuando estos outliers se produzcan debido a errores de medida. Esto unas veces es más fácil de detectar que otras, claro, pero cuando no tengamos duda (p. ej. un padre siendo más joven que su hijo, una persona que pese una cantidad negativa de kilogramos, etc.) no van a aportar nada al análisis salvo entorpecerlo.
• En general, cuando los outliers no formen parte de la población objetivo de nuestro estudio. Por ejemplo, suponte que hacemos una encuesta dirigida a población universitaria, y al analizar los datos nos encontramos que la ha rellenado una persona de 15 años de edad. Sus respuestas obviamente no tienen por qué ser erróneas, pero no forma parte de nuestra población objetivo, por lo que hay que quitarla de nuestro conjunto.

Y reitero: todo con mucho cuidado, porque los outliers también pueden ser debidos a sucesos improbables pero que siguen siendo parte de nuestra población objetivo, y esos sí debemos retenerlos aunque luego toque hacerles un análisis aparte (empleando la teoría de valores extremos).

Ohhhhh, buena pregunta. Se tiene constancia de que el mismo Galileo Galilei, en el siglo XVI, se dio cuenta de que los errores de medición de las mediciones astronómicas eran simétricos (en torno a los valores reales) y que además los errores pequeños se daban con mucha mayor frecuencia que los grandes. Muchos años después fue Abraham De Moivre el que "descubrió" la distribución Normal como una aproximación del número de éxitos al repetir un experimento muchas veces (p. ej. número de caras al tirar una moneda repetidas veces), es decir, aproximó la Binomial a través de la Normal, algo que hacemos muy habitualmente hoy en día. Unos años más tarde, Pierre Simon Laplace describió el Teorema Central del Límite, que mostraba que la media de una muestra sigue esa distribución incluso aunque la variable cuya media se está tomando no la siga (siempre y cuando el tamaño de muestra sea lo suficientemente grande). Y ya en el siglo XIX se utilizó la Normal para describir tanto errores de medida en experimentos como la altura y el peso de los seres humanos.