Considero il campionamento da una distribuzione normale in generale.
Suppongo di conoscere la varianza (precisione $h = \frac{1}{\sigma^{2}}$), ma non il valor medio $\theta \Rightarrow N_{\theta, \sigma}(X)$. Vuol dire che sto facendo delle misure con uno strumento di precisione nota, quindi so già qual è la dispersione. Però non conosco il valore vero della grandezza che sto misurando e cerco di identificarlo attraverso il suo valor medio.
Procedo prendendo una distribuzione iniziale: $\beta(\theta) = N_{\theta_{0}, \sigma_{0}}(\theta)$, che è la sintesi dello stato di informazione precedente all’osservazione.
Tornando all’esempio delle stature, è vero che io, quando ipotizzo una distribuzione normale, non conosco $m$ e $\sigma$. Quindi, ho la forma della curva come nel grafico, ma che ne so qual è il valor medio?
Però non è che non so proprio nulla. Ad esempio, il valor medio potrebbe essere 3.000 metri o 0,2 metri. Siccome è una statura, so che pressappoco sta tra 1,60 e 1,90 metri. Quindi non è vero che non so proprio nulla su $m$.
$N_{\theta_{0}, \sigma_{0}}(\theta)$ è la distribuzione iniziale che dò sul valore di $\theta$. Ad esempio, se dico che per me la statura è compresa tra 1,60 e 2,10 (anche se non conosco il valor medio), vuol dire che io riesco a dare una $N_{m_{0}, \sigma_{0}}(\theta)$ con le seguenti scelte di $m_{0}$ e $\sigma_{0}$.
1) $P[\theta \in (m_{0} – 3 \sigma_{0}, m_{0} + 3 \sigma_{0})] = 0,9974 \Rightarrow$ sto ipotizzando che il $\theta$ incognito appartiene a quell’intervallo con probabilità 0,9974, perché questo è sempre vero per qualunque distribuzione normale.
Quindi, se dico che la statura deve essere compresa tra 1,60 e 2,10, vuol dire che dovrò scegliere $m_{0}$ e $\sigma_{0}$ in modo tale che $m_{0} – 3 \sigma_{0} = 1,60$ e $m_{0} + 3 \sigma_{0} = 2,10$.
Questo è un sistema di 2 equazioni in 2 incognite, da cui posso trovare quanto valgono $m_{0}$ e $\sigma_{0}$.
2) Avendo ipotizzato che la distribuzione è normale, anche se non conosco $\theta$, ho ipotizzato la simmetria. Quindi, ipotizzo uguale probabilità che $\theta$ appartenga a intervalli di uguale ampiezza, simmetrici rispetto ad $m_{0}$.
3) In ogni intervallo simmetrico rispetto al valor medio $(m_{0} – k \sigma_{0}, m_{0} + k \sigma_{0})$ con $k > 0$, i valori centrali sono più probabili di quelli estremi.
Riprendo l’esempio della conducibilità di un materiale.
Se ripenso all’esempio della conducibilità di un materiale, dalle informazioni precedenti, so che è molto probabile che $\theta$ (la conducibilità elettrica in quell’esempio) è compresa tra 15 e 17. Quindi, vado a prendere una $\beta(\theta) = N_{m_{0}, \sigma_{0}}(\theta)$, scegliendo $m_{0}$ e $\sigma_{0}$ in modo tale che $(15, 17) = (m_{0} – 3 \sigma_{0}, m_{0} + 3 \sigma_{0})$, cioè ritengo che $0,9974 = \text{ probabilità che } \theta \text{ appartenga a questo intervallo}$.
Quindi, ottengo che $m_{0} = 16$ e $\sigma_{0} = \frac{1}{3}$.
Adesso torno alla situazione generale: sto campionando dalla distribuzione normale con precisione (varianza) nota e valor medio incognito. Per ora ho assegnato la distribuzione iniziale.
Adesso devo costruirmi la verosimiglianza: $\alpha(\theta | X) = N_{\theta, \sigma} (X_{1}) N_{\theta, \sigma} (X_{2}) … N_{\theta, \sigma} (X_{n})$.
Siccome è un campione casuale, la verosimiglianza è il prodotto delle marginali, che sono tutte normali con $\sigma$ nota e $\theta$ incognita.
$X_{1}$, $X_{2}$, …. $X_{n}$ è il campione osservato, cioè le misure effettuate (ad esempio, la statura del 1° individuo osservato, la statura del 2° individuo osservato, …. la statura dell’n-esimo individuo osservato).
Adesso applico il teorema di Bayes.
$\beta(\theta | X) = K(X) \beta(\theta) \alpha(X | \theta)$
Al posto di $\beta(\theta)$ prendo e sostituisco quella normale $N_{\theta_{0}, \sigma_{0}} (\theta)$, che era la distribuzione iniziale, e la moltiplico per $\alpha(X | \theta)$, data dal prodotto delle marginali.
Senza fare tutti i calcoli, che cosa ottengo?
Ottengo $\beta(\theta | X) = N_{m_{n}, \sigma_{n}} (\theta)$, cioè ottengo ancora una distribuzione normale, per la quale ho aggiornato il valor medio e la varianza.
Partendo da un’iniziale $N_{\theta_{0}, \sigma_{0}} (\theta)$, arrivo ad una finale $N_{m_{n}, \sigma_{n}} (\theta)$, dove:
$m_{n} = \frac{\frac{n}{\sigma^{2}}\bar{x} + \frac{1}{\sigma_{0}^{2}} m_{0}}{\frac{n}{\sigma^{2}} + \frac{1}{\sigma_{0}^{2}}}$ (valor medio della distribuzione finale, aggiornata con le osservazioni)
$\frac{1}{\sigma_{n}^{2}} = \frac{n}{\sigma^{2}} + \frac{1}{\sigma_{0}^{2}}$ (precisione della distribuzione finale, aggiornata con le osservazioni)
$\bar{x} = \frac{x_{1} + x_{2} + … + x_{n}}{n}$ (media aritmetica dei valori osservati)
Osservo che $m_{n}$ è una media ponderata del valor medio iniziale $m_{0}$ e della media aritmetica dei valori osservati $\bar{x}$.
Quindi tengo conto sia dell’opinione iniziale, sia di come si aggiorna la mia opinione in base ai valori osservati. Pondero questi valori con pesi rispettivamente uguali alle loro precisioni.
Noto anche che la precisione finale è la somma delle due precisioni: quella iniziale e quella di ogni singola osservazione $\frac{1}{\sigma^{2}}$. Visto che le osservazioni sono $n$, la loro somma è $\frac{n}{\sigma^{2}}$.
Se prima la precisione era $\frac{1}{\sigma_{0}^{2}}$, dopo le osservazioni è aumentata, perché è diventata $\frac{1}{\sigma_{0}^{2}} + \frac{n}{\sigma^{2}}$.
Da queste formule è ovvio che, se parto da una situazione iniziale $N_{m_{0}, \sigma_{0}} (\theta)$, ho $\bar{x} < m_{n} < m_{0}$, perché è una media ponderata tra $m_{0}$ iniziale e i valori osservati, quindi $m_{n}$ è intermedio tra la media aritmetica $\bar{x}$ dei valori osservati e $m_{0}$.
La precisione $\frac{1}{\sigma_{n}^{2}}$ è aumentata e, quindi, la varianza si è ridotta.
Quindi, il grafico della distribuzione aggiornata cambia rispetto a quello della distribuzione iniziale, perché adesso il grafico è centrato in $m_{n}$ ed è anche più stretto, perché la varianza si è ridotta.
Il risultato del campionamento è che da una distribuzione dispersa ne ottengo una più concentrata e ne ho precisato meglio qual è il valor medio, perché il valor medio finale è la media ponderata del valor medio iniziale e della media aritmetica delle osservazioni.
Quindi, tengo conto di tutte le informazioni.