Quali ipotesi faccio per la distribuzione ipergeometrica?
Ho $N$ eventi $A_i$ ($i = 1, 2, …. N$), di cui conosco il numero $r$ di quelli veri, con $0 \leq r \leq N$. Non so quali sono gli eventi veri e quali quelli falsi, ma so che il numero totale degli eventi veri è $r$.
Rispetto alle ipotesi fatte per la distribuzione binomiale, in cui avevo supposto che gli eventi sono indipendenti ed equiprobabili, qui non ho supposto che gli eventi sono indipendenti, ma ho supposto soltanto che conosco il numero $r$ degli eventi veri.
Suppongo anche che valga questa condizione. Ho $N$ eventi e so che $r$ sono veri. Infilo la mano negli $N$ eventi e ne prendo un pacchetto fatto di $n$ eventi ($n \leq N$). Quanti me ne sono capitati degli eventi veri? Risposta: $h$ degli $r$ che so essere veri ($h \leq r$).
Qual è la probabilità che questi eventi siano $h$ nel pacchetto di $n$ eventi presi?
Io suppongo che questa probabilità sia tale che dipende solo da $h$ e da $n$, qualunque siano $h$ e $n$, con $h \leq n \leq N$. Cioè questa probabilità dipende solo da quanti e non da quali eventi prendo.
Ad esempio, ho $N = 15$ eventi di cui so che $r = 7$ sono veri. Ne prendo $n = 12$. Qual è la probabilità che in questi $n = 12$ eventi ne cadano $h = 5$ degli $r = 7$ veri? Questa probabilità dipende dai numeri $h = 5$ e $n = 12$ che ho scelto e non da quali eventi ho scelto. In un contesto più generale, questa proprietà è detta di scambiabilità.
Quello che conta è che gli eventi veri sono $h$ e non quali sono gli eventi $A_{j_{1}}$, $A_{j_{2}}$, …, $A_{j_{n}}$ considerati. In queste condizioni, questi eventi vengono ad essere equiprobabili, perché hanno probabilità data dal rapporto $P(A_i) = p = \frac{r}{N}$. Questo perché scelgo l’evento $A_i$ tra $N$ eventi di cui so che $r$ sono veri. Siccome la probabilità dipende da quanti ne scelgo e non da quali scelgo, quando ne scelgo uno la probabilità è $\frac{r}{N}$.
Sotto questa ipotesi, il numero aleatorio $Y = |A_1| + |A_2| + … + |A_n|$ ha una distribuzione che si chiama distribuzione ipergeometrica.
Calcolo $P(Y = x)$.
$\alpha _{xn}^{(N)} = P(Y = x) = \frac{\binom{r}{x} \binom{N – r}{n – x}}{\binom{N}{n}}$
Ho $N$ palline e ne scelgo $n$. Mi chiedo qual è la probabilità che ho preso $x$ palline bianche tra le $r$ contenute nell’urna (senza restituzione).
Estrarre senza restituzione $n$ palline da un’urna contenente $N$ palline è la stessa cosa sia se ne estraggo una alla volta, sia se ne prendo una manciata $n \leq N$ e poi vado a vedere le $x$ bianche. Ecco perché la probabilità che $h$ siano bianche tra le $n$ estratte è $p = \frac{r}{N}$.
Adesso calcolo la previsione $\mathbb{P} (Y)$. Questi eventi $A_i$ non sono indipendenti, ma sono tutti equiprobabili con $p = \frac{r}{N}$. Il numero aleatorio $Y$ è la somma di $n$ numeri aleatori: gli indicatori $|A_i|$.
Io so che la previsione dell’indicatore è $\mathbb{P} (|A_i|) = p = \frac{r}{N}$
Quindi, applicando la proprietà di additività della previsione, ho: $\mathbb{P} (Y) = np = \frac{nr}{N}$
Alcune osservazioni.
1) La distribuzione binomiale e la distribuzione ipergeometrica sono completamente diverse.
Basta osservare le due $P(X = x)$ e $P(Y = x)$. Però, entrambe hanno la stessa previsione: $\mathbb{P} (X) = \mathbb{P} (Y) = np$
Anche da questa osservazione si capisce come occorre cautela nell’usare la sola previsione come parametro di sintesi di un numero aleatorio. Due numeri aleatori così diversi, con diversa distribuzione di probabilità, hanno la stessa previsione.
Se so che $\mathbb{P} (X) = np$, non riesco a risalire a qual è la distribuzione del numero aleatorio. Se è una binomiale o un’ipergeometrica. La varianza mi farà capire che sono due cose diverse.
2) Un modello per queste due distribuzioni (binomiale e ipergeometrica) è quello dell’urna di composizione nota.
Gli eventi sono: $A_i$ = “la i-esima pallina estratta è bianca”.
Le estrazioni sono con o senza restituzione.
Se sono con restituzione, gli $A_i$ sono equiprobabili e indipendenti (binomiale).
Se sono senza restituzione, gli $A_i$ sono solo equiprobabili (ipergeometrica).
3) Collegamento tra binomiale e ipergeometrica.
Per collegare queste due distribuzioni, torno al calcolo della probabilità di avere $h$ successi su $n$ prove, in $h$ posti fissati.
$P(A_{j_{1}, j_{2}, … j_{n}}^{(n)}) = p^{h}q^{n – h}\frac{(1 – \frac{1}{pN}) … (1 – \frac{h – 1}{pN})(1 – \frac{1}{qN})(1 – \frac{N – h – 1}{qN})}{(1 – \frac{1}{N})(1 – \frac{2}{N}) … (1 – \frac{n – 1}{N})}$
Questa espressione vale per l’estrazione senza restituzione.
Se $N \rightarrow \infty$ , allora $P(A_{j_{1}, j_{2}, … j_{n}}^{(n)}) \rightarrow p^{h}q^{n – h}$, con $0 < p < 1$.
Quindi, posso sintetizzare questo risultato come: $\lim_{N \rightarrow \infty } P(A_{j_{1}, j_{2}, … j_{n}}^{(n)}) = p^{h}q^{n – h}$
Se $N \rightarrow \infty$, anche $r \rightarrow \infty$, in modo che $\frac{r}{N} = p$ resti sempre la stessa.
Mantenendo fissi il rapporto $\frac{r}{N} = p$ e $n$, cioè gli eventi che considero rispetto agli $N$ totali, allora posso dire che la distribuzione binomiale è il limite per $r \rightarrow \infty$ (e quindi $N \rightarrow \infty$) della distribuzione ipergeometrica. In altre parole approssimo l’ipergeometrica alla binomiale.
Il numero di estrazioni $n$ è fisso. Quindi, tanto più quanto $N$ diventa grande, tanto più $n$ risulta piccolo rispetto a $N$. Allora, quando $N \rightarrow \infty$, non mi accorgo molto della differenza tra estrazioni con o senza restituzione.
Quindi la differenza tra binomiale e ipergeometrica si attenua, quando le palline totali $N$ sono talmente tante (e il numero di palline estratte $n$ relativamente poche) che non mi accorgo che le palline non sono state rimesse a posto nell’urna dopo essere state estratte.
4) Questi modelli di urna sono modelli di campionamento statistico.
Quando campiono da una popolazione numerosa, posso utilizzare la binomiale anche se il campionamento viene fatto senza restituzione, perché la binomiale è più facile da trattare per i calcoli.
Adesso calcolo la varianza per la distribuzione ipergeometrica.
$Y = |A_1| + |A_2| + … + |A_n|$
$var(Y) = \sum_{i = 1}^{n} var(|A_i|) + 2\sum cov(|A_{i1}|,|A_{i2}|)$
Si sommano tutte le possibili covarianze tra gli indicatori degli $|A_i|$ presi a due a due. La varianza di un indicatore è $var(|A_i|) = pq$.
Nell’ipergeometrica (come nella binomiale) gli eventi $A_i$ sono tutti equiprobabili con probabilità $p$, anche se non sono indipendenti.
Adesso devo calcolare le covarianze, applicando la definizione di previsione del prodotto degli indicatori meno prodotto delle previsioni degli indicatori: $cov(|A_{i1}|,|A_{i2}|) = \mathbb{P}(|A_{i1}|\cdot |A_{i2}|) – \mathbb{P}(|A_{i1}|)\cdot \mathbb{P}(|A_{i2}|) =$
$= P(A_{i1} \cap A_{i2}) – p^{2} = P(A_{i1})P(A_{i2}|A_{i1}) – p^{2} = p\frac{r – 1}{N – 1} – p^{2}$
Alcuni commenti sui calcoli.
$|A_{i1}|\cdot |A_{i2}| = A_{i1} \cap A_{i2}$, perché $|A_{i1}|$ e $|A_{i2}|$ valgono o $1$ o $0$. Quindi il loro prodotto vale $1$ solo se sono entrambi $1$ e quindi gli eventi $A_{i1}$ e $A_{i2}$ entrambi veri. In tutti gli altri casi il prodotto dei due indicatori è $0$.
$\mathbb{P} (A_{i1} \cap A_{i2}) = P(A_{i1})P(A_{i2}|A_{i1})$, perché la previsione di un evento è sempre la probabilità dell’evento stesso e, quindi, applico il teorema delle probabilità composte per l’evento $(A_{i1} \cap A_{i2})$.
Nel caso della binomiale il termine $P(A_{i1})P(A_{i2}|A_{i1})$ vale $p^2$, perché gli eventi $A_i$ sono indipendenti.
Nella binomiale $P(A_{i2}|A_{i1}) = P(A_{i2}) = p$. Quindi, $P(A_{i1})P(A_{i2}|A_{i1}) = p^2 \Rightarrow cov(|A_{i1}|,|A_{i2}|) = 0$.
Quindi la varianza dell’ipergeometrica è: $var(Y) = npq +2\frac{n(n – 1)}{2}(p\frac{r – 1}{N – 1} – p^{2}) = npq(1 – \frac{n – 1}{N – 1})$
La varianza della binomiale, invece, è soltanto $var(X) = npq$, perché $cov(|A_{i1}|,|A_{i2}|) = 0$.
Le due varianze dell’ipergeometrica e della binomiale sono collegate.
- Ipergeometrica: $var(Y) = npq(1 – \frac{n – 1}{N – 1})$
- Binomiale: $var(X) = \sum_{i = 1}^{n} var(|A_{i}|) = npq$
Ad esempio, se $n = 1$, $var(Y) = npq$. Cioè la varianza dell’ipergeometrica coincide con quella della binomiale. Se estraggo 1 sola pallina, non c’è differenza tra estrazioni con o senza restituzione.
Se $N \rightarrow \infty$, $var(Y) = var(X) = npq$. Per $N \rightarrow \infty$, l’ipergeometrica tende alla binomiale e, quindi, anche le varianze coincidono.
$var(Y) = npq – npq \frac{n – 1}{N – 1} = var(X) – npq \frac{n – 1}{N – 1}$
$\Rightarrow var(Y) \leq var(X)$
Nel caso di estrazioni senza restituzione siamo meno incerti. Infatti la varianza dell’ipergeometrica è minore della varianza della binomiale.
Nell’estrazione con restituzione, ad ogni estrazione non acquisisco nessuna nuova informazione, perché ogni volta ributto dentro la pallina.
Nell’estrazione senza restituzione, man mano che levo palline comincio a capire sempre di più quale sarà il risultato delle prossime estrazioni. Ad esempio, nel caso limite che siano uscite tutte le palline bianche, sono sicuro che la prossima pallina sarà nera. Ma se sono sicuro, allora la varianza è zero!
Quindi, non rimettendo a posto le palline, la varianza è minore. Perché, non rimettendo a posto le palline, la mia incertezza diminuisce. Infatti, le palline che a mano a mano scanso mi dànno informazione su che cosa è rimasto dentro l’urna. $var(Y)$ decresce al crescere di $n$: aumentando le estrazioni, diminuisco l’incertezza.
Vediamo un esempio di applicazione di questa teoria congiuntamente al teorema di Bayes.
Riprendo l’esempio dell’analisi delle acque di scarico di un’industria inquinante. Una frazione $\theta = 0,7$ delle acque sono inquinate. Inquinate vuol dire che l’acqua del campione contiene una sostanza nociva ad una concentrazione sopra una certa soglia.
Come riporto questo esempio al modello delle urne con le palline?
Devo pensare che tutti i campioni di acqua sono delle palline bianche o nere. Chiamo palline bianche i campioni inquinati. Quindi, dire che $\theta = 0,7$ vuol dire avere un insieme di palline, delle quali il 70% sono bianche (= campioni inquinati).
Qui applicherò l’approssimazione binomiale. E’ chiaro che quando prendo campioni di acqua a valle dell’industria poi non li ributto, perché i campioni vanno in laboratorio per essere esaminati. In sostanza sono estrazioni senza restituzione. Ma siccome i campioni di acqua sono talmente tanti rispetto al numero di osservazioni (= provette prelevate), posso approssimarla ad un’estrazione con restituzione. Approssimo l’ipergeometrica con la binomiale.
Se l’industria mette in funzione il depuratore, la frazione di campioni inquinati si riduce a $\theta _{D} = 0,4 \Rightarrow \theta _{D} < \theta$.
L’accensione del depuratore ha un costo, quindi l’industria tende a non metterlo in funzione per ridurre i propri costi. Le autorità sanitarie effettuano un controllo delle acque di scarico, analizzano $n$ campioni e trovano la sostanza nociva in concentrazione superiore al valore soglia in $h$ di essi.
Vuol dire che le autorità sanitarie hanno preso $n$ palline e fra queste hanno trovato $h$ palline bianche.
Come posso valutare la probabilità che il depuratore fosse in funzione al momento del prelievo?
Il problema è calcolare $P(D|E)$.
$D$ = “il depuratore è in funzione”; $E$ = “ho trovato $h$ campioni inquinati su $n$ prelevati”, cioè è l’osservazione, l’esperimento. Per calcolare $P(D|E)$ devo ricorrere al teorema di Bayes: $P(D|E) = \frac{P(D)P(E|D)}{P(D)P(D|E) + P(D^{c})P(E|D^{c})}$
La probabilità che il depuratore fosse in funzione inizialmente, cioè prima dell’esperimento, si può prendere $P(D) = P(D^{c}) = \frac{1}{2}$. Si possono prendere anche valori diversi, se si hanno altre informazioni sulla serietà o meno dell’industria, purché sia sempre $P(D) + P(D^{c}) = 1$. Cioè il depuratore o è o non è in funzione $\Rightarrow D$ è vero o è falso.
$E$ = “su $n = 12$ campioni, ne ho $h = 7$ inquinati” è la mia osservazione. Allora per calcolare $P(E|D)$, posso usare la binomiale. Se $|D| = 1$, $p = \theta _{D} = 0,4 \Rightarrow q = 1 – p = 0,6$
$P(E|D) = \binom{12}{7}(0,4)^{7}(0,6)^{5} = 0,101$
Anche per calcolare $P(E|D^{c})$, uso la binomiale. Se $|D| = 0 \Rightarrow |D^{c}| = 1$, $p = \theta = 0,7 \Rightarrow q = 1 – p = 0,3$
$P(E|D^{c}) = \binom{12}{7}(0,7)^{7}(0,3)^{5} = 0,158$
Sostituendo queste probabilità nella formula di Bayes, ho la probabilità che il depuratore sia in funzione, dati i dati osservati: $P(D|E) = \frac{\frac{1}{2} \cdot 0,101}{\frac{1}{2} \cdot 0,101 + \frac{1}{2} \cdot 0,158} = 0,390$
La probabilità che il depuratore non sia in funzione, dati i dati osservati è: $P(D^{c}|E) = 1 – P(D|E) = 0,610$.
Dai risultati dell’esperimento sono più propenso a credere che il depuratore non fosse in funzione al momento del prelievo dei campioni delle acque di scarico.