Summary of Statisztikai modellezés és anomáliadetektálás
Statisztikai modellezés és anomáliadetektálás: Útmutató a GMM-hez
Bevezetés
Ez az anyag bemutatja a valószínűségi sűrűségfüggvény és a normális (Gauss-) eloszlás alapfogalmait és gyakorlati alkalmazását. Célunk, hogy elmagyarázzuk, hogyan hozunk létre folytonos valószínűségi modelleket mért adatokból, hogyan értelmezzük a hisztogramokat, és hogyan dolgozunk a normális eloszlással a gyakorlatban.
Definíció: A valószínűségi sűrűségfüggvény egy olyan $f(x)$ függvény, melyre annak a valószínűsége, hogy egy folytonos $X$ valószínűségi változó az $[a,b]$ intervallumba esik, a görbe alatti területtel adható meg: $$P(a,b)=\int_{a}^{b} f(x),dx.$$
1. Általánosítás és motiváció
- A valós rendszereket gyakran nem lehet pontosan leírni; korlátozott vagy részleges mérésekkel dolgozunk.
- A rendelkezésre álló jelekből levezetjük a véletlen változó eloszlását, amit aztán modellezésre és szimulációra használunk.
Hisztogram mint első lépés
- A hisztogram ábrázolja az adatokban előforduló értékek gyakoriságát, és a sűrűség diszkrét közelítéseként szolgál.
- A hisztogram ajánlott osztályainak száma: $k \approx 2{,}46 \cdot (N-1)^{0{,}4}$ vagy $k \approx \sqrt{N}$, ahol $N$ a mérések száma.
- A hisztogram segít megítélni a normalitást, a szimmetriát, a többmódúságot és a kiugró értékeket.
Definíció: A hisztogram az adatok osztályokba (bin-ekbe) való felosztása vízszintes tengellyel az értékekhez és függőleges tengellyel a gyakoriságokhoz; minden oszlop területe az adott osztály gyakoriságának felel meg.
2. Valószínűségi sűrűségfüggvény (Probability Density Function)
Alaptulajdonságok
- Egy folytonos $X$ valószínűségi változóhoz létezik egy $f(x)$ függvény, melyre igaz, hogy $$f(x)=\lim_{\Delta x\to 0}\frac{P(x,x+\Delta x)}{\Delta x}.$$
- A teljes valószínűség 1: $$\int_{-\infty}^{\infty} f(x),dx=1.$$
- Valószínűség egy intervallumban: $$P(a,b)=\int_{a}^{b} f(x),dx.$$
Eloszlásfüggvény
- Az $F(x)$ eloszlásfüggvény a sűrűségfüggvény primitív függvénye: $$F(x)=\int_{-\infty}^{x} f(t),dt.$$
- Az $F(x)$ tulajdonságai: nem csökkenő, $\lim_{x\to -\infty}F(x)=0$, $\lim_{x\to +\infty}F(x)=1$.
3. Normális (Gauss-) eloszlás
Definíció: A normális eloszlás $\mu$ és $\sigma$ paraméterekkel a következő sűrűségfüggvénnyel rendelkezik: $$f(x)=\frac{1}{\sigma\sqrt{2\pi}}\exp\left( -\frac{(x-\mu)^2}{2\sigma^2} \right).$$
A paraméterek magyarázata
- $\mu$ az átlag (várható érték) és egyben a görbe maximumának helye.
- $\sigma$ a szórás; nagyobb $\sigma$ szélesebb és alacsonyabb görbét eredményez, úgy, hogy a görbe alatti terület 1 maradjon.
A normális eloszlás tulajdonságai
- Szimmetrikus $\mu$ körül.
- Számos természeti jelenséget (mérési hibák, biológiai mennyiségek, IQ a populációban) közelít a centrális határeloszlás-tételnek köszönhetően.
- A pontos valószínűségeket pontok között a sűrűségfüggvény integrálásával számítjuk; a gyakorlatban táblázatokat vagy CDF (kumulatív eloszlásfüggvény) függvényeket használnak.
Gyakorlati alkalmazások
- Mérési hibák modellezése: a tényleges és a megfigyelt érték közötti különbséget gyakran normálisnak tekintjük.
- Hipotézisvizsgálat és konfidencia intervallumok az inferenciális statisztikában.
- Véletlen változók szimulálása Monte Carlo módszerekkel.
Definíció: A standard normális eloszlás esetén $\mu=0$, $\sigma=1$, és a sűrűségfüggvénye: $$\varphi(z)=\frac{1}{\sqrt{2\pi}}\exp\left(-\frac{z^2}{2}\right).$$
Példák
- Alkatrész hosszának mérése: a névleges hossztól mért eltérések $\approx$ normális eloszlásúak $\mu=0$ értékkel, a $\sigma$ pedig az adatokból becsülhető.
- Felnőttek magassága a populációban: ha az adatok szimmetrikusak és egycsúcsúak, normális eloszlással közelíthetők, és a CDF segítségével kiszámítható a bizonyos érték feletti/alatti százalékos arány.
Összehasonlítás mintastatisztikákkal (táblázat)
| Adatok gyakorisága | Hisztogram | Sűrűségfüggvény (PDF) |
|---|---|---|
| Típus | diszkrét közelítés | folytonos függvény |
| Adat | gyakoriság a binben | $f(x)$ érték (nem valószínűség |
Sign up for the full summaryAlready have an account? Sign in
Valószínűségi sűrűség és normális eloszlás
Klíčové pojmy: A hisztogram az értékek gyakoriságát mutatja, és a sűrűség diszkrét közelítéseként szolgál., Osztályok száma: $k\approx2{,}46\cdot(N-1)^{0{,}4}$ vagy $k\approx\sqrt{N}$, Az $f(x)$ sűrűségfüggvény eleget tesz a $\int_{-\infty}^{\infty} f(x)\,dx=1$ feltételnek., Valószínűség egy intervallumban: $P(a,b)=\int_{a}^{b} f(x)\,dx$, Eloszlásfüggvény: $F(x)=\int_{-\infty}^{x} f(t)\,dt$, Normális eloszlás sűrűségfüggvénye: $f(x)=\dfrac{1}{\sigma\sqrt{2\pi}}\exp\left(-\dfrac{(x-\mu)^2}{2\sigma^2}\right)$, Standard normális eloszlás: $\varphi(z)=\dfrac{1}{\sqrt{2\pi}}\exp\left(-\dfrac{z^2}{2}\right)$, Transzformáció: ha $Z\sim N(0,1)$, akkor $X=\mu+\sigma Z\sim N(\mu,\sigma^2)$, Használjon Q-Q ábrát és teszteket (Shapiro-Wilk) a normalitás ellenőrzésére., Az $f(x)$ érték nem egy pont valószínűsége, a valószínűség a görbe alatti terület.