Zhrnutie na Základy Spracovania Dát a Informačných Systémov

## Úvod Redukcia dát a predspracovanie dát sú základné kroky pri práci s veľkými súbormi údajov. Pomáhajú zlepšiť kvalitu dát, znížiť ich objem a pripraviť ich na analýzu alebo modelovanie tak, aby výsledky boli spoľahlivejšie a výpočty efektívnejšie. > **Definícia:** Redukcia dát je proces zmenšenia množstva dát pri zachovaní čo najväčšej informačnej hodnoty. ## Prehľad hlavných krokov predspracovania 1. Čistenie dát 2. Filtrácia 3. Transformácia a škálovanie 4. Redukcia dimenzií a početnosti 5. Agregácia a vzorkovanie ### Čistenie dát - Odstránenie chýbajúcich alebo nekonzistentných hodnôt - Náhrada chýbajúcich hodnôt alebo ich odstránenie - Oprava preklepov a formátovanie > **Definícia:** Predspracovanie dát zahŕňa kroky potrebné na prípravu surových dát do formy vhodnej pre ďalšie spracovanie a analýzu. ### Filtrácia Filtrácia vyberá iba tie záznamy, ktoré spĺňajú predom stanovené podmienky, a ostatné vylučuje. - Praktický príklad: zodpovedajúce záznamy predaja iba za posledný rok alebo iba produkty s cenou nad určitú hranicu. ### Transformácia a škálovanie - Normalizácia alebo štandardizácia číselných atribútov - Prevod kategórií na numerické formáty (one-hot encoding, label encoding) ### Redukcia dát: metódy a typy Redukcia dát má za cieľ znížiť veľkosť alebo zložitosť dát bez významnej straty informácií. - **Agregácia** – zhrnutie alebo zjednodušenie dát (napr. denné súčty predaja namiesto minutových záznamov) - **Komprimácia** – zmenšenie objemu dát pomocou algoritmov (lossless alebo lossy) - **Vzorkovanie** – výber podmnožiny dát reprezentatívnej pre celý súbor > **Definícia:** Agregácia je metóda zhrnutia dát do vyššej úrovne (súčet, priemer, maximum, minimum). ### Redukcia dimenzií Redukcia dimenzií znižuje počet atribútov (stĺpcov) v dátach pri snahe zachovať čo najviac informácií. - Typické metódy: hlavné komponenty (PCA), selekcia atribútov, faktorová analýza Príklad: Ak máme $100$ atribútov, ale väčšina informácie je v $10$ hlavných komponentách, môžeme znížiť rozmernosť na $10$ bez veľkej straty presnosti. ### Redukcia početnosti (počet záznamov) - **Vzorkovanie**: náhodné, stratifikované, systematické - **Odstránenie duplicitných záznamov** - **Filtrovacie pravidlá** (napr. odstrániť záznamy s chybnými hodnotami) ## Typy dát pri spracovaní Tabuľka porovnania základných typov atribútov: | Typ | Popis | Príklady | |---|---|---| | Numerické diskrétne | Spočítateľné, celistvé hodnoty | počet položiek, počet návštev | | Numerické spojité | Merateľné, môžu nadobúdať ľubovolné hodnoty v intervale | teplota, cena | | Ordinálne (symbolické) | Kategórie s prirodzeným poradím | úroveň vzdelania, stupne spokojn0sti | | Nominálne (symbolické) | Kategórie bez poradia | pohlavie, farba, typ produktu | | Špeciálne | Binárne atribúty | áno/nie, prítomnosť/chýba | > **Definícia:** Numerické atribúty môžu byť diskrétne (celé čísla) alebo spojité (merateľné hodnoty). Symbolické atribúty sú buď ordinálne alebo nominálne. ## Praktické príklady a aplikácie - E-shop: agregácia denných tržieb, filtrovanie produktov podľa kategórií, redukcia dimenzií pri zhlukovaní zákazníkov - Senzory IoT: vzorkovanie vysokofrekvenčných meraní, kompresia dát pre prenos - Zdravotníctvo: odstránenie duplicít v pacientských záznamoch, škálovanie laboratórnych výsledkov pred modelovaním Did you know že správne zvolená metóda redukcie dát môže znížiť dobu výpočtu modelu o rádovo desiatky percent bez viditeľného zhoršenia presnosti? ## Tipy pre Not attending študenta 1. Začnite s prehľadom atribútov v datasete: typy, chýbajúce hodnoty, rozsahy 2. Vizualizujte rozdelenie numerických atribútov (histogramy) a frekvencie kategórií (bar chart) 3. Testujte viac metód redukcie dimenzií a porovnajte výsledky modelu 4. Pri vzorkovaní zachovajte reprezentatívnosť z pohľadu cieľovej premennej ## Zhrnutie Redukcia dát a predspracovanie sú kľúčové kroky pre efektívne a spoľahlivé analýzy. Zahŕňajú čistenie, filtráciu, transformáciu, agregáciu, vzorkov