Zhrnutie na Základy IoT, ERP, Robotiky a Spracovania Dát
Základy IoT, ERP, Robotiky a Spracovania Dát: Kompletný Prehľad
Úvod
Spracovanie dát je súbor postupov, ktoré menia surové dáta na užitočné informácie pre rozhodovanie, analýzu a modelovanie. Tento materiál vysvetľuje typy dát, metódy redukcie dát a praktické operácie na čistenie a filtrovanie dát.
1. Typy dát pri spracovaní
Rozdelenie dát pomáha vybrať vhodné metódy analýzy a zobrazenia.
1.1 Kvalitatívne vs. Kvantitatívne
- Kvantitatívne (numerické) – dáta, ktoré sú merateľné a vyjadriteľné číslami. Môžu byť diskretné alebo spojité.
- Kvalitatívne (kategorické) – opisné hodnoty, ktoré reprezentujú kategórie alebo triedy.
Definícia: Kvantitatívne dáta sú merateľné hodnoty vyjadrené číslami, zatiaľ čo kvalitatívne dáta sú opisné kategórie alebo štítky.
1.2 Podrobnejšie členenie numerických atribútov
- Diskrétne (spočítateľné) – hodnoty vo forme celých čísel, napr. počet chýb, počet kusov. Príklad: počet objednávok = $0,1,2,\dots$.
- Spojité (merateľné) – hodnoty z intervalu reálnych čísel, napr. teplota, hmotnosť. Príklad: cena tovaru $12.99$.
1.3 Symbolické (kategorické) atribúty
- Ordinálne – existuje prirodzené usporiadanie (napr. úroveň vzdelania: základné, stredné, vysokoškolské).
- Nominálne – bez prirodzeného poradia (napr. farba auta: červená, modrá, čierna).
- Špeciálne kategórie – binárne atribúty (napr. áno/nie), ktoré sú zvláštnym prípadom nominálnych atribútov.
| Typ dát | Príklad | Vlastnosť |
|---|---|---|
| Diskrétne numerické | Počet chýb | Celé čísla |
| Spojité numerické | Teplota | Reálne čísla |
| Ordinálne | Hodnotenie spokojn.) | Poradie |
| Nominálne | Farba produktu | Žiadne poradie |
💡 Vedeli ste?Fun fact: Správne rozlíšenie medzi ordinálnymi a nominálnymi atribútmi môže výrazne zmeniť výber štatistických testov a modelov.
2. Fáza: Redukcia dát
Redukcia dát slúži na zmenšenie objemu dát pri zachovaní ich informatívnej hodnoty a schopnosti produkovať rovnaké (alebo veľmi podobné) výsledky pri analýze.
Definícia: Redukcia dát je proces zmenšenia množstva dát tak, aby sa zachovala (prakticky) tá istá informačná hodnota potrebná pre analýzu.
2.1 Prečo redukovať dáta?
- Zníženie nárokov na úložisko a výpočtový čas
- Zlepšenie rýchlosti modelov a interpretovateľnosti
- Eliminácia redundancie a šumu
2.2 Hlavné metódy redukcie dát
- Agregácia – zhrnutie viacerých záznamov do súhrnných štatistík (súčty, priemery, mediány). Príklad: denné tržby z denných záznamov vytvoria mesačný prehľad.
- Vzorkovanie – výber reprezentatívnej podmnožiny z celého datasetu. Typy: náhodné, stratifikované, systematické.
- Redukcia dimenzií – metódy ako PCA, ktoré znižujú počet atribútov pri zachovaní čo najväčšej variability dát.
- Redukcia počtu záznamov – odstránenie duplicitných alebo irelevantných záznamov.
- Kompresia – techniky na binárnu alebo bezstratovú/stratovú kompresiu dát.
| Metóda | Keď ju použiť | Výhoda | Nevýhoda |
|---|---|---|---|
| Agregácia | Pri zhlukovaní časových rád | Znižuje počet riadkov | Strata detailov |
| Vzorkovanie | Veľké dataset-y | Rýchlejšia analýza | Riziko nepredstavivosti |
| Redukcia dimenzií | Veľa premenných | Zlepšuje rýchlosť a prehľadnosť | Môže zhoršiť interpretovateľnosť |
| Kompresia | Ukladanie/ prenos | Šetrí miesto | Môže byť stratová |
💡 Vedeli ste?Did you know that stratified sampling preserves class proportions, which is essential when working with imbalanced categorical targets?
3. Operácia: Filtrovanie záznamov a čistenie
Filtrovanie je bežná operácia na zachovanie len relevantných a kvalitných dát.
Definícia: Filtrovanie je proces výberu alebo vylučovania záznamov na základe definovaných kritérií tak, aby ostali len relevantné a kvalitné dáta.
3.1 Kroky pri filtrovaní a čistení
- Identifikovať kritériá pre výber (napr. hodnoty v rozsahu, nechcené kategórie).
- Odstrániť alebo opraviť chýbajúce a nekonzistentné hodnoty.
- Detekovať a spracovať extrémne odchýlky (outliery) – odstrániť, odseknúť alebo transformovať.
- Validovať výsledok a overiť, že fi
Zaregistruj sa pre celé zhrnutieKartičkyTest znalostíZhrnutiePodcastMyšlienková mapa
Začni zadarmo Už máš účet? Prihlásiť sa
Spracovanie dát - základy
Klíčové pojmy: Dáta delíme na kvantitatívne a kvalitatívne, Numerické dáta sú diskretné alebo spojité, Kategorické dáta sú nominálne alebo ordinálne, Redukcia dát znižuje objem pri zachovaní informácie, Agregácia sumarizuje záznamy do súhrnných štatistík, Vzorkovanie vyberá reprezentatívnu podmnožinu, Redukcia dimenzií (napr. PCA) znižuje počet atribútov, Filtrovanie vyberá len relevantné a kvalitné záznamy, Spracovanie outlierov: odstrániť, orezať alebo transformovať, Stratified sampling zachováva pomery tried pri výbere vzorky, Kompresia šetrí úložisko, môže byť stratová, Validovať výsledky po filtrovaní a redukcii
## Úvod
Spracovanie dát je súbor postupov, ktoré menia surové dáta na užitočné informácie pre rozhodovanie, analýzu a modelovanie. Tento materiál vysvetľuje typy dát, metódy redukcie dát a praktické operácie na čistenie a filtrovanie dát.
## 1. Typy dát pri spracovaní
Rozdelenie dát pomáha vybrať vhodné metódy analýzy a zobrazenia.
### 1.1 Kvalitatívne vs. Kvantitatívne
- **Kvantitatívne (numerické)** – dáta, ktoré sú merateľné a vyjadriteľné číslami. Môžu byť diskretné alebo spojité.
- **Kvalitatívne (kategorické)** – opisné hodnoty, ktoré reprezentujú kategórie alebo triedy.
> Definícia: Kvantitatívne dáta sú merateľné hodnoty vyjadrené číslami, zatiaľ čo kvalitatívne dáta sú opisné kategórie alebo štítky.
### 1.2 Podrobnejšie členenie numerických atribútov
- **Diskrétne (spočítateľné)** – hodnoty vo forme celých čísel, napr. počet chýb, počet kusov. Príklad: počet objednávok = $0,1,2,\dots$.
- **Spojité (merateľné)** – hodnoty z intervalu reálnych čísel, napr. teplota, hmotnosť. Príklad: cena tovaru $12.99$.
### 1.3 Symbolické (kategorické) atribúty
- **Ordinálne** – existuje prirodzené usporiadanie (napr. úroveň vzdelania: základné, stredné, vysokoškolské).
- **Nominálne** – bez prirodzeného poradia (napr. farba auta: červená, modrá, čierna).
- **Špeciálne kategórie** – binárne atribúty (napr. áno/nie), ktoré sú zvláštnym prípadom nominálnych atribútov.
| Typ dát | Príklad | Vlastnosť |
|---|---:|---|
| Diskrétne numerické | Počet chýb | Celé čísla |
| Spojité numerické | Teplota | Reálne čísla |
| Ordinálne | Hodnotenie spokojn.) | Poradie |
| Nominálne | Farba produktu | Žiadne poradie |
Fun fact: Správne rozlíšenie medzi ordinálnymi a nominálnymi atribútmi môže výrazne zmeniť výber štatistických testov a modelov.
## 2. Fáza: Redukcia dát
Redukcia dát slúži na zmenšenie objemu dát pri zachovaní ich informatívnej hodnoty a schopnosti produkovať rovnaké (alebo veľmi podobné) výsledky pri analýze.
> Definícia: Redukcia dát je proces zmenšenia množstva dát tak, aby sa zachovala (prakticky) tá istá informačná hodnota potrebná pre analýzu.
### 2.1 Prečo redukovať dáta?
- Zníženie nárokov na úložisko a výpočtový čas
- Zlepšenie rýchlosti modelov a interpretovateľnosti
- Eliminácia redundancie a šumu
### 2.2 Hlavné metódy redukcie dát
1. **Agregácia** – zhrnutie viacerých záznamov do súhrnných štatistík (súčty, priemery, mediány). Príklad: denné tržby z denných záznamov vytvoria mesačný prehľad.
2. **Vzorkovanie** – výber reprezentatívnej podmnožiny z celého datasetu. Typy: náhodné, stratifikované, systematické.
3. **Redukcia dimenzií** – metódy ako PCA, ktoré znižujú počet atribútov pri zachovaní čo najväčšej variability dát.
4. **Redukcia počtu záznamov** – odstránenie duplicitných alebo irelevantných záznamov.
5. **Kompresia** – techniky na binárnu alebo bezstratovú/stratovú kompresiu dát.
| Metóda | Keď ju použiť | Výhoda | Nevýhoda |
|---|---|---|---|
| Agregácia | Pri zhlukovaní časových rád | Znižuje počet riadkov | Strata detailov |
| Vzorkovanie | Veľké dataset-y | Rýchlejšia analýza | Riziko nepredstavivosti |
| Redukcia dimenzií | Veľa premenných | Zlepšuje rýchlosť a prehľadnosť | Môže zhoršiť interpretovateľnosť |
| Kompresia | Ukladanie/ prenos | Šetrí miesto | Môže byť stratová |
Did you know that stratified sampling preserves class proportions, which is essential when working with imbalanced categorical targets?
## 3. Operácia: Filtrovanie záznamov a čistenie
Filtrovanie je bežná operácia na zachovanie len relevantných a kvalitných dát.
> Definícia: Filtrovanie je proces výberu alebo vylučovania záznamov na základe definovaných kritérií tak, aby ostali len relevantné a kvalitné dáta.
### 3.1 Kroky pri filtrovaní a čistení
1. Identifikovať kritériá pre výber (napr. hodnoty v rozsahu, nechcené kategórie).
2. Odstrániť alebo opraviť chýbajúce a nekonzistentné hodnoty.
3. Detekovať a spracovať extrémne odchýlky (outliery) – odstrániť, odseknúť alebo transformovať.
4. Validovať výsledok a overiť, že fi