Summary of Data and Big Data Fundamentals

## Úvod Otevřená data jsou digitální informace zpřístupněné tak, aby je mohl kdokoli volně používat, upravovat a sdílet pro jakýkoli účel. Cílem je zvýšit transparentnost, podporovat inovace a umožnit reprodukovatelnost výzkumu i veřejných služeb. > **Definice:** Otevřená data jsou digitální data zveřejněná s technickými a právními vlastnostmi umožňujícími jejich volné použití, znovupoužití a redistribuci kýmkoli, kdykoli a kdekoli. ## Základní principy otevřených dat ### Co znamená „open“ - Volný přístup, použití, úprava a sdílení - Mohou platit požadavky zachovávající původ (provenance) a otevřenost ### Technické a právní náležitosti - Technicky: strojově čitelný formát (CSV, JSON, GeoJSON, XML, RDF...) a metadata - Právně: otevřená licence, která nepřidává omezení nad rámec uznání autorství > **Definice:** Strojově čitelný formát je takový formát, ze kterého lze automaticky a bez lidského zásahu zpracovávat informace programy a skripty. ## 5-hvězdičkový model Tim Berners-Lee - ★ Zveřejněte na Webu pod otevřenou licencí (libovolný formát) - ★★ Zveřejněte jako strukturovaná data (např. Excel místo naskenované tabulky) - ★★★ Použijte neproprietární otevřený formát (např. CSV místo Excel) - ★★★★ Používejte URI pro identifikaci entit, aby na ně bylo možné odkazovat - ★★★★★ Propojte data s dalšími daty pro kontext a bohatší sémantiku Tabulka: srovnání úrovní 5-hvězdičkového modelu | Hvězdičky | Co to znamená | Příklad | |---|---:|---| | ★ | Zveřejněno online pod otevřenou licencí | PDF se seznamem projektů | | ★★ | Strukturovaná data | XLSX tabulka se záznamy | | ★★★ | Otevřený formát | CSV místo XLSX | | ★★★★ | Identifikace pomocí URI | Každý záznam má vlastní URL | | ★★★★★ | Propojení napříč datasetů | Odkazy na externí referenční dataset | ## Kdo publikujeA otevřená data - Vládní a veřejné organizace: ministerstva, obce - Neziskové organizace a nadace - Mezinárodní organizace: World Bank, UN, OECD - Statistické úřady: CZSO, Eurostat Praktický příklad: město zveřejní dataset o cyklostezkách v GeoJSONu s geometrií tras, délkami, typem povrchu a rokem výstavby — vývojáři mohou rychle vytvořit mapovou aplikaci nebo analyzovat síťové propojení. ## Formáty a způsoby distribuce - Běžné formáty: CSV, JSON, GeoJSON, KML, XML, PDF, RDF - API pro přímý přístup k datům (REST, GraphQL) - Datové katalogy a repozitáře > **Definice:** API (Application Programming Interface) je rozhraní, které umožňuje programům komunikovat mezi sebou a přistupovat k funkcím nebo datům poskytovatele. ## Otevřená data v Česku - Národní portály: https://data.gov.cz, https://data.gov.cz/datové-sady, https://opendata.gov.cz - Legislativa: Zákon o svobodném přístupu k informacím (106/1999 Sb.) a související předpisy > **Definice:** Zákon o svobodném přístupu k informacím stanoví povinnosti orgánů veřejné moci zveřejňovat informace a poskytovat je na žádost obyvatel. Užitečné odkazy (příklady zdrojů): - GitHub repositáře s veřejnými API: https://github.com/public-apis/public-apis - Katalogy datasetů: https://github.com/awesomedata/awesome-public-datasets, https://www.google.com/publicdata/directory Věděli jste, že mnoho datasetů ve veřejných katalozích obsahuje metadata popisující licenční podmínky, formát, datum poslední aktualizace a kontaktní údaje správce? ## Open Science a FAIR principy - Open Science: sdílení výzkumných výstupů (články, data, kód) pro transparentní a reprodukovatelný výzkum - FAIR zásady pro data: - **F**indable — data musí být snadno vyhledatelná - **A**ccessible — přístupná s jasnými pravidly - **I**nteroperable — interoperabilní formáty a ontologie - **R**eusable — jasné licence a metadata pro opětovné použití Praktický příklad FAIR: dataset experimentálních měření uložený v repozitáři s DOI, popisem metodiky, metadata ve strojově čitelném formátu a otevřenou licencí ## Datové repozitáře a API pro získání dat - Statistické úřady: CZSO, Eurostat - Open API katalogy: https://apilist.fun, https://any-api.com - Temati