l A N D M E H A L DU S E J U H I S E D Andmekvaliteedi juhis Mai 2023
Versioon 1.3 Kommentaarid juhise kohta on oodatud: Statistikaamet ([email protected]), Majandus- ja Kommunikatsiooniministeerium ([email protected]).
2 Dokumendi ajalugu
ver
muutuse sisu
autor
kuupäev
1.1
August 2020 tehtud juhise sisu ülekandmine
Veiko Berendsen
03.03.2022
1.2
Toimetamine
Veiko Berendsen
nov-dets 2022
1.3
Osade lisamine, struktuurimuutused
Veiko Berendsen
märts 23
1.8 Töörühmale saatmine tagasisideks Veiko Berendsen mai 2023 1.9
2.0 uus versioon
3 Sisukord 1 Sissejuhatus ....................................................................................................... 4 1.1 Üldist ........................................................................................................................................... 4 1.2 Juhise koostamine ..................................................................................................................... 4 1.3 Andmekvaliteedi juhise eesmärgid ........................................................................................... 6 1.4 Sihtrühmad.................................................................................................................................. 6 1.4.1 Andmekvaliteediga seotud rollid andmehalduse raamistikust ............................................... 6 1.4.2 Juhise sihtrühmad ...................................................................................................................... 7 1.5 Juhise ülesehitus........................................................................................................................ 8 1.6 Andmekvaliteedi haldamise õiguslik raamistik........................................................................ 8 2 Andmekvaliteet ................................................................................................... 9 2.1 Mis on andmekvaliteet? ............................................................................................................. 9 2.2 Mis on andmekvaliteedi haldamine? ...................................................................................... 10 2.3 Andmekogu ja andmestik andmekvaliteedi haldamise objektina ........................................ 10 3 Andmekvaliteedi juhtimise tegevused ............................................................... 12 3.1 Andmekvaliteedi eesmärkide määramine .............................................................................. 12 3.2 Andmekvaliteedi reeglite kirjeldamine .................................................................................... 13 4 Andmekvaliteedi mudel .................................................................................... 16 4.1 Andmekvaliteedi mudeli valik .................................................................................................. 16 4.2 Andmekvaliteedi mudeli dimensioonid................................................................................... 16 4.3 Andmekvaliteedi mõõtmise metamudel................................................................................. 18 4.4 Andmekvaliteedi probleemid ................................................................................................... 20 4.5 Kvaliteediprobleemide tuvastamine ....................................................................................... 25 4.6 Dimensioonide ja indikaatorite mõõtmine ............................................................................. 27 4.7 Andmekvaliteedi reeglile mõõdiku seadmine ........................................................................ 31 4.8 Kvaliteediprobleemide prioriseerimine ................................................................................... 33 4.9 Andmekvaliteedi aruandepõhjade väljatöötamine ................................................................ 34 4.10 Andmekvaliteedi reeglite haldamine ....................................................................................... 34 5 Andmekvaliteedi põhjuste analüüs ja mõjude hindamine .................................. 36 5.1 Andmekvaliteedi juurpõhjuste analüüs................................................................................... 36 5.2 Kvaliteediprobleemide mõju hindamine ................................................................................. 38
4 1 Sissejuhatus 1.1 Üldist Statistikaamet koostööpartneritega koostab ja annab andmehalduse alaseid soovituslike juhiseid. Juhised moodustavad metoodilise ja praktilise raamistiku, kuidas asutuses ja üleriigiliselt andmehaldust korraldada. Käesolev andme kvaliteedi juhis on selle andmehalduse raamistiku ehk andmehaldust korraldava süsteemi osa. Andmehalduse juhised (Joonis 1) on mõeldud asutustele andmehalduse sisse viimiseks ja korraldamiseks, samuti abistamaks andmehalduse sisulisi tegevusi.
Joonis 1: Andmehalduse juhised
Andmehaldus on organisatsiooni või asutuse tegevusvaldkond, mis võimaldab tal hallata oma andmeid varana. Tõhusast andmehaldusest organisatsioonile tulenev kasu seisneb andmetest täiendava väärtuse loomises ja paremate juhtimisotsuste langetamises. Nimetatu d kasu on aga võimalik saavutada vaid siis, kui organisatsiooni andmed on kvaliteetsed. Seejuures on andmekvaliteedi haldamise eelduseks andmekirjelduse olemasolu . Andmekirjelduste koostamist on täpsemalt käsitletud andmekirjelduse juhisetes. Juhis on koostatud selleks, et asutustel ja organisatsioonidel oleks andmekvaliteedi haldamiseks, reeglite seadmiseks, mõõtmiseks ja kvaliteedi parendamise ks olemas praktilised juhtnöörid. Andmekvaliteedi rakendamise nõuded asutustele, kes on andmekogu vastutavad töötlejad, tulenevad avaliku teabe seaduses t (AvTS) § 4 34 ja Vabariigi Valituse määrusest teenuste korraldamise ja teabehalduse alused (TKTA), mille § 16 1 sätestab a ndmehalduse täpsemad nõuded ja tingimused . Õigusaktidest tulenevaid nõudeid on täpsemalt kirjeldatud dokumendis: „Andmekvaliteedi haldus: Asutuse ülesanded andmekvaliteedi tagamisel “ (Mai 2023, Versioon 0.3). 1.2 Juhise koostamine Juhis on koostatud kahes järgus ning juhis arvesta varasemate töödega.
Varasem töö: • 2016. aastal valmis juhend pealkirjaga „Andmekvaliteedi tagamise juhend andmekogu omanikele“. Nimetatud juhend on suunatud eelkõige andmeomanikele ning pakub neile
5
head materjali andmekvaliteediga tegelemiseks. Käesolev juhis ei asenda varasemas
juhendis toodut, vaid täiendab seda. Erinevalt varasemast juhendist on antud juhis
suunatud eelkõige andmehalduritele (andmestikud), kuid pakub samas praktilisi oskusi
ja taustinformatsiooni nii andeomanikule kui ka teistele andmekvaliteedi tagamisel
ülesandeid omavatele rollidele.
• Varasem juhend pakub välja andmekvaliteedi juhtimise raamistiku andmekvaliteedi
pidevaks parendamiseks ning seeläbi küpsustaseme tõstmiseks. Välja pakutud
raamistik põhineb pideva parendamise tsüklil ehk Demingi rattal ning sisaldab järgmisi
tegevusi: HIND AMINE , PLANEERIMINE , TEOSTAMINE , KONTROLLIMINE ja KORRIGEERIMINE .
Kasutatud juhtimismeetod pakub üldisel tasemel andmekvaliteedi juhtimistegevuste
kirjeldust. Täpsemat ülevaadet andmehalduse protsessidest, sh ka andmekvaliteedi
protsessidest, pakub Eesti andmehalduse raamistik. Lisaks andmekvaliteedi juhtimise
raamistikule on varasemas juhendis toodud ülevaade andmekvaliteedi
küpsusmudelist ning juhised selle rakendamiseks. Neid käesolev juhis ei käsitle.
• Viimaks annab varasem juhend ülevaate andmekvaliteed i dimensioonidest
(juhises nimetatakse neid tunnusteks). Varasemas juhises on käsitletavaid dimensioone
üheksa: ÕIGSUS , TÄIELIKKUS , KOOSKÕLA , USALDUSVÄÄRSUS , AJAKOHASUS , REEGLIPÄRASUS ,
KONFIDENTSIAALSUS , ÜHEKORDSUS ja MITTELIIASUS . Iga käsitletud dimensiooni kohta on
esitatud määratlus, dimensiooniga seotud kvaliteediprobleemide näited, ülevaade
dimensiooni kvaliteedinõuete kohta käivatest õigusaktidest, lühikene kirjeldus
meetoditest, mis aitavad tagada andmekvaliteedi vastavust nõuetele antud dimensiooni
osas ning viimaks kontrollküsimused, mille eesmärgiks oli võimaldada andmeomanikul
veenduda, et ta oleks arvestanud erinevate võimalike nõuete allikatega ja võimalike
dimensiooni nõuetele vastavuse tagamise meetmetega.
• Käesolev juhis vaatleb andmekvaliteeti Eesti andmehalduse raamistiku kontekstis ning
kirjeldab lahti andmehalduse raamistikus toodud andmekvaliteediga seotud peamised
tegevused: KVALITEEDIREEGLITE HALDAMINE , ANDMEKVALITEEDI HALDAMINE ,
ANDMEKVALITEEDI MÕÕTMINE , ANDMEKVALITEEDI PROBLEEMIDE LAHE NDAMINE . Kui
varasem juhend käsitles üheksat dimensiooni, siis käesolevas juhises kasutusele võetud
mudelis on dimensioone viis: õigsus, täielikkus, ajakohasus, reeglipärasus ja
ühekordsus. Erinevalt varasemast juhisest on käesolevas juhises toodud terviklikud
juhtnöörid andmekvaliteedi dimensioonidest rakendamise võtmes olulisemate
mõõtmiseks.
Juhise koostamise versioonid on:
- Statistikaameti tellimusel ja Euroopa Komisjoni Struktuursete Reformide Toetusteenistuse (SRSS) rahastatud projekti „Support for the establishment of data governance services“ (Toetus andmehaldusele. Eesti andmehalduse metoodikaprojekt) raames 2019. a sügisest 2020. aasta suveni ettevõtte Ernst & Young eksperdid (projektijuht oli Siim Aben, eksperdid olid Kuldar Aas ja Raivo Ruusalepp).
- Statistikaameti ja Majandus- ja Kommunikatsiooniministeeriumi koostöös, arvestades asutustelt saadud tagasisidet ja andmehalduse arenguid. Sealhulgas nende infosüsteemide arendusi, mis üleriigiliselt või asutustes on andmehaldust toetavatena kasutusel või arendamisel. Käesoleva versiooni koostasid Statistikaametist Veiko Berendsen ja Annika Uibopuu ning Majandus- ja Kommunikatsiooniministeeriumist Kuldar Aas. Andmekvaliteedi juhise koostamisel on lähtutud nii DAMA -DMBOK2 andmehalduse mudelist , andmekvaliteedi protsessi ning mõõtmist käsitlevast kirjandusest kui ka andmekvaliteedi probleemide taksonoomiast.
6
1.3 Andmekvaliteedi juhise eesmärgid
Andmekvaliteedi juhis e eesmärgiks on selgitada, mida andmekvaliteet tähendab ja hõlmab ,
kuidas andmekvaliteeti töökorralduslikult juurutada ehk millised on andmekvaliteedi sihtrühmad
ja rollid, mis on andmekvaliteedi reeglid ning milline on andmekvaliteedi mudel.
Juhis seletab lahti andmekvaliteedi reeglite kirjeldamiseks tehtavad tegevused ning annab
detailseid juhiseid andmekvaliteedi mõõtmise teostamiseks. Arvestades andmekvaliteedi
mõõtmise keerukust ja alamtegevuste rohkust on oluline rõhk pandud just selle tegevuse lahti
seletamisele. Samas ei ole juhise selles versiooni s rakendamise tehnilisi näiteid. Ne nde jaoks
koostatakse eraldi lisa.
Üheks juhise eesmärgiks on esitada rakendamiseks sobiv andmekvaliteedi mudel. Mudel
on tehniliseks rakendamiseks.
Andmekvaliteedi käsitlus juhises on asutuse keskne ning riiklikul tasemel andmekogude
võrdlust ei rakendata. Seega ei ole puudutatud andmete ühekords e küsi mise teemat eg a
põhiandmete problemaatikat.
Juhise järgimine aitab kaasa andmehalduse raamistiku terviklikule rakendamisele
organisatsioonis.
1.4 Sihtrühmad
Andmaks ülevaadet juhise sihtrühmadest on esmalt toodud taustinformatsioon andmekvaliteedi
raamistikus määratletud rollide, nende andmekvaliteediga seotud vastutuste ning tegevuste
kohta milles nad osalevad. Seejärel on andmehalduse raamistikus defineeritud rollidest ja nende
vastutustes lähtuvalt kirjeldatud käesoleva juhise sihtrühmad. Rollide kirjeldused koos täieliku
vastutuste loendiga on toodud andmehalduse raamistikus.
Juhise käesolevas versioonis on rollid jäetu d 2020 . aasta andmehalduse raamistikuga
samaks. Raamistiku rollide muutmisel muudetakse need ka selles juhises. Praktiliselt võivad
ametinimetused ja rollid allpool kirjeldatust erineda.
1.4.1 Andmekvaliteediga seotud rollid andmehalduse raamistikust
Andmehalduse sponsor on asutuse juhtkonna liige, kes vastutab asutustes andmekvaliteedi
parendamise propageerimise eest. Lisaks osaleb ta andmekvaliteedi projektide järelevalve
teostamises.
Andmehalduse juht on andmehaldusorganisatsiooni ju ht ja asutuse või valdkonnaüleste
tegevuste koordinaator. Tema vastutuseks on andmekvaliteedi aruannete ja mõõdikute
väljatöötamine ja jälgimine, andmekvaliteedi parendamise tasuvusanalüüside koostamine ning
andmekvaliteedi projektide portfelli haldamine ning projektide tellimine ja järelevalve.
Andmeomanik on osakonna / valdkonna / teenuste juht või peakasutaja, kes on protsesside
omanik, kindla huvigrupi esindaja andmekvaliteedi nõuete esitamisel ehk andmete tegelik
omanik. Tema vastutuseks on andmekvali teedi reeglite seadmine vastavalt reeglistikule,
huvigruppide ja kasutajate andmekvaliteedi probleemide ja nõuete registreerimine, ootuste
juhtimine ning andmekvaliteedi parendamise protsesside ja projektide algatamine ning
järjestamine. Lisaks osaleb ta andmekvaliteedi reeglitele mõõdikute määramisel.
7
Andmehaldur (andmestikud) on andmete ekspert, kes omab parimat teadmist valdkonna
andmestikest ja lähtesüsteemide andmetest, ühiskasutatavatest põhiandmetest ning teenuste ja
mõõdikutega seotud andmetest. Tema vastutuseks on andmekvaliteedi reeglitele mõõdikute
määramine, mõõtetulemuste kogumine ja raporteerimine ning andmekvaliteedi probleemide
põhjuste väljaselgitamine ja sellest tegevusele tekkiva mõju hindamine. Lisaks osaleb ta
andmekvaliteedi reeglite kirjeldamisel toetades selles tegevuses andmeomanikke.
Metaandmete analüütik on IT- ja metaandmete süsteemide tundja, kes omab ülevaadet
kindla süsteemiga seotud andmetest ja kvaliteedi mõõtmise vahenditest. Tema vastutuseks on
nõuete ja andmekvaliteedi reeglite IT süsteemidesse juurutamise nõustamine ning regulaarsete
ja ühekordsete andmepäringute teostamine andmekvaliteedi probleemide põhjuste välja
selgitamiseks. Lisaks osaleb ta andmekvaliteedi mõõdikute väljatöötamisel nõustajana.
Andmehaldur (andmed) tegeleb andmete füüsilise sisestamise ja korrigeerimisega
(eelduseks toodangusüsteemide kõrgema taseme kasutajaõigused). Tema vastutuseks on
andmekvaliteedi
mõõdikute
jälgimine.
Lisaks
osaleb
ta
andmekvaliteedi
mõõdikute
väljatöötamisel nõustajana.
1.4.2 Juhise sihtrühmad Juhis on eelkõige suunatud andmehalduri (andmestikud) rollis olevatele asutuste ja organisatsioonide töötajatele, kellele juhis pakub juhtnööre kõigi temaga seotud andmekvaliteeti puudutavate ülesannete täitmiseks: • andmeomanike toetamiseks andmekvaliteedi reeglite kirjeldamisel rakendades profileerimist; • andmekvaliteedi mõõtmiseks; • andmekvaliteedi reeglitele mõõdikute määramiseks, mõõtetulemuste kogumiseks ja raporteerimiseks; • andmekvaliteedi probleemide põhjuste väljaselgitamiseks; • kvaliteediprobleemide mõju hindamiseks. Andmehalduse sponsor saab antud juhisest vajalikku taustinformatsiooni andmekvaliteedi parendamise propageerimiseks ning andmekvaliteedi projektide järelevalves osalemiseks. Andmehalduse juhile pakub käesolev juhis juhiseid andmekvaliteedi aruannete ja mõõdikute väljatöötamiseks ning andmekvaliteedi parendamise tasuvusanalüüside koostamiseks. Andmeomanik saab juhendist tuge andmekvaliteedi reeglite seadmiseks, andmekvaliteedi reeglitele mõõdikutele seadmisel osalemiseks ning konteksti ja üldist taustinformatsiooni oma ülejäänud andmekvaliteeti puudutava vastutuste täitmiseks. Metaandmete analüütikule pakub juhis teadmisi kvaliteedi mõõtmise vahendistest ning aitab tal täita oma andmekvaliteedi reeglite ja andmekvaliteedi probleemide põhjuste analüüsiga seotud vastutusi. Lisaks pakub juhis talle andmekvaliteedi mõõdikute väljatöötamisel nõustajana osalemiseks vajalikku taustinformatsiooni. Andmehaldurile (andmed) pakub juhis mõõdikute jälgimiseks ja andmekvaliteedi mõõdikute väljatöötamisel nõustajana osalemiseks vajalikku taustinformatsiooni.
8
1.5 Juhise ülesehitus
Andmekvaliteedi haldamise protsessi osaks olevast andmekvaliteedi probleemide lahendamise
alamprotsessist on kirjeldatud kaks peamist eriteadmisi nõudvat planeerivat tegevust:
• andmekvaliteedi probleemide põhjuste analüüs;
• kvaliteediprobleemide mõju hindamine tegevusele.
Eelnimetatud planeerivate tegevuste käigus tekib hulk andmekvaliteedi reegleid, mis on
pidevas muutumises. Seega võib andmekvaliteedi reeglite haldamine muutuda kiiresti keerukaks
ning tekitada segadust. Selle vältimise ks on juh ises esitatud andmekvaliteedi reeglite
haldamiseks osa.
Viimasena esitatakse praktilised näited eelnevalt lahti seletatud tegevuste praktiliseks
rakendamiseks kasutades konkreetseid tööriistu. Juhendis on toodud näited profileerimise,
andmekvaliteedi mõõtmise, andmekvaliteedi juhtimislaua koostamise j a andmekvaliteedi
reeglite haldamise praktiliseks rakendamiseks.
1.6 Andmekvaliteedi haldamise õiguslik raamistik Andmekvaliteedi tagamise kohustus on asutustele pandud erinevate õigusaktidega. Seaduse tasandil on õiguslik alus sätestatud avaliku teabe seaduses (AvTS). AvTS -i § 434 andmekogu vastutav ja volitatud töötleja, on lõikes 1 2 sätestatud, et a ndmehalduse täpsemad nõuded ja tingimused sätestab Vabariigi Valitsus või tema volitatud minister määrusega . [RT I, 15.03.2019, 2 - jõust. 01.04.2019] Selleks määruseks on teenuste korraldamise ja teabehalduse alused (TKTA), mille § 161 sätestab andmehalduse täpsemad nõuded ja tingimused. Tulenevalt õigusaktide loogikast – AvTS-i andmekogude peatükk ja TKTA teabehalduse peatükk – on õiguslikult reguleeritud ainult üks osa andmetest, k onkreetselt andmekogud. See aga ei tähenda, et nende digitaalselt hallatavate andmete, isegi digidokumentide, samuti andmestike ja sellistes infosüsteemides hallatavate andmete osas, mis ei ole andmekogud, ei peaks või ei saaks andmekvaliteedi reegleid määratleda, kehtestada, hallata ning andmekvaliteeti mõõta ja parandada. Andmekogude osas on AvTS-is need osaks riigi infosüsteemist (§ 432) ning peavad olema riigi infosüsteemi haldussüsteemis (RIHA) registreeritud (§ 437). RIHA määrus [RT I 2008, 12, 84
- jõust. 08.03.2008] kohustab andmekogu vastutavat töötlejat koostama ja kooskõlastama RIHAs
andmekogu dokumentatsiooni (ptk 2, §§ 6 -7). RIHA §10 lg 3 sätestab, et a ndmekogu
registreerimisel ja andmekogus kogutavate andmete koosseisu muutmise registreerimisel tuleb
andmekogu vastutaval või volitatud töötlejal andmete koosseisule vastavad andmed
aktualiseerida. See nõue sisaldab nii andmete kirjeldamist kui ka andmekvaliteeti.
9
2 Andmekvaliteet
2.1 Mis on andmekvaliteet?
Andmekvaliteedi mõiste lahti seletamiseks on vaja seletada mõlemat termini osa eraldi ja siis
neid ka koos.
Käesolevas juhises ei ole seletatud lahti, mis on andmed või metandmed, sest seda on
tehtud andmekirjelduse juhises. Küll tuleb aga peatuda selle l mis on kvaliteet ja seda eelkõige
andmekvaliteedi käsitluse võtmes. Selleks oleme lähtunud rahvusvahelise standardi ISO 8000
standardite perekonna definitsioonidest. ISO 8000 on andmekvaliteedi standardite perekond, mis
koosneb m itmest osast, mille osa 2 on sõnastik ( ISO 8000 -2:2017, Data quality — Part 2:
Vocabulary).
Üldisesse kvaliteedi käsitlusse [Joseph M. Juran, Quality Control Handbook, 1951] tuli
andmekvaliteet 1970. aastatel (Jurani töö kolmas väljaanne 1974). Selle kohaselt võib andmeid
pidada kõrgekvaliteetsekse, kui need on sobilikud eesmärgiks seautud kasutamiseks, mis võib
olla kasutamine konk reetses töös, kasutamine otsustamiseks või kasuta mine planeerimiseks
(Data can be considered of high quality when it is fit for its intended use in o perations, decision –
making and planning.)
Viimastel aastakümnetel on tooni andmed kaks andmekvaliteedi koolkonda . Alates 1992.
aastat totaalse andmekvaliteedi halduse koolkond (Total Data Quality Management –
TDQM) ja viimasel kahekümnel aastal täi eliku andmekvaliteedi halduse koolkond
(Complete Data Quality Management – CDQM). Neid mõlemat ise loomustavad vä ga suured
andmekvaliteedi mudelid ja rakendusraamistikud . CDQM koolkonna autorid Batini ja
Scannapieco eristavad teoreetilise (research) ja rakendusliku (application domains) mudel osa.
Selles on mudel ise teoreetiline ning rakenduslikkus on valdkondlik, näiteks tervishoid või
statistika.
ISO 8000-2 esitab kvaliteedi üldise määratluse:
MÕISTE Kvaliteet on määr, mille ulatuses objekti olemasol evad omadused vastavad
nõudmistele.
Degree to which a set of inherent characteristics of an object fulfils
requirements (ISO 8000-2:2017, 3.3.1)
ISO 8000-2 esita b ka andme kvaliteedi määratluse, mis on kvaliteedi määratlusele väga
lähedane.
MÕISTE Andmekvaliteet on määr, mille ulatuses andmete olemasolevad omadused
vastavad nõudmistele.
Degree to which a set of inherent characteristics of data fulfils requirements
(ISO 8000-2:2017, 3.3.8)
Nagu nende st määratlustest on näha , taandub kõik vastavatele ehk kehtestatud
nõudmistele, mis osutab nii andmekvaliteedi haldusprotsessile kui ka andmete omadustele.
10 2.2 Mis on andmekvaliteedi haldamine? Andmekvaliteedi haldamine on osa ehk üks tegevus andmehaldusest nagu seda on kujutatud DAMA-DMBOK2 andmehalduse käsiraamatus. ISO 8000-2 käsitluses on see osa juh timisest ja kontrollist. MÕISTE Andmekvaliteedi haldu s on organisatsiooni koordineeritud tegevus andmekvaliteedi juhtimiseks ja kontrollimiseks. data quality management – Coordinated activities to direct and control an organization with regard to data quality events (ISO 8000-2:2017, 3.3.9) Organisatsiooni koordineeritud tegevus on seega nii andmekvaliteedi juhtimise tegevused kui ka andmekvaliteedi mudeli ja selle osade rakendamine , aga mõistagi ka andmekvaliteedi mõõtmine, saadud tulemuste analüüs ja kvaliteedi parendamine. Andmekvaliteet näitab, mil määral andmekarakteristikud rahuldavad teadaolevaid või eeldatavaid vajadusi kasutamisel ettemääratud tingimustes. Andmekvaliteeti aitavad tagada andmehalduse raamistikus kirjeldatud andmekvaliteedi haldamise protsessid , mis katavad andmekvaliteedi reeglite haldamiseks, andmekvaliteedi mõõtmiseks ja seeläbi andmekvaliteedi raportite loomiseks ning andmete parandamiseks (andmehalduri poolt käsitsi või IKT osakonna poolt) tehtavad tegevused. Loetletud tegevuste täitmisel osaleb mitmeid erinevate rollide täitjaid, kellel tuleb oma vastutuste täitmiseks teha mitmesuguseid praktilisi ülesandeid. Andmekvaliteedi mõõtmine ja halda mine võib toimuda mingil andmete kasutuse hetkel, aga väga sagedane on, et seda on vaja mitmel andmetöötluse etapil. Eri etappides võib olla vaja mõõta eri indikaator eid. Samuti on protsessis võimalik, et andmed on kogumis hinnatavad kasutatavaks, näiteks on mõned vead suures hulgas andmetes, mis ei takista neid statistikas kasutada, kuid mõnel juhul on väikse mgi viga luba matu, näiteks toiminguks mis nõuab ühemõtteliselt õigeid andmeid. 2.3 Andmekogu ja andmestik andmekvaliteedi haldamise objektina Andmekvaliteedi mudelit saab rakendada väga laiale ja väga erinevatele andmete valdkondadele. Eesti avalikus sektoris on andmekvaliteedi haldust rakendatud eelkõige andmekogudele ja seda on pidanud tegema andmekogu omanikud (st vastutavad või volitatud töötlejad) . S amuti on andmekvaliteedi teema oluline mitmetes valdkondades , N ii on näiteks Euroopa statistikasüsteemi (ESS) kvaliteedikäsitluses (ESS handbook for quality reports, 2014) kasutusel mudel, millel on kaks suuremat dimensiooni: väljundi/toote kvaliteedikriteeriumid ning andmetöötlusprotsessi kvaliteedikriteeriumid, millel on kokku üheksa mõõdetavat või hinnatavat indikaatorit (Asjakohasus, Täpsus ja usaldusväärsus, Ajakohasus ja õigeaegsus, Seostatavus ja võrreldvus, Kättesaadavus ja selgus , Levitamisvorming ). Osa neist on ka kasutatud andmekogude andmekvaliteedi hindamiseks nende kasutamisel näiteks rahv aloenduseks. Samas ei ole see andmeanalüüsile ja andmete avaldamisele orienteeritud mudel andmekogude andmekvaliteedi haldamiseks neile enestele kõige sobivam. Õigusaktides on sätestat ud andme kvaliteedi halduse rakendamine andmekogudele. TKTA sätestab: riigi infosüsteemi kuuluva andmekogu vastutav töötleja dokumenteerib ja rakendab andmekvaliteedi seire ja haldamise protsessi, millega tagatakse riigi infosüsteemi kuuluvate andmekogude andmete kvaliteet vastavalt õigusaktidele. See osa selg itab täpsemalt, kuidas asutus võiks endal andmehalduse juurutada juhul, kui ta ei lähtu ainult andmekogudest.
11
Andmekogul on avaliku teabe seaduses legaaldefinitsioon.
MÕISTE
andmekogu on riigi, kohaliku omavalitsuse või muu avalik-õigusliku isiku või
avalikke ülesandeid täitva eraõigusliku isiku infosüsteemis töödeldavate
korrastatud andmete kogum, mis asutatakse ja mida kasutatakse seaduses,
selle alusel antud õigusaktis või rahvusvahelises lepingus sätestatud
ülesannete täitmiseks . (AvTS § 431 lg 1)
Asutustel on lisaks andmekogudele või sageli andmekogude kõrval või asemel infosüsteemid,
rakendused ning hulk olulisi faile analüüsiks, statistikaks jms. Ka andmebaasid on failid. Seega
on kõrvuti andmekogudega mitmesuguseid andmestikke.
Andmestiku legaaldefinitsioon on riikliku statistika seaduses, kuid andmestikuna on nimetatud
ka osa andmekogust (TIS § 211).
MÕISTE
(1) andmestik on andmete hulk, mis on avaldatud ja mida hallatakse kindla
isiku poolt ning millele saab anda juurdepääsu või seda alla laadida ühes või
enamas vormingus (DCAT)
(2) andmestik on identifitseeritav ja hallatav andmete kogum (riikliku
statistika seadus)
Andmestikke on eri tüüpi, millest selle dokumendi kontekstis on olulised järgmised:
•
relatsioonilised andmebaasid
•
arvutustabelid ja analüütilised andmestikud
•
struktureeritud andmed ja andmestruktuurid nagu XML, JSON
•
tekstidokumendid, tekstifailid, tekstikorpused ehk laiemalt mittestruktureeritud andmed
•
veebilehed, wiki-d jms
•
graafilise sisuga dokumendid nagu esitlused
•
põhiliselt meediasisuga failid: pidi-, heli-, videofailid
Asutusele sisaldavad kõik ülal loetletud andmetike tüübid teavet. Küsimuse praktiliseks
lahenduseks tuleb andmekvaliteedi haldus piiritleda vähemalt järgmiste andmestike tüüpidega
ning need halduse alla võtta:
- andmekogud – need on õiguslikult kõige enam reguleeritud osa andmetest, olenemata sellest, kas ollakse andmekogu vastutav või volitatud töötleja (eraldiga, kui volitatud töötleja on ainult andmdekogu tehniline haldaja);
- asutuse infosüsteemid, millel on eraldi andmebaasid ning mis on seotud asutuse põhi- või tugiprotsesside täitmisega (ehk teenustega);
- dokumendid ja failid mis on koostatud või saadud algandmete teises töötlemise tulemusel analüüsi käigus ning mis raportid, aruanded jms dokumendid, mille sisu on analüütiline üldistus või statistika;
- andmestikud, mis on tehtud taaskasutatavaks avaandmetena;
- peetavad klassifikaatorid ja (koodi)loendid, mis on kasutusel identifikaatorite (viidete, tähiste) ja/või nende väärtuste kasutamisel teistes andmestikes.