Pagrindinės duomenų saugyklų charakteristikos.
- yra istorinių duomenų;
- saugo išsamią informaciją, taip pat iš dalies ir visiškai apibendrintus duomenis;
- duomenys dažniausiai yra statiniai;
- nereguliuojamas, nestruktūrizuotas ir euristiniu būdu duomenų apdorojimas;
- vidutinis ir žemas operacijų apdorojimo intensyvumas;
- nenuspėjamas duomenų panaudojimo būdas;
- skirta analizei;
- Orientuota į dalykines sritis;
- parama priimant strateginius sprendimus;
- aptarnauja palyginti nedidelį skaičių vadovų.
Duomenų pateikimo modeliui ir atitinkamai jų apdorojimo duomenų saugyklose technologijai apibūdinti vartojamas terminas OLAP (On-Line Analytical Processing). Pateikti OLAP naudoja daugiamatį suvestinių duomenų vaizdą greita prieiga strategiškai svarbi informacija gilios analizės tikslais. OLAP programos turi turėti šias pagrindines savybes:
- daugiamatis duomenų atvaizdavimas;
- sudėtingų skaičiavimų palaikymas;
- teisingas laiko faktoriaus įvertinimas.
OLAP pranašumai:
- skatinimas spektaklis gamybos personalas, kūrėjai taikomosios programos. Savalaikė prieiga prie strateginės informacijos.
- suteikiant vartotojams pakankamai galios patiems atlikti schemos pakeitimus.
- OLAP programos remiasi duomenų saugyklos ir OLTP sistemos, iš jų gaunant naujausius duomenis, kurie taupo vientisumo kontrolėįmonės duomenys.
- sumažinti OLTP sistemų apkrovą ir duomenų saugyklos.
OLAP ir OLTP. Charakteristikos ir pagrindiniai skirtumai
| OLAP | OLTP |
|---|---|
| Duomenų saugykla turėtų apimti ir vidinius įmonės duomenis, ir išorinius duomenis | pagrindinis informacijos, patenkančios į operatyvinę duomenų bazę, šaltinis yra korporacijos veikla, o duomenų analizei reikia pasitelkti išorinius informacijos šaltinius (pavyzdžiui, statistines ataskaitas) |
| Analitinių duomenų bazių apimtis yra bent eilės tvarka didesnė nei veikiančių. už patikimą analizę ir prognozavimą duomenų saugykla reikia turėti informaciją apie korporacijos veiklą ir rinkos būklę kelerius metus | Operatyviniam apdorojimui reikalingi paskutinių kelių mėnesių duomenys |
| Duomenų saugykla turėtų būti vienodai pateikta ir suderinta informacija, kuri būtų kuo artimesnė veikiančių duomenų bazių turiniui. Norint išgauti ir „išvalyti“ informaciją iš įvairių šaltinių, reikalingas komponentas. Daugelyje didelių korporacijų vienu metu (dėl istorinių priežasčių) yra kelios veikiančios informacinės sistemos su savo duomenų bazėmis. | Veikiančiose duomenų bazėse gali būti semantiškai lygiavertė informacija, pateikta skirtingais formatais, su skirtingais jos gavimo laiko nurodymais, kartais net prieštaringai. |
| Neįmanoma numatyti analitinės duomenų bazės užklausų rinkinio. duomenų saugyklos atsako į ad hoc analitikų užklausas. Galite pasikliauti tik tuo, kad užklausos nebus per dažnai ir turės įtakos dideliam informacijos kiekiui. Analitiniai duomenų bazių dydžiai skatina naudoti užklausas su agregatais (suma, min., maks. reiškia ir tt) | Duomenų apdorojimo sistemos skirtos konkrečioms problemoms spręsti. Informacija iš duomenų bazės atrenkama dažnai ir nedidelėmis dalimis. Paprastai užklausų rinkinys operacinei duomenų bazei jau yra žinomas projektuojant |
| Esant nedideliam analitinių duomenų bazių kintamumui (tik įkeliant duomenis), masyvų išdėstymas pasirodo pagrįstas, daugiau greiti metodai indeksavimas masiniam atrankai, iš anksto sukauptų duomenų saugojimas | Duomenų apdorojimo sistemos pagal savo pobūdį yra labai kintamos, į ką atsižvelgiama naudojamoje DBVS (normalizuota duomenų bazės struktūra, eilutės saugomos netvarkingai, B-medžiai indeksavimui, operatyvumas) |
| Analitinių duomenų bazių informacija korporacijai yra tokia svarbi, kad reikalingas didelis apsaugos detalumas (individualios prieigos teisės prie tam tikrų lentelės eilučių ir (arba) stulpelių) | Duomenų apdorojimo sistemoms to dažniausiai pakanka informacijos apsauga stalo lygyje |
Codd taisyklės OLAP sistemoms
1993 m. Codd paskelbė OLAP analitikams: koks jis turėtų būti. Jame jis išdėstė pagrindines internetinio analitinės apdorojimo sąvokas ir nustatė 12 taisyklių, kurias turi atitikti produktai, kad būtų galima atlikti internetinį analitinį apdorojimą.
- Konceptualus daugiamatis vaizdavimas. OLAP modelis savo esme turi būti daugiamatis. Daugiamatė koncepcinė diagrama arba pasirinktinis vaizdas palengvina modeliavimą ir analizę bei skaičiavimus.
- Skaidrumas. Vartotojas gali gauti visus reikiamus duomenis iš OLAP mašinos, net neįtardamas, iš kur jie atkeliauja. Nepriklausomai nuo to, ar OLAP produktas yra vartotojo įrankių dalis, ar ne, šis faktas vartotojui turėtų būti nematomas. Jei OLAP teikia kliento-serverio skaičiavimas, šis faktas, jei įmanoma, taip pat turėtų būti nematomas vartotojui. OLAP turėtų būti teikiamas naudojant tikrai atvirą architektūrą, leidžiančią vartotojui, kad ir kur jis būtų, bendrauti su serveriu naudojant analitinį įrankį. Be to, skaidrumas taip pat turi būti pasiektas, kai analizės įrankis sąveikauja su vienalyte ir nevienalyte duomenų bazių aplinka.
- Prieinamumas. OLAP turi pateikti savo loginė diagrama prieiti heterogeninėje duomenų bazės aplinkoje ir atlikti atitinkamas transformacijas, kad būtų pateikti duomenys vartotojui. Be to, būtina iš anksto pasirūpinti, kur ir kaip ir kokie fizinių duomenų organizavimo tipai iš tikrųjų bus naudojami. OLAP sistema turėtų pasiekti tik tuos duomenis, kurių tikrai reikia, o ne taikyti bendras principas„virtuvės piltuvas“, dėl kurio nereikalinga įvestis.
- Pastovus spektaklis rengiant ataskaitas. Spektaklis ataskaitų teikimas neturėtų labai mažėti didėjant duomenų bazės matmenų skaičiui ir dydžiui.
- Kliento-serverio architektūra. Produktas turi būti ne tik kliento / serverio produktas, bet ir serverio komponentas turi būti pakankamai protingas, kad skirtingi klientai galėtų prisijungti su minimaliomis pastangomis ir programavimu.
- Bendras daugiamatiškumas. Visi matmenys turi būti vienodi, kiekvienas matmuo turi būti lygiavertis tiek struktūra, tiek eksploatacinėmis galimybėmis. Tiesa, atskiriems matavimams leidžiamos papildomos eksploatacinės galimybės (matyt, laikas numanomas), bet tokios papildomos funkcijos turėtų būti suteikta bet kokiam matmeniui. Taip neturėtų būti, kad pagrindinis duomenų struktūros, skaičiavimo ar ataskaitų teikimo formatai buvo labiau būdingi vienam aspektui.
- Dinaminis valdymas retos matricos. OLAP sistemos turėtų automatiškai koreguoti savo fizinę schemą pagal modelio tipą, duomenų apimtis ir duomenų bazės retumą.
- Kelių vartotojų palaikymas. OLAP įrankis turi suteikti galimybę dalijimasis(prašymas ir papildymas), vientisumas ir saugumas.
- Neribotos kryžminės operacijos. Bet kokiems matavimams turi būti leidžiama atlikti visas operacijas.
- Intuityvus manipuliavimas duomenimis. Duomenų manipuliavimas buvo atliktas atliekant tiesioginius veiksmus ląstelėse peržiūros režimu, nenaudojant meniu ir kelių operacijų.
- Lanksčios ataskaitų teikimo parinktys. Išmatavimai turi būti pateikiami ataskaitoje taip, kaip vartotojas nori.
- Neribota
OLAP (Online Analytical Processing) yra ne konkretaus produkto, o visos internetinės analitinio apdorojimo technologijos, apimančios duomenų analizę ir ataskaitų teikimą, pavadinimas. Vartotojui pateikiama daugiamatė lentelė, kuri automatiškai apibendrina duomenis įvairiuose skyriuose ir leidžia greitai valdyti skaičiavimus bei ataskaitos formą.
Nors kai kuriuose leidiniuose analitinis apdorojimas vadinamas ir internetiniu, ir interaktyviu, būdvardis „online“ tiksliausiai atspindi OLAP technologijos reikšmę. Valdymo valdymo sprendimų kūrimas patenka į labiausiai klaidingai automatizuojamų sričių kategoriją. Tačiau šiandien yra galimybė padėti vadovui kuriant sprendimus ir, svarbiausia, gerokai paspartinti sprendimų rengimo, jų atrankos ir priėmimo procesą.
Sprendimų palaikymo sistemos paprastai turi priemones, skirtas pateikti vartotojui apibendrintus duomenis apie įvairius pradinio rinkinio mėginius patogia suvokimui ir analizei forma. Paprastai tokios agregacinės funkcijos sudaro daugiamatį duomenų rinkinį, dažnai vadinamą hiperkubu arba metakubu, kurio ašyse yra parametrai, o langeliuose yra suvestiniai duomenys, kurie priklauso nuo jų – tokie duomenys taip pat gali būti saugomi reliacinėse lentelėse, tačiau šioje Šiuo atveju kalbame apie loginius organizacijos duomenis, o ne apie fizinį jų saugojimo įgyvendinimą.
Išilgai kiekvienos ašies duomenys gali būti suskirstyti į hierarchiją, atspindinčią skirtingus detalumo lygius.
Pagal dimensijas daugiamačiame modelyje į šalį atidedami veiksniai, turintys įtakos įmonės veiklai (pvz.: laikas, produktai, įmonės filialai ir kt.). Tada gautas OLAP kubas užpildomas įmonės veiklos rodikliais (kainos, pardavimai, planas, pelnas, pinigų srautai ir kt.). Reikėtų pažymėti, kad skirtingai nuo geometrinio kubo, OLAP kubo paviršiai neturi būti vienodo dydžio. Šį užpildymą galima atlikti kaip su tikrais duomenimis Operacinės sistemos, ir prognozuojama remiantis istoriniais duomenimis. Hiperkubo matmenys gali būti sudėtingi, hierarchiniai ir tarp jų gali būti užmegzti ryšiai. Analizės metu vartotojas gali pakeisti požiūrį į duomenis (vadinamoji loginio vaizdo keitimo operacija), taip peržiūrėdamas duomenis skirtingose sekcijose ir spręsdamas konkrečias problemas. Su kubeliais galima atlikti įvairias operacijas, įskaitant prognozavimą ir sąlyginį planavimą (kas būtų, jei analizė).
Dėl šio duomenų modelio vartotojai gali formuluoti sudėtingas užklausas, generuoti ataskaitas ir gauti duomenų pogrupius. Operatyvinis analitinis apdorojimas gali žymiai supaprastinti ir pagreitinti vadovaujančio personalo sprendimų rengimo ir priėmimo procesą. Internetinis analitinis apdorojimas skirtas duomenis paversti informacija. Tai iš esmės skiriasi nuo tradicinio sprendimų palaikymo proceso, kuris dažniausiai grindžiamas struktūrizuotų ataskaitų svarstymu.
OLAP technologija nurodo intelektinės analizės tipą ir apima 12 principų:
1. Konceptualus daugiamatis vaizdavimas. Vartotojas-analitikas mato įmonės pasaulį kaip atitinkamai daugiamatį, o OLAP modelis turi būti daugialypis.
2. Skaidrumas. OLAP sistemos architektūra turi būti atvira, leidžianti vartotojui, kad ir kur jis būtų, bendrauti su serveriu naudojant analitinį įrankį – klientą.
3. Prieinamumas. OLAP analitikas vartotojas turi turėti galimybę atlikti analizę, pagrįstą bendra koncepcine schema, apimančia visos įmonės duomenis reliacinėje duomenų bazėje, taip pat duomenis iš senų pasenusių duomenų bazių, bendrais prieigos metodais ir bendru analitiniu modeliu. OLAP sistema turėtų pasiekti tik tuos duomenis, kurių iš tikrųjų reikia, o ne taikyti bendrą „virtuvės piltuvo“ principą, dėl kurio reikia įvesti nereikalingą informaciją.
4. Nuoseklus ataskaitų kūrimo našumas. Didėjant duomenų bazės matmenų skaičiui ar dydžiui, analitiko vartotojas neturėtų patirti reikšmingo našumo sumažėjimo.
5. Kliento-serverio architektūra . Dauguma duomenų, kuriuos šiandien reikia apdoroti internetu, yra dideliuose kompiuteriuose, turinčiuose prieigą prie vartotojų darbo vietų per LAN. Tai reiškia, kad OLAP produktai turi veikti kliento-serverio aplinkoje.
6. Bendras daugiamatiškumas. Kiekvienas aspektas turėtų būti taikomas neatsižvelgiant į jo struktūrą ir veikimo galimybes. Pagrindinės duomenų struktūros, formulės ir ataskaitų formatai neturėtų būti nukreipti į vieną aspektą.
7. Dinaminis retų matricų valdymas. Fizinis OLAP įrankio dizainas turi būti visiškai pritaikytas konkrečiam analitiniam modeliui, kad būtų galima optimaliai valdyti retas matricas. Retumas (matuojamas procentais tuščios ląstelės visiems įmanomiems) yra viena iš duomenų sklaidos ypatybių.
8. Kelių vartotojų palaikymas. OLAP įrankis turi suteikti galimybę dalytis užklausomis ir papildyti kelis analitikus vartotojus išlaikant vientisumą ir saugumą.
9. Neribotos kryžminės operacijos. Įvairios operacijos dėl savo hierarchinio pobūdžio gali atspindėti priklausomus ryšius OLAP modelyje, tai yra, jos yra kryžminės funkcijos. Jų vykdymas neturėtų reikalauti, kad vartotojas analitikas iš naujo apibrėžtų šiuos skaičiavimus ir operacijas.
10. Intuityvus manipuliavimas duomenimis. Analitiko vartotojo pateiktame analitiniame modelyje apibrėžtų dimensijų vaizde turi būti visa reikalinga informacija OLAP modelio veiksmams atlikti, t.y. jie neturėtų reikalauti naudoti meniu sistemos ar kitų kelių vartotojo sąsajos operacijų.
11. Lanksčios ataskaitų teikimo parinktys. Ataskaitų teikimo įrankiai turėtų būti sintezuoti duomenys arba informacija, gauta naudojant duomenų modelį bet kokia galima orientacija. Tai reiškia, kad ataskaitos eilutėse, stulpeliuose arba puslapiuose vienu metu turi būti rodomi keli OLAP modelio matmenys, su galimybe rodyti bet kokį dimensijoje esančių elementų (reikšmių) poaibį ir bet kokia tvarka.
12. Neribotas matmuo ir agregavimo lygių skaičius. Galimo būtinų matavimų skaičiaus, reikalingo analitiniame modelyje, tyrimas parodė, kad analitikas vartotojas vienu metu gali atlikti iki 19 matavimų. Tai veda prie rekomendacijos dėl OLAP sistemos palaikomų dimensijų skaičiaus. Be to, kiekvienas bendras matmuo neturėtų būti ribojamas vartotojo analitiko apibrėžtu agregavimo lygių skaičiumi.
Kaip šiuo metu rinkoje siūlomas specializuotas OLAP sistemas, galite nurodyti CalliGraph, Business Intelligence.
Nesudėtingoms duomenų analizės užduotims spręsti galima pasitelkti biudžetinį sprendimą – Microsoft Excel ir Access biuro programas, kuriose yra elementarios OLAP technologijos priemonės, leidžiančios kurti pivot lenteles ir pagal jas kurti įvairias ataskaitas.
tikslas kursinis darbas yra OLAP technologijos studija, jos įgyvendinimo samprata ir struktūra.
AT modernus pasaulis kompiuterių tinklai o kompiuterinės sistemos leidžia analizuoti ir apdoroti didelius duomenų kiekius.
Didelis informacijos kiekis labai apsunkina sprendimų paiešką, tačiau leidžia gauti daug tikslesnius skaičiavimus ir analizę. Norėdami išspręsti šią problemą, yra visa klasė Informacinės sistemos atliekant analizę. Tokios sistemos vadinamos sprendimų palaikymo sistemomis (DSS) (DSS, Decision Support System).
Analizei atlikti DSS turi kaupti informaciją, turėdamas jos įvedimo ir saugojimo priemones. Iš viso DSS išspręstos trys pagrindinės užduotys:
· duomenų įvedimas;
· duomenų saugykla;
· duomenų analizė.
Duomenų įvedimas į DSS atliekamas automatiškai iš aplinkos ar proceso būklę apibūdinančių jutiklių arba žmogaus operatoriaus.
Jei duomenys įvedami automatiškai iš jutiklių, duomenys kaupiami parengties signalu, atsirandančiu pasirodžius informacijai, arba cikliškai apklausiant. Jei įvedimą atlieka žmogus, jie turėtų suteikti vartotojams patogias duomenų įvedimo priemones, kurios patikrintų įvesties teisingumą, taip pat atlikti reikiamus skaičiavimus.
Kai duomenis vienu metu įveda keli operatoriai, būtina išspręsti tų pačių duomenų modifikavimo ir lygiagrečios prieigos problemas.
DSS teikia analitikams duomenis ataskaitų, lentelių, grafikų pavidalu studijoms ir analizei, todėl tokios sistemos teikia sprendimų palaikymo funkcijas.
Duomenų įvedimo posistemėse, vadinamose OLTP (On-linetransactionprocessing), realizuojamas operatyvinis duomenų apdorojimas. Jų įgyvendinimui naudojamos įprastos duomenų bazių valdymo sistemos (DBVS).
Analizės posistemis gali būti sukurtas remiantis:
· informacijos paieškos analizės posistemės, pagrįstos reliacine DBVS ir statinėmis užklausomis naudojant SQL kalbą;
· operatyvinės analizės posistemės. Tokioms posistemėms įgyvendinti naudojama internetinio analitinio duomenų apdorojimo technologija OLAP, naudojant daugiamačio duomenų vaizdavimo koncepciją;
· intelektinės analizės posistemės. Ši posistemė įgyvendina DataMining metodus ir algoritmus.
Vartotojo požiūriu OLAP sistemos suteikia galimybę lanksčiai peržiūrėti informaciją įvairiuose skyriuose, automatiškai gauti suvestinius duomenis, atlikti analitines konvoliucijos, detalizavimo, palyginimo laike operacijas. Dėl viso to OLAP sistemos yra sprendimas, turintis didelių pranašumų duomenų rengimo srityje visų tipų verslo ataskaitoms, apimantis duomenų pateikimą įvairiuose skyriuose ir skirtingi lygiai hierarchijos, pvz., pardavimo ataskaitos, įvairių formų biudžetai ir kt. OLAP sistemos turi didelių tokio pateikimo pranašumų kitose duomenų analizės formose, įskaitant prognozavimą.
1.2 Apibrėžimas OLAP-sistemos
Sudėtingos daugiamatės duomenų analizės technologija vadinama OLAP. OLAP yra pagrindinis duomenų saugyklos organizacijos komponentas.
OLAP funkcijos gali būti įdiegtos įvairiais būdais, pavyzdžiui, analizuojant duomenis biuro programos, ir sudėtingesnės – paskirstytos analitinės sistemos, pagrįstos serverių produktais.
OLAP (On-LineAnalyticalProcessing) yra internetinio analitinio duomenų apdorojimo technologija, kurioje naudojami įrankiai ir metodai daugiamačiams duomenims rinkti, saugoti ir analizuoti bei sprendimų priėmimo procesams palaikyti.
Pagrindinė OLAP sistemų paskirtis – palaikyti analitinę veiklą, savavališkus analitikų vartotojų prašymus. OLAP analizės tikslas – patikrinti kylančias hipotezes.
OLAP sistemos naudojimas leidžia automatizuoti strateginį organizacijos valdymo lygį. OLAP (Online Analytical Processing – analitinis duomenų apdorojimas realiuoju laiku) yra galinga duomenų apdorojimo ir tyrimo technologija. OLAP technologijos pagrindu sukurtos sistemos suteikia beveik neribotas galimybes rengti ataskaitas, atlikti sudėtingus analitinius skaičiavimus, sudaryti prognozes ir scenarijus, rengti įvairius plano variantus.
Visavertės OLAP sistemos atsirado 90-ųjų pradžioje dėl sprendimų paramos informacinių sistemų kūrimo. Jie skirti įvairiems, dažnai skirtingiems duomenims paversti Naudinga informacija. OLAP sistemos gali tvarkyti duomenis pagal tam tikrus kriterijus. Tačiau nebūtina, kad kriterijai turėtų aiškias charakteristikas.
OLAP sistemos rado savo pritaikymą daugelyje strateginio organizacijos valdymo klausimų: verslo veiklos valdymo, strateginio planavimo, biudžeto sudarymo, plėtros prognozavimo, finansinės atskaitomybės, darbo analizės, organizacijos išorinės ir vidinės aplinkos modeliavimo, duomenų saugojimo ir ataskaitų teikimo.
OLAP sistemos struktūra
OLAP sistemos veikimas pagrįstas daugiamačių duomenų masyvų apdorojimu. Daugiamačiai masyvai yra išdėstyti taip, kad kiekvienas masyvo elementas turi daug ryšių su kitais elementais. Kad sudarytų daugiamatį masyvą, OLAP sistema turi gauti įvesties duomenis iš kitų sistemų (pvz., ERP ar CRM sistemų) arba per išorinę įvestį. OLAP sistemos vartotojas pagal savo prašymą gauna reikiamus duomenis struktūrizuota forma. Remdamiesi nurodyta procedūra, galite įsivaizduoti OLAP sistemos struktūrą.
Apskritai OLAP sistemos struktūra susideda iš toliau nurodytus elementus:
- duomenų bazė . Duomenų bazė yra OLAP sistemos veikimo informacijos šaltinis. Duomenų bazės tipas priklauso nuo OLAP sistemos tipo ir OLAP serverio algoritmų. Paprastai naudojamos reliacinės duomenų bazės, daugiamatės duomenų bazės, duomenų saugyklos ir kt.
- OLAP serveris. Tai suteikia daugiamatės duomenų struktūros ir duomenų bazės bei OLAP sistemos vartotojų santykių valdymą.
- pasirinktines programas. Šis OLAP sistemos struktūros elementas valdo vartotojų užklausas ir generuoja prieigos prie duomenų bazės rezultatus (ataskaitas, grafikus, lenteles ir kt.)
Priklausomai nuo duomenų tvarkymo, apdorojimo ir saugojimo metodo, OLAP sistemos gali būti įdiegtos vietiniai kompiuteriai vartotojų arba naudojant dedikuotus serverius.
Yra trys pagrindiniai duomenų saugojimo ir apdorojimo būdai:
- lokaliai. Duomenys talpinami vartotojų kompiuteriuose. Duomenų apdorojimas, analizė ir valdymas atliekamas vietinėse darbo vietose. Ši OLAP sistemos struktūra turi didelių trūkumų, susijusių su duomenų apdorojimo sparta, duomenų saugumu ir ribotu daugiamatės analizės naudojimu.
- reliacinės duomenų bazės. Šios duomenų bazės naudojamos, kai OLAP sistema veikia kartu su CRM sistema arba ERP sistema. Duomenys yra saugomi šių sistemų serveryje reliacinių duomenų bazių arba duomenų saugyklų pavidalu. OLAP serveris pasiekia šias duomenų bazes, kad suformuotų reikiamas daugiamates struktūras ir atliktų analizę.
- daugiamatės duomenų bazės. Šiuo atveju duomenys yra organizuojami kaip specialus duomenų sandėlis tam skirtame serveryje. Visos duomenų operacijos atliekamos šiame serveryje, kuris paverčia pirminius duomenis į daugiamates struktūras. Tokios struktūros vadinamos OLAP kubeliais. OLAP kubo formavimo duomenų šaltiniai yra reliacinės duomenų bazės ir (arba) kliento failai. Duomenų serveris atlieka išankstinį duomenų paruošimą ir apdorojimą. OLAP serveris veikia su OLAP kubu be tiesioginės prieigos prie duomenų šaltinių (reliacinių duomenų bazių, kliento failų ir kt.).
OLAP sistemų tipai
Atsižvelgiant į duomenų saugojimo ir apdorojimo būdą, visas OLAP sistemas galima suskirstyti į tris pagrindinius tipus.
1. ROLAP (Relational OLAP – reliacinės OLAP sistemos) – tokio tipo OLAP sistemos veikia su reliacinėmis duomenų bazėmis. Duomenys tiesiogiai pasiekiami reliacinėje duomenų bazėje. Duomenys saugomi reliacinėse lentelėse. Vartotojai turi galimybę atlikti daugiamatę analizę, kaip ir tradicinėse OLAP sistemose. Tai pasiekiama naudojant SQL įrankiai ir specialius pageidavimus.
Vienas iš ROLAP privalumų yra galimybė efektyviau apdoroti didelius duomenų kiekius. Kitas ROLAP privalumas – galimybė efektyviai apdoroti tiek skaitmeninius, tiek tekstinius duomenis.
ROLAP trūkumai yra mažas našumas (palyginti su tradicinėmis OLAP sistemomis), nes duomenų apdorojimą atlieka OLAP serveris. Kitas trūkumas yra funkcionalumo apribojimas dėl SQL naudojimo.
2. MOLAP (Multidimensional OLAP – daugiamatės OLAP sistemos). Šio tipo OLAP sistemos priklauso tradicinėms sistemoms. Skirtumas tarp tradicinės OLAP sistemos ir kitų sistemų slypi išankstiniame duomenų paruošime ir optimizavime. Šios sistemos, kaip taisyklė, naudoja tam skirtą serverį, kuriame iš anksto apdorojami duomenys. Duomenys generuojami daugiamačiai masyvai- OLAP kubeliai.
MOLAP sistemos yra efektyviausios duomenų apdorojime. jie leidžia lengvai pertvarkyti ir struktūrizuoti duomenis pagal skirtingas vartotojų užklausas. MOLAP analizės įrankiai leidžia atlikti sudėtingus skaičiavimus. Kitas MOLAP privalumas yra galimybė greitai generuoti užklausas ir gauti rezultatus. Tai užtikrina preliminarus OLAP kubų formavimas.
MOLAP sistemos trūkumai yra apdorojamų duomenų apimties ribojimas ir duomenų perteklius, nes norint suformuoti daugiamačius kubus, įvairiais aspektais duomenys turi būti dubliuojami.
3. HOLAP (Hybrid OLAP – hibridinės OLAP sistemos). Hibridinės OLAP sistemos yra ROLAP ir MOLAP sistemų derinys. Hibridinės sistemos bandė sujungti dviejų sistemų privalumus: daugiamačių duomenų bazių naudojimą ir reliacinių duomenų bazių valdymą. HOLAP sistemos leidžia saugoti didelį duomenų kiekį reliacinėse lentelėse, o apdoroti duomenys talpinami į iš anksto sukonstruotus daugiamačius OLAP kubus. Tokio tipo sistemos pranašumai yra duomenų mastelio keitimas, greitas duomenų apdorojimas ir lanksti prieiga prie duomenų šaltinių.
Yra ir kitų tipų OLAP sistemų, tačiau jos yra labiau gamintojų rinkodaros žingsnis, o ne nepriklausomas OLAP sistemos tipas.
Šie tipai apima:
- WOLAP (žiniatinklio OLAP). OLAP sistemos vaizdas su palaikymu žiniatinklio sąsaja. Šios OLAP sistemos turi galimybę pasiekti duomenų bazes per žiniatinklio sąsają.
- DOLAP (darbalaukio OLAP). Šio tipo OLAP sistema leidžia vartotojams atsisiųsti duomenų bazę į vietinę darbo vietą ir dirbti su ja vietoje.
- MobileOLAP. Tai OLAP sistemų funkcija, leidžianti dirbti su duomenų baze nuotoliniu būdu naudojant mobiliuosius įrenginius.
- SOLAP (erdvinis OLAP). Šio tipo OLAP sistemos yra skirtos apdoroti erdvinius duomenis. Jis atsirado dėl geografinių informacinių sistemų ir OLAP sistemų integracijos. Šios sistemos leidžia apdoroti duomenis ne tik raidiniu ir skaitmeniniu formatu, bet ir vaizdinių objektų bei vektorių pavidalu.
OLAP sistemos privalumai
OLAP sistemos naudojimas suteikia organizacijai galimybę numatyti ir analizuoti įvairias situacijas, susijusias su dabartine veikla ir plėtros perspektyvomis. Šios sistemos gali būti laikomos papildomomis įmonės lygio automatizavimo sistemoms. Visi OLAP sistemų pranašumai tiesiogiai priklauso nuo šaltinio duomenų tikslumo, patikimumo ir apimties.
Pagrindiniai OLAP sistemos pranašumai yra šie:
- nuoseklumas Papildoma informacija ir analizės rezultatus. Esant OLAP sistemai, visada galima atsekti informacijos šaltinį ir nustatyti loginį ryšį tarp gautų rezultatų ir šaltinio duomenų. Sumažėja analizės rezultatų subjektyvumas.
- atliekant daugiamatę analizę. OLAP sistemos naudojimas leidžia gauti daugybę įvykių raidos scenarijų, pagrįstų pradinių duomenų rinkiniu. Dėl analizės priemonių galima modeliuoti situacijas pagal principą „kas bus, jei“.
- detalių valdymas. Rezultatų pateikimo detalumas gali skirtis priklausomai nuo vartotojų poreikių. Tokiu atveju nereikia atlikti sudėtingų sistemos nustatymų ir kartoti skaičiavimus. Ataskaitoje gali būti tiksliai ta informacija, kuri reikalinga sprendimui priimti.
- atskleisti paslėptas priklausomybes. Kuriant daugiamačius ryšius, tampa įmanoma atpažinti ir identifikuoti paslėptas priklausomybes įvairiuose procesuose ar situacijose, kurios turi įtakos gamybinei veiklai.
- vienos platformos sukūrimas. Naudojant OLAP sistemą, tampa įmanoma sukurti vieną platformą visiems prognozavimo ir analizės procesams įmonėje. Visų pirma, OLAP sistemos duomenys yra pagrindas kuriant biudžeto prognozes, pardavimo prognozes, pirkimo prognozes, strateginius plėtros planus ir kt.
Daugiamatės duomenų analizės samprata glaudžiai susijusi su operacine analize, kuri atliekama OLAP sistemų pagalba.
OLAP (On-Line Analytical Processing) – tai internetinio analitinio duomenų apdorojimo technologija, kuri naudoja metodus ir įrankius daugiamačiams duomenims rinkti, saugoti ir analizuoti, kad būtų palaikomi sprendimų priėmimo procesai.
Pagrindinė OLAP sistemų paskirtis – palaikyti analitinę veiklą, savavališkas (dažnai vartojamas terminas ad-hoc) analitikų vartotojų užklausas. OLAP analizės tikslas – patikrinti kylančias hipotezes.
OLAP technologijos ištakose yra reliacinio požiūrio įkūrėjas E. Coddas. 1993 m. jis paskelbė straipsnį pavadinimu „OLAP analitikams: koks jis turėtų būti“. Šiame dokumente apibrėžiamos pagrindinės internetinio analitinio apdorojimo sąvokos ir nurodoma 12 toliau nurodytų reikalavimų, kuriuos turi atitikti produktai, leidžiantys atlikti internetinį analitinį apdorojimą. Tokmakovas G.P. Duomenų bazė. Duomenų bazės koncepcija, reliacinis duomenų modelis, SQL kalbos. S. 51
12 Codd išdėstytų taisyklių, apibrėžiančių OLAP, yra išvardytos toliau.
1. Daugiamatiškumas – OLAP sistema konceptualiu lygmeniu turi pateikti duomenis daugiamačio modelio forma, kas supaprastina informacijos analizės ir suvokimo procesus.
2. Skaidrumas – OLAP sistema turėtų slėpti nuo vartotojo realų daugiamačio modelio įgyvendinimą, organizavimo metodą, šaltinius, apdorojimo ir saugojimo priemones.
3. Prieinamumas – OLAP sistema turi pateikti vartotojui vieną, nuoseklų ir nuoseklų duomenų modelį, leidžiantį pasiekti duomenis, neatsižvelgiant į tai, kaip ir kur jie saugomi.
4. Nuoseklus ataskaitų kūrimo našumas – OLAP sistemų našumas neturėtų labai sumažėti, nes didėja analizuojamų dimensijų skaičius.
5. Kliento-serverio architektūra – OLAP sistema turi veikti „kliento-serverio“ aplinkoje, nes didžioji dalis duomenų, kuriuos šiandien reikia apdoroti internetu, yra saugomi paskirstyti. Pagrindinė idėja yra ta, kad OLAP įrankio serverio komponentas turėtų būti pakankamai protingas, kad būtų galima sukurti bendrą konceptualią schemą, pagrįstą įvairių loginių ir fizinių įmonių duomenų bazių schemų apibendrinimu ir konsolidavimu, kad būtų užtikrintas skaidrus efektas.
6. Matmenų lygybė – OLAP sistema turi palaikyti daugiamatį modelį, kuriame visi matmenys yra vienodi. Jei būtina papildomos charakteristikos gali būti suteiktas individualiems matmenims, tačiau ši parinktis turi būti suteikta bet kokiam matmeniui.
7. Dinaminis retų matricų valdymas – OLAP sistema turi užtikrinti optimalų retųjų matricų tvarkymą. Prieigos greitis turi būti palaikomas neatsižvelgiant į duomenų langelių vietą ir turi būti pastovi vertė modeliams su skirtingu matmenų skaičiumi ir skirtingu duomenų retumo laipsniu.
8. Kelių vartotojų režimo palaikymas – OLAP sistema turi suteikti galimybę dirbti su keliais vartotojais kartu su vienu analitiniu modeliu arba sukurti jiems skirtingus modelius iš vienų duomenų. Kartu galimas ir duomenų skaitymas, ir rašymas, todėl sistema turi užtikrinti jų vientisumą ir saugumą.
9. Neribotos kryžminės operacijos – OLAP sistema turi užtikrinti, kad funkciniai ryšiai, aprašyti naudojant tam tikrą formalią kalbą tarp hiperkubo langelių, būtų išsaugoti atliekant bet kokias pjūvio, pasukimo, konsolidavimo ar gilinimo operacijas. Sistema turi savarankiškai (automatiškai) atlikti konversiją užmegztų santykių nereikalaujant, kad vartotojas jų nepaisytų.
10. Intuityvus duomenų manipuliavimas – OLAP sistema turi suteikti galimybę atlikti pjaustymo, pasukimo, konsolidavimo ir gręžimo operacijas hiperkube, vartotojui neatliekant daug vartotojo sąsajos darbo. Analitiniame modelyje apibrėžtuose matmenyse turi būti visa reikalinga informacija aukščiau nurodytoms operacijoms atlikti.
11. Lanksčios ataskaitų teikimo parinktys – OLAP sistema turi palaikyti įvairių būdų duomenų vizualizacija, t.y. ataskaitos turėtų būti teikiamos visomis įmanomomis kryptimis. Ataskaitų teikimo įrankiai turėtų pateikti sintezuotus duomenis arba informaciją, gautą iš duomenų modelio, bet kokia galima kryptimi. Tai reiškia, kad eilutės, stulpeliai ar puslapiai tuo pačiu metu turi būti rodomi nuo 0 iki N matmenų, kur N - numeris viso analitinio modelio matavimai. Be to, kiekvienas turinio aspektas, rodomas viename įraše, stulpelyje arba puslapyje, turi leisti bet kokia tvarka rodyti bet kurį aspekte esančių elementų (reikšmių) poaibį.
12. Neribotas matmenų dydis ir agregavimo lygių skaičius – galimo reikalingų matmenų skaičiaus, reikalingo analitiniame modelyje, tyrimas parodė, kad vienu metu galima naudoti iki 19 matmenų. Todėl griežta rekomendacija, kad analitinė priemonė galėtų atlikti bent 15, o pageidautina 20 matavimų vienu metu. Be to, kiekvienas bendras aspektas neturėtų būti apribotas naudotojo analitiko apibrėžtų agregavimo ir konsolidavimo kelių lygių skaičiumi.
Papildomos Codd taisyklės.
Šių reikalavimų rinkinys, kuris buvo de facto OLAP apibrėžimas, gana dažnai sulaukia įvairios kritikos, pavyzdžiui, 1, 2, 3, 6 taisyklės yra reikalavimai, o 10, 11 – neformalizuoti norai. Tokmakovas G.P. Duomenų bazė. Duomenų bazės koncepcija, reliacinis duomenų modelis, SQL kalbos. P. 68 Taigi išvardyti 12 Codd reikalavimų neleidžia tiksliai apibrėžti OLAP. 1995 m. Coddas į sąrašą įtraukė šias šešias taisykles:
13. Paketinis išskyrimas prieš interpretavimą – OLAP sistema turi būti vienodai efektyvi teikdama prieigą prie vidinių ir išorinių duomenų.
14. Visų OLAP analizės modelių palaikymas – OLAP sistema turi palaikyti visus keturis Codd apibrėžtus duomenų analizės modelius: kategoriškus, interpretacinius, spekuliacinius ir stereotipinius.
15. Nenormalizuotų duomenų tvarkymas – OLAP sistema turi būti integruota su denormalizuotų duomenų šaltiniais. Duomenų pakeitimai, atlikti OLAP aplinkoje, neturėtų pakeisti pradinėse išorinėse sistemose saugomų duomenų.
16. OLAP rezultatų išsaugojimas: laikymas atskirai nuo pirminių duomenų -- Skaitymo-rašymo režimu veikianti OLAP sistema, pakeitusi pirminius duomenis, rezultatus turi išsaugoti atskirai. Kitaip tariant, užtikrinamas pirminių duomenų saugumas.
17. Trūkstamų reikšmių pašalinimas – pateikdama duomenis vartotojui, OLAP sistema turi atmesti visas trūkstamas reikšmes. Kitaip tariant, trūkstamos reikšmės turi skirtis nuo nulinių verčių.
18 Trūkstamų reikšmių tvarkymas – OLAP sistema turi ignoruoti visas trūkstamas reikšmes, nepaisant jų šaltinio. Ši funkcija yra susijusi su 17-ąja taisykle.
Be to, Codd sulaužė visas 18 taisyklių į šias keturias grupes, vadindamas jas savybėmis. Šios grupės buvo pavadintos B, S, R ir D.
Pagrindinės funkcijos (B) apima šias taisykles:
Daugiamatis konceptualus duomenų vaizdavimas (1 taisyklė);
Intuityvus duomenų manipuliavimas (10 taisyklė);
Prieinamumas (3 taisyklė);
Partijos ištraukimas prieš interpretavimą (13 taisyklė);
Visų OLAP analizės modelių palaikymas (14 taisyklė);
Architektūra „klientas-serveris“ (5 taisyklė);
Skaidrumas (2 taisyklė);
Kelių žaidėjų palaikymas (8 taisyklė)
Ypatingos savybės (S):
Nenormalizuotų duomenų apdorojimas (15 taisyklė);
OLAP rezultatų išsaugojimas: jų saugojimas atskirai nuo pradinių duomenų (16 taisyklė);
Trūkstamų verčių neįtraukimas (17 taisyklė);
Trūkstamų verčių tvarkymas (18 taisyklė). Ataskaitų teikimo funkcijos (R):
Ataskaitų rengimo lankstumas (11 taisyklė);
Ataskaitos atlikimo standartas (4 taisyklė);
Automatinė fizinio sluoksnio konfigūracija (pakeista pradinė 7 taisyklė).
Matavimo valdiklis (D):
Matavimų universalumas (6 taisyklė);
Neribotas matmenų ir agregavimo lygių skaičius (12 taisyklė);
Neribotos operacijos tarp matmenų (9 taisyklė).