"Veľké dáta"- téma, o ktorej aktívne diskutujú technologické spoločnosti. Niektorí ostali z veľkých dát rozčarovaní, iní ich naopak využívajú na biznis na maximum... . Dúfame, že informácie budú zaujímavé a užitočné.

ČO SÚ BIG DATA?

Kľúčové vlastnosti

Big Data sú v súčasnosti jedným z kľúčových motorov rozvoja informačných technológií. Tento smer, relatívne nový pre ruský biznis, sa rozšíril v západných krajinách. Je to spôsobené tým, že v ére informačných technológií, najmä po rozmachu sociálnych sietí, sa pre každého používateľa internetu začalo hromadiť značné množstvo informácií, z čoho v konečnom dôsledku vzniklo smerovanie Big Data.

Pojem „veľké dáta“ vyvoláva množstvo kontroverzií, mnohí sa domnievajú, že sa ním myslí len množstvo nahromadených informácií, no netreba zabúdať ani na technickú stránku, do tejto oblasti patria úložné technológie, výpočtová technika a služby.

Je potrebné si uvedomiť, že táto oblasť zahŕňa spracovanie veľkého množstva informácií, ktoré je náročné spracovať tradičnými metódami*.

Nižšie je uvedená porovnávacia tabuľka tradičnej a veľkej databázy.

Oblasť Big Data sa vyznačuje nasledujúcimi vlastnosťami:
Objem - objem, nahromadená databáza je veľké množstvo informácií, ktoré je náročné na spracovanie a ukladanie tradičnými spôsobmi, ktoré vyžadujú nový prístup a pokročilé nástroje.
Rýchlosť - rýchlosť, tento znak označuje zvyšujúcu sa rýchlosť akumulácie údajov (90% informácií bolo zozbieraných za posledné 2 roky) a rýchlosť spracovania údajov; v poslednom čase sú technológie spracovania údajov v reálnom čase čoraz žiadanejšie.
Rozmanitosť – odroda, t.j. možnosť súčasného spracovania štruktúrovaných a neštruktúrovaných informácií rôznych formátov. Hlavný rozdiel medzi štruktúrovanými informáciami je v tom, že ich možno klasifikovať. Príkladom takýchto informácií sú informácie o klientskych transakciách.
Neštruktúrované informácie zahŕňajú video, zvukové súbory, voľný text, informácie pochádzajúce zo sociálnych sietí. K dnešnému dňu je 80% informácií zaradených do skupiny neštruktúrovaných. Táto informácia potrebuje komplexnú analýzu, aby bola užitočná pre ďalšie spracovanie.
Pravdivosť – Spoľahlivosť údajov, používatelia začali prikladať dôležitosť spoľahlivosti dostupných údajov. Internetové spoločnosti tak majú problém oddeliť činnosti vykonávané robotom a osobou na webovej stránke spoločnosti, čo v konečnom dôsledku vedie k ťažkostiam pri analýze údajov.
hodnotu - hodnota nahromadených informácií. Big Data by mali byť pre spoločnosť užitočné a mali by jej priniesť určitú hodnotu. Napríklad pomoc pri zlepšovaní obchodných procesov, reportingu alebo optimalizácii nákladov.

Ak je splnených vyššie uvedených 5 podmienok, akumulované objemy údajov možno klasifikovať ako veľké.

Aplikácie veľkých dát

Rozsah Big Data technológií je rozsiahly. S pomocou Big Data sa teda môžete dozvedieť o preferenciách zákazníkov, efektívnosti marketingových kampaní alebo vykonať analýzu rizík. Nižšie sú uvedené výsledky prieskumu IBM Institute o smeroch používania veľkých dát v spoločnostiach.

Ako je zrejmé z diagramu, väčšina spoločností využíva Big Data v oblasti služieb zákazníkom, druhým najpopulárnejším smerom je prevádzková efektivita, v oblasti riadenia rizík sú Big Data v súčasnosti menej bežné.

Treba si tiež uvedomiť, že Big Data sú jednou z najrýchlejšie rastúcich oblastí informačných technológií, podľa štatistík sa celkové množstvo prijatých a uložených dát zdvojnásobí každých 1,2 roka.
V rokoch 2012 až 2014 množstvo prenesených dát mesačne mobilné siete, vzrástol o 81 %. Cisco odhaduje, že v roku 2014 objem mobilná návštevnosť predstavovalo 2,5 exabajtov (merná jednotka množstva informácií rovnajúcich sa 10 ^ 18 štandardným bajtom) za mesiac a už v roku 2019 to bude 24,3 exabajtov.
Big Data sú teda už aj napriek relatívne mladému veku etablovanou technologickou oblasťou, ktorá sa rozšírila v mnohých oblastiach podnikania a zohráva dôležitú úlohu pri rozvoji firiem.

Big Data Technologies

Technológie používané na zber a spracovanie veľkých dát možno rozdeliť do 3 skupín:

• Softvér;
• Vybavenie;
• servis.

Medzi najbežnejšie prístupy spracovania údajov (PD) patria:
SQL - štruktúrovaný dotazovací jazyk, ktorý umožňuje prácu s databázami. Pomocou SQL môžete vytvárať a upravovať údaje a dátové pole je riadené príslušným systémom správy databáz.
NoSQL - pojem znamená nielen SQL (nielen SQL). Zahŕňa množstvo prístupov zameraných na implementáciu databázy, ktoré sa líšia od modelov používaných v tradičných, relačných DBMS. Sú vhodné na použitie s neustále sa meniacou dátovou štruktúrou. Napríklad na zhromažďovanie a uchovávanie informácií v sociálnych sieťach.
MapReduce – výpočtový distribučný model. Používa sa na paralelné výpočty veľké sady dáta (petabajty* alebo viac). V programovacom rozhraní sa dáta neprenášajú do programu na spracovanie, ale program sa prenáša do dát. Dotaz je preto samostatný program. Princíp činnosti spočíva v postupnom spracovaní údajov pomocou dvoch metód Map a Reduce. Mapa vyberá predbežné údaje, Reduce ich agreguje.
Hadoop - používa sa na implementáciu vyhľadávacích a kontextových mechanizmov pre vysoko zaťažené stránky - Facebook, eBay, Amazon atď. Výrazná vlastnosť je, že systém je chránený pred zlyhaním ktoréhokoľvek z uzlov klastra, pretože každý blok má aspoň jednu kópiu údajov na druhom uzle.
SAP HANA je vysokovýkonná platforma NewSQL na ukladanie a spracovanie údajov. Poskytuje vysoká rýchlosť spracovanie žiadosti. Ďalším rozdielom je, že SAP HANA zjednodušuje systémové prostredie znížením nákladov na podporu analytických systémov.

Technologické vybavenie zahŕňa:

• servery;
• infraštruktúrne vybavenie.

Servery obsahujú dátové úložiská.
Vybavenie infraštruktúry zahŕňa nástroje na zrýchlenie platformy, zdroje neprerušiteľný zdroj napájania, sady serverových konzol atď.

servis.
Služby zahŕňajú architektúru databázového systému, vývoj a optimalizáciu infraštruktúry a bezpečnosť ukladania dát.

Softvér, hardvér a služby sa spájajú a vytvárajú komplexné platformy na ukladanie a analýzu údajov. Spoločnosti ako Microsoft, HP, EMC ponúkajú služby pre vývoj, nasadenie a správu Big Data riešení.

Aplikácia v priemysle

Big Data sa rozšírili v mnohých obchodných sektoroch. Používajú sa v zdravotníctve, telekomunikáciách, obchode, logistike, finančných spoločnostiach, ale aj vo verejnej správe.
Nižšie je uvedených niekoľko príkladov aplikácií veľkých dát v niektorých odvetviach.

Maloobchod
Databázy maloobchodných predajní môžu akumulovať množstvo informácií o zákazníkoch, systéme riadenia zásob, ponuke obchodovateľných produktov. Tieto informácie môžu byť užitočné vo všetkých oblastiach činnosti obchodu.

Takže pomocou nahromadených informácií môžete riadiť dodávku tovaru, jeho skladovanie a predaj. Na základe nahromadených informácií je možné predpovedať dopyt a ponuku tovarov. Systém spracovania a analýzy dát dokáže vyriešiť aj iné problémy obchodníka, napríklad optimalizovať náklady alebo pripraviť reporty.

Finančné služby
Big Data umožňujú analyzovať úverovú bonitu dlžníka a sú tiež užitočné pre úverové hodnotenie* a upisovanie**. Zavedenie Big Data technológií skráti čas na posúdenie žiadostí o úver. Pomocou Big Data je možné analyzovať operácie konkrétneho klienta a ponúkať bankové služby, ktoré sú pre neho vhodné.

Telecom
V telekomunikačnom priemysle Big Data vo veľkej miere využívajú mobilní operátori.
Operátori celulárna komunikácia spolu s finančnými inštitúciami majú jednu z najväčších databáz, ktorá im umožňuje vykonávať najhlbšiu analýzu nahromadených informácií.
Hlavným cieľom analýzy dát je udržať si existujúcich zákazníkov a prilákať nových. Na tento účel spoločnosti segmentujú zákazníkov, analyzujú ich návštevnosť a určujú sociálnu príslušnosť predplatiteľa.

Okrem používania veľkých dát na marketingové účely sa technológia používa na predchádzanie podvodným finančným transakciám.

Ťažobný a ropný priemysel
Big Data sa využívajú ako pri ťažbe nerastov, tak aj pri ich spracovaní a marketingu. Na základe získaných informácií môžu podniky vyvodiť závery o efektívnosti rozvoja v teréne, sledovať harmonogram generálnych opráv a stav zariadení a predpovedať dopyt po produktoch a cenách.

Podľa prieskumu Tech Pro Research sú Big Data najrozšírenejšie v telekomunikačnom priemysle, ako aj v strojárstve, IT, finančných a vládnych podnikoch. Podľa výsledkov tohto prieskumu sú Big Data menej populárne v školstve a zdravotníctve. Výsledky prieskumu sú uvedené nižšie:

Príklady využitia veľkých dát vo firmách

Big Data sa dnes aktívne implementujú v zahraničných spoločnostiach. Spoločnosti ako Nasdaq, Facebook, Google, IBM, VISA, Master Card, Bank of America, HSBC, AT&T, Coca Cola, Starbucks a Netflix už využívajú zdroje Big Data.

Oblasti použitia spracovávaných informácií sú rôznorodé a líšia sa v závislosti od odvetvia a úloh, ktoré sa majú vykonávať.
Ďalej budú uvedené príklady aplikácie Big Data technológií v praxi.

HSBC využíva technológie Big Data na boj proti podvodným transakciám s plastovými kartami. Pomocou Big Data spoločnosť zvýšila efektivitu bezpečnostnej služby 3-krát a rozpoznanie podvodných incidentov 10-krát. Ekonomický efekt zo zavedenia týchto technológií presiahol 10 miliónov amerických dolárov.

Boj proti podvodom* VISA povoľuje dnu automatický režim vypočítať transakcie podvodného charakteru, systém zapnutý tento moment pomáha predchádzať podvodným platbám v hodnote 2 miliárd USD ročne.

Superpočítač spoločnosti Watson IBM analyzuje v reálnom čase tok údajov o peňažných transakciách. Podľa IBM Watson zvýšil počet identifikovaných podvodných transakcií o 15 %, znížil počet falošných poplachov o 50 % a zvýšil objem prostriedkov chránených pred transakciami tohto charakteru o 60 %.

Procter & Gamble s pomocou Big Data navrhujú nové produkty a vytvárajú globálne marketingové kampane. Spoločnosť P&G vytvorila špecializované kancelárie Business Spheres, kde si môžete prezerať informácie v reálnom čase.
Vedenie spoločnosti tak má možnosť okamžite testovať hypotézy a robiť experimenty. P&G verí, že Big Data pomáhajú pri predpovedaní výkonnosti spoločnosti.

Predajca kancelárskych potrieb officemax pomocou Big Data technológií analyzujú správanie zákazníkov. Analýza veľkých dát umožnila zvýšiť príjmy B2B o 13 %, znížiť náklady o 400 000 USD ročne.

Podľa Caterpillar , jej distribútori prichádzajú o 9 až 18 miliárd dolárov ročne na príjmoch len preto, že neimplementujú technológiu Big Data. Big Data by zákazníkom umožnili efektívnejšie spravovať svoj vozový park pomocou analýzy informácií zo senzorov nainštalovaných na strojoch.

Dnes je už možné analyzovať stav kľúčové uzly, ich stupeň opotrebenia, riadiť náklady na palivo a údržbu.

Skupina Luxottica je výrobcom športových okuliarov so značkami ako Ray-Ban, Persol a Oakley. Spoločnosť využíva technológie Big Data na analýzu správania potenciálnych klientov a „inteligentný“ SMS marketing. V dôsledku toho skupina Big Data Luxottica identifikovala viac ako 100 miliónov najhodnotnejších zákazníkov a zvýšila efektivitu marketingovej kampane o 10 %.

S pomocou Yandex Data Factory, vývojárov hier Svet tankov analyzovať správanie hráčov. Big Data technológie umožnili analyzovať správanie 100 tisíc hráčov World of Tanks pomocou viac ako 100 parametrov (informácie o nákupoch, hrách, skúsenostiach atď.). Ako výsledok analýzy bola získaná predpoveď odchodu používateľov. Tieto informácie umožňujú znížiť starostlivosť o používateľov a cielene pracovať s účastníkmi hry. Vyvinutý model sa ukázal byť o 20-30% efektívnejší ako štandardné analytické nástroje herného priemyslu.

nemecké ministerstvo práce využíva Big Data na analýzu prichádzajúcich žiadostí o podporu v nezamestnanosti. Po analýze informácií sa teda ukázalo, že 20 % dávok bolo vyplatených nezaslúžene. Ministerstvo práce s pomocou Big Data znížilo náklady o 10 miliárd eur.

Detská nemocnica v Toronte realizovala projekt Project Artemis. Ide o informačný systém, ktorý zhromažďuje a analyzuje údaje o bábätkách v reálnom čase. Systém každú sekundu sleduje 1 260 indikátorov stavu každého dieťaťa. Projekt Artemis vám umožňuje predpovedať nestabilný stav dieťaťa a začať s prevenciou chorôb u detí.

PREHĽAD GLOBÁLNEHO BIG DÁTOVÉHO TRHU

Súčasný stav na svetovom trhu

V roku 2014 sa Big Data podľa Data Collective stali jednou z prioritných oblastí pre investície do rizikového priemyslu. Podľa údajov informačný portál Computerra, je to spôsobené tým, že vývoj z tohto smeru začal svojim používateľom prinášať výrazné výsledky. Za posledný rok vzrástol počet spoločností s realizovanými projektmi v oblasti správy veľkých dát o 125 %, objem trhu vzrástol oproti roku 2013 o 45 %.

Väčšinu príjmov z trhu s veľkými dátami podľa Wikibonu v roku 2014 tvorili služby, ich podiel sa rovnal 40 % z celkových príjmov (pozri graf nižšie):

Ak vezmeme do úvahy veľké dáta za rok 2014 podľa podtypov, potom bude trh vyzerať takto:

Podľa Wikibon tvorili aplikácie a analytika 36 % príjmov z veľkých dát v roku 2014 z aplikácií a analytiky veľkých dát, 17 % z výpočtového hardvéru a 15 % z úložných technológií. Najmenej zo všetkých príjmov tvorili technológie NoSQL, vybavenie infraštruktúry a poskytovanie siete firiem (firemné siete).

Najpopulárnejšie Big Data technológie sú in-memory platformy SAP, HANA, Oracle atď. Výsledky prieskumu T-Systems ukázali, že si ich vybralo 30 % opýtaných spoločností. Druhé najpopulárnejšie boli platformy NoSQL (18 % používateľov), firmy využívali aj analytické platformy od Splunk a Dell, zvolilo si ich 15 % firiem. Najmenej užitočné na riešenie problémov s Big Data boli podľa výsledkov prieskumu produkty Hadoop/MapReduce.

Podľa prieskumu Accenture sa vo viac ako 50 % spoločností využívajúcich technológie Big Data pohybujú náklady na Big Data od 21 % do 30 %.
Podľa nasledujúcej analýzy Accenture sa 76 % spoločností domnieva, že tieto náklady sa v roku 2015 zvýšia a 24 % spoločností nezmení svoj rozpočet na technológie Big Data. To naznačuje, že v týchto spoločnostiach sa už Big Data stali etablovanou oblasťou IT, ktorá sa stala neoddeliteľnou súčasťou rozvoja spoločnosti.

Výsledky prieskumu Economist Intelligence Unit potvrdzujú pozitívny vplyv implementácie Big Data. 46 % spoločností tvrdí, že zlepšili služby zákazníkom o viac ako 10 % pomocou technológií Big Data, 33 % spoločností optimalizovalo zásoby a zlepšilo produktivitu kľúčových aktív, 32 % spoločností zlepšilo procesy plánovania.

Veľké dáta v rozdielne krajiny mier

K dnešnému dňu sú technológie Big Data najčastejšie implementované v amerických spoločnostiach, no teraz začali prejavovať záujem aj iné krajiny sveta. V roku 2014 podľa IDC krajiny Európy, Blízkeho východu, Ázie (okrem Japonska) a Afriky tvorili 45 % trhu so softvérom, službami a zariadeniami pre veľké dáta.

Aj podľa prieskumu CIO spoločnosti z krajín ázijsko-pacifického regiónu rýchlo ovládajú nové riešenia v oblasti analýzy veľkých dát, bezpečných úložísk a cloudových technológií. Latinská Amerika je na druhom mieste v počte investícií do rozvoja Big Data technológií, pred Európou a USA.
Ďalej bude predstavený popis a prognózy vývoja trhu s veľkými dátami vo viacerých krajinách.

Čína
Množstvo informácií v Číne je 909 exabajtov, čo sa rovná 10 % z celkového množstva informácií vo svete, do roku 2020 dosiahne množstvo informácií 8060 exabajtov a zvýši sa aj podiel informácií v celosvetových štatistikách, v r. 5 rokov to bude rovných 18 %. Potenciálny rast čínskych veľkých dát má jednu z najrýchlejšie rastúcich dynamik.

Brazília
Do konca roka 2014 Brazília nazhromaždila 212 exabajtov informácií, čo predstavuje 3 % celosvetového objemu. Do roku 2020 narastie objem informácií na 1600 exabajtov, čo bude 4 % svetových informácií.

India
Podľa EMC je množstvo nazhromaždených dát v Indii v roku 2014 326 exabajtov, čo je 5 % z celkového množstva informácií. Do roku 2020 narastie objem informácií na 2800 exabajtov, čo bude 6 % svetových informácií.

Japonsko
Množstvo nazhromaždených dát v Japonsku na konci roka 2014 je 495 exabajtov, čo je 8 % z celkového množstva informácií. Do roku 2020 narastie objem informácií na 2200 exabajtov, no podiel Japonska na trhu sa zníži a bude predstavovať 5% z celkového množstva informácií na celom svete.
Objem japonského trhu sa tak zníži o viac ako 30 %.

Nemecko
Podľa EMC je množstvo nahromadených dát v Nemecku v roku 2014 230 exabajtov, čo sú 4 % z celkového množstva informácií vo svete. Do roku 2020 sa objem informácií zvýši na 1100 exabajtov a bude predstavovať 2 %.
Na nemeckom trhu bude podľa predpovedí Experton Group generovať veľký podiel na výnosoch segment služieb, ktorého podiel v roku 2015 bude 54 % a v roku 2019 vzrastie na 59 %. softvér a vybavenie sa naopak zníži.

Vo všeobecnosti sa veľkosť trhu zvýši z 1,345 miliardy eur v roku 2015 na 3,198 miliardy eur v roku 2019 s priemernou mierou rastu 24 %.
Na základe analýzy CIO a EMC teda môžeme konštatovať, že rozvojové krajiny sveta sa v najbližších rokoch stanú trhmi pre aktívny rozvoj Big Data technológií.

Hlavné trendy na trhu

Podľa IDG Enterprise minú v roku 2015 Big Data spoločnosti v priemere 7,4 milióna USD na spoločnosť, veľké spoločnosti plánujú minúť približne 13,8 milióna USD a malé a stredné spoločnosti minú 1,6 milióna USD.
Väčšina investícií bude smerovať do oblastí, akými sú analýza údajov, vizualizácia a zber údajov.
Podľa aktuálnych trendov a dopytu na trhu budú investície v roku 2015 použité na zlepšenie kvality údajov, zlepšenie plánovania a prognózovania a zvýšenie rýchlosti spracovania údajov.
Spoločnosti vo finančnom sektore podľa Bain Company's Insights Analysis uskutočnia značné investície, takže v roku 2015 sa plánuje minúť 6,4 miliardy amerických dolárov na technológie Big Data, priemerná miera rastu investícií bude do roku 2020 22 %. Internetové spoločnosti plánujú minúť 2,8 miliardy dolárov, pričom priemerná miera rastu výdavkov na veľké dáta sa zvýši o 26 %.
Počas prieskumu Economist Intelligence Unit boli identifikované prioritné oblasti pre rozvoj veľkých dát v roku 2014 a v nasledujúcich 3 rokoch, rozdelenie odpovedí je nasledovné:

Podľa predpovedí IDC sú trendy na trhu nasledovné:

• V priebehu nasledujúcich 5 rokov budú náklady na cloudové riešenia Big Data rásť 3-krát rýchlejšie ako náklady na lokálne riešenia. Populárne sa stanú hybridné úložné platformy.
• Rast aplikácií využívajúcich sofistikovanú a prediktívnu analytiku vrátane strojového učenia sa v roku 2015 zrýchli, trh s takýmito aplikáciami porastie o 65 % rýchlejšie ako aplikácie, ktoré nepoužívajú prediktívnu analýzu.
• Mediálna analytika sa v roku 2015 strojnásobí a stane sa kľúčovou hnacou silou rastu na trhu s veľkými dátami.
• Zrýchli sa trend implementácie riešení na analýzu neustáleho toku informácií použiteľných na internete vecí.
• Do roku 2018 bude 50 % používateľov interagovať so službami založenými na kognitívnych počítačoch.

Trhové ovládače a obmedzovače

Odborníci IDC identifikovali 3 hybné sily trhu s veľkými dátami v roku 2015:

Podľa prieskumu Accenture sú teraz problémy bezpečnosti dát hlavnou prekážkou pre prijatie Big Data technológií, viac ako 51 % respondentov potvrdilo, že majú obavy z ochrany dát a súkromia. 47 % spoločností uviedlo, že implementácia veľkých dát kvôli obmedzenému rozpočtu nie je možná, 41 % spoločností označilo za problém nedostatok kvalifikovaného personálu.

Wikibon predpovedá, že trh s veľkými dátami vzrastie v roku 2015 na 38,4 miliardy dolárov, čo je medziročný nárast o 36 %. V nasledujúcich rokoch dôjde k poklesu miery rastu na 10 % v roku 2017. Ak vezmeme do úvahy tieto prognózy, veľkosť trhu v roku 2020 bude 68,7 miliardy amerických dolárov.

Rozdelenie globálneho trhu s veľkými dátami podľa obchodnej kategórie bude vyzerať takto:

Ako je z diagramu zrejmé, väčšinu trhu zaberú technológie z oblasti zlepšovania služieb zákazníkom. Spotový marketing bude prioritou číslo dva pre spoločnosti do roku 2019, v roku 2020 podľa prognózy Heavy Reading ustúpi riešeniam na zlepšenie prevádzkovej efektivity.
Segment „zlepšenie zákazníckych služieb“ bude mať tiež najvyššie tempo rastu, s nárastom o 49 % ročne.
Trhová predpoveď pre podtypy veľkých dát bude vyzerať takto:

Dominantný podiel na trhu, ako je zrejmé z grafu, zaujímajú profesionálne služby, najvyššie tempo rastu budú mať aplikácie s analytikou, ich podiel vzrastie zo súčasných 12 % na 18 % v roku 2020 a objem tento segment bude rovných 12,3 miliardy amerických dolárov, podiel výpočtovej techniky naopak klesne z 20 % na 14 % a v roku 2020 bude asi 9,3 miliardy amerických dolárov, trh cloudových technológií sa bude postupne zvyšovať a v roku 2020 bude dosiahnuť 6, 3 miliardy amerických dolárov, podiel na trhu riešení pre ukladanie dát naopak klesne z 15 % v roku 2014 na 13 % v roku 2020 a v prepočte na peniaze sa bude rovnať 8,9 miliardám amerických dolárov.
Podľa prognózy Bain & Company Insights Analysis bude rozdelenie trhu s veľkými údajmi podľa odvetví v roku 2020 vyzerať takto:

• Finančný priemysel minie 6,4 miliardy dolárov na veľké dáta s priemernou mierou rastu 22 % ročne;
• Internetové spoločnosti minú 2,8 miliardy USD a priemernú mieru rastu nákladov 26 % počas nasledujúcich 5 rokov;
• Náklady verejného sektora budú úmerné nákladom internetových spoločností, ale tempo rastu bude nižšie – 22 %;
• Sektor telekomunikácií porastie priemerným tempom rastu 40 % a v roku 2020 dosiahne 1,2 miliardy USD;

Energetické spoločnosti budú do týchto technológií investovať relatívne malú sumu – 800 miliónov amerických dolárov, ale tempo rastu bude jedno z najvyšších – 54 % ročne.
Spoločnosti vo finančnom priemysle tak v roku 2020 zaujmú veľký podiel na trhu s veľkými dátami a energetika bude najrýchlejšie rastúcim sektorom.
Podľa predpovedí analytikov sa celkový objem trhu v nasledujúcich rokoch zvýši. Rast trhu zabezpečí zavádzanie Big Data technológií v rozvojových krajinách sveta, ako vidno z grafu nižšie.

Predpovedaná veľkosť trhu bude závisieť od toho, ako budú rozvojové krajiny vnímať technológie Big Data, či budú také populárne ako vo vyspelých krajinách. V roku 2014 tvorili rozvojové krajiny sveta 40 % nahromadených informácií. Podľa prognózy EMC sa už v roku 2017 zmení súčasná štruktúra trhu, kde dominujú vyspelé krajiny. Podľa analytikov EMC bude v roku 2020 podiel rozvojových krajín viac ako 60 %.
Podľa Cisco a EMC budú rozvojové krajiny sveta aktívne pracovať s Big Data, v mnohých ohľadoch to bude spôsobené dostupnosťou technológií a nahromadením dostatočného množstva informácií až na úroveň Big Data. Mapa sveta na ďalšej stránke zobrazuje prognózu rastu a mieru rastu veľkých dát podľa regiónu.

ANALÝZA RUSKÉHO TRHU

Aktuálny stav ruský trh

Podľa výsledkov štúdie CNews Analytics a Oracle je úroveň vyspelosti ruského trhu s veľkými dátami pre Minulý rok ruža. Viac prejavili respondenti zastupujúci 108 veľkých podnikov z rôznych odvetví vysoký stupeň povedomie o týchto technológiách, ako aj existujúce chápanie potenciálu takýchto riešení pre ich podnikanie.
K roku 2014 podľa IDC Rusko nazhromaždilo 155 exabajtov informácií, čo je len 1,8 % svetových údajov. Objem informácií do roku 2020 dosiahne 980 exabajtov a bude zaberať 2,2 %. Priemerná miera rastu objemu informácií tak bude 36 % ročne.
IDC odhaduje ruský trh na 340 miliónov dolárov, z čoho 100 miliónov dolárov tvoria riešenia SAP, približne 240 miliónov dolárov sú podobné riešenia od Oracle, IBM, SAS, Microsoft atď.
Tempo rastu ruského trhu s veľkými dátami je minimálne 50 % ročne.
Predpokladá sa, že pozitívna dynamika v tomto sektore ruského IT trhu bude pokračovať aj v kontexte všeobecnej stagnácie ekonomiky. Dôvodom je skutočnosť, že podniky naďalej požadujú riešenia, ktoré môžu zlepšiť efektivitu práce, ako aj optimalizovať náklady, zlepšiť presnosť prognóz a minimalizovať možné riziká spoločnosti.
Hlavnými poskytovateľmi služieb v oblasti veľkých dát na ruskom trhu sú:

• Oracle
• Microsoft
• cloudera
• Hortonworks
• Teradata.

Prehľad trhu podľa odvetví a skúsenosti s používaním Big Data vo firmách

Podľa CNews len 10 % spoločností v Rusku začalo využívať technológie Big Data, pričom podiel takýchto spoločností vo svete je asi 30 %. Pripravenosť na projekty veľkých dát rastie v mnohých sektoroch ruskej ekonomiky, podľa správy CNews Analytics a Oracle. Viac ako tretina opýtaných spoločností (37 %) začala spolupracovať Veľké technológie Dáta, z ktorých 20 % už takéto riešenia používa a 17 % s nimi začína experimentovať. Druhá tretina respondentov v tento moment zvažujú takúto možnosť.

V Rusku sú Big Data technológie populárnejšie v bankovom sektore a telekomunikáciách, ale sú žiadané aj v ťažobnom priemysle, energetike, maloobchode, logistických spoločnostiach a verejnom sektore.
Ďalej sa zvážia príklady použitia veľkých dát v ruskej realite.

Telecom
Telekomunikační operátori majú jednu z najväčších databáz, ktorá im umožňuje vykonávať najhlbšiu analýzu nahromadených informácií.
Jednou z oblastí použitia technológie Big Data je správa vernosti predplatiteľov.
Hlavným cieľom analýzy dát je udržať si existujúcich zákazníkov a prilákať nových. Na tento účel spoločnosti segmentujú zákazníkov, analyzujú ich návštevnosť a určujú sociálnu príslušnosť predplatiteľa. Okrem používania informácií na marketingové účely využíva telecom technológiu na predchádzanie podvodným finančným transakciám.
Vimpelcom je jedným z najjasnejších príkladov tohto odvetvia. Spoločnosť využíva Big Data na zlepšenie kvality služieb na úrovni každého predplatiteľa, reporting, analýzu údajov pre rozvoj siete, boj proti spamu a personalizáciu služieb.

banky
Významnú časť používateľov Big Data tvoria špecialisti z finančného priemyslu. Jeden z úspešných experimentov sa uskutočnil v Uralskej banke pre obnovu a rozvoj, kde informačnú základňu začali využívať na analýzu zákazníkov, banka začala ponúkať špecializované ponuky úverov, vkladov a iných služieb. Za rok používania týchto technológií vzrástlo portfólio retailových úverov spoločnosti o 55 %.
Alfa-Bank analyzuje informácie zo sociálnych sietí, spracováva žiadosti o úver, analyzuje správanie používateľov webovej stránky spoločnosti.
Sberbank tiež začala spracovávať dátové pole na segmentovanie zákazníkov, predchádzanie podvodom, krížový predaj a riadenie rizík. V budúcnosti sa plánuje skvalitnenie služieb a analýza akcií zákazníkov v reálnom čase.
Celoruská banka regionálneho rozvoja analyzuje správanie držiteľov plastových kariet. To umožňuje identifikovať transakcie, ktoré sú pre konkrétneho klienta atypické, čím sa zvyšuje pravdepodobnosť odhalenia krádeže finančných prostriedkov z plastových kariet.

Maloobchod
V Rusku boli technológie Big Data implementované online aj offline obchodnými spoločnosťami. Podľa CNews Analytics dnes Big Data používa 20 % maloobchodníkov. 75 % profesionálov v oblasti maloobchodu považuje Big Data za nevyhnutné na vytvorenie konkurenčnej stratégie na propagáciu spoločnosti. Podľa štatistík Hadoopu po zavedení technológie Big Data rastie zisk v obchodných organizáciách o 7-10%.
Špecialisti M.Video hovoria o zlepšení plánovania logistiky po implementácii SAP HANA, taktiež sa v dôsledku jeho implementácie skrátila príprava výročných správ z 10 dní na 3, rýchlosť denného načítania dát sa znížila z 3 hodiny až 30 minút.
Wikimart používa tieto technológie na generovanie odporúčaní pre návštevníkov stránok.
Jedným z prvých offline obchodov, ktoré zaviedli analýzu veľkých dát v Rusku, bola Lenta. S pomocou Big Data začal maloobchod študovať informácie o zákazníkoch z pokladničných dokladov. Maloobchodník zhromažďuje informácie na vytvorenie modelov správania, ktoré umožňujú informovanejšie rozhodovanie na prevádzkovej a obchodnej úrovni.

Ropný a plynárenský priemysel
V tomto odvetví je rozsah veľkých dát dosť široký. Big Data technológie môžu byť použité pri ťažbe nerastov z čriev. S ich pomocou môžete analyzovať samotný proces ťažby a najviac efektívnymi spôsobmi jeho ťažba, sledovanie procesu vŕtania, analýza kvality surovín a spracovanie a predaj konečného produktu. V Rusku už tieto technológie využívajú Transnefť a Rosnefť.

štátne orgány
V krajinách ako Nemecko, Austrália, Španielsko, Japonsko, Brazília a Pakistan sa na riešenie národných problémov využívajú technológie Big Data. Tieto technológie pomáhajú orgánom verejnej moci efektívnejšie poskytovať služby obyvateľstvu, poskytovať cielenú sociálnu podporu.
V Rusku tieto technológie začali ovládať také vládne agentúry ako napr Dôchodkový fond, Federálna daňová služba a Fond povinného zdravotného poistenia. Potenciál implementácie projektov s využitím Big Data je veľký, tieto technológie by mohli pomôcť zlepšiť kvalitu služieb, a tým aj životnú úroveň obyvateľstva.

Logistika a doprava
Big Data môžu využívať aj dopravné spoločnosti. Pomocou technológií Big Data je možné sledovať vozový park, zohľadňovať náklady na pohonné hmoty a sledovať požiadavky zákazníkov.
Ruské železnice implementovali technológie Big Data spolu so SAP. Tieto technológie pomohli skrátiť čas vykazovania 43,5-krát (zo 14,5 hodiny na 20 minút) a 40-krát zlepšiť presnosť alokácie nákladov. Big Data boli tiež zavedené do procesov plánovania a regulácie taríf. Celkovo spoločnosti využívajú viac ako 300 systémov založených na riešeniach SAP, zapojené sú 4 dátové centrá a počet používateľov je 220 000.

Hlavné hnacie sily a obmedzenia trhu

Hnacie sily rozvoja technológií veľkých dát na ruskom trhu sú:

• Zvýšený záujem používateľov o možnosti Big Data ako spôsob zvýšenia konkurencieschopnosti spoločnosti;
• Vývoj metód spracovania mediálnych súborov na globálnej úrovni;
• Prenos spracovania serverov osobné informácie na územie Ruska, v súlade s prijatým zákonom o uchovávaní a spracúvaní osobných údajov;
• Implementácia priemyselného plánu na nahradenie importu softvéru. Tento plán zahŕňa vládnu podporu domáci výrobcovia softvér, ako aj poskytovanie preferencií pre domáce IT produkty pri nákupe na verejné náklady.
• V novej ekonomickej situácii, keď sa dolár takmer zdvojnásobil, bude trend smerom k zvýšenému využívaniu služieb ruských poskytovateľov cloudové služby než zahraničné.
• Vytváranie technologických parkov, ktoré prispievajú k rozvoju trhu informačných technológií vrátane trhu s veľkými dátami;
• Štátny program zavádzania gridových systémov, ktoré sú založené na Big Data technológiách.

Hlavné prekážky rozvoja veľkých dát na ruskom trhu sú:

• Zabezpečenie bezpečnosti a dôvernosti údajov;
• Nedostatok kvalifikovaného personálu;
• Nedostatok akumulovaných informačných zdrojov až na úroveň Big Data vo väčšine Ruské spoločnosti;
• Ťažkosti pri zavádzaní nových technológií do zavedených technológií Informačné systémy spoločnosti;
• Vysoké náklady na technológie veľkých dát, čo vedie k obmedzenému počtu podnikov, ktoré majú možnosť implementovať tieto technológie;
• Politická a ekonomická neistota vedúca k úniku kapitálu a zmrazeniu investičných projektov na ruskom území;
• Rast cien dovážaných produktov a prudký nárast inflácie podľa IDC bránia rozvoju celého IT trhu.

Prognóza ruského trhu

Od dnešného dňa nie je ruský trh s veľkými dátami taký populárny ako vo vyspelých krajinách. Väčšina ruských firiem o to prejavuje záujem, no netrúfajú si využiť ich príležitosti.
Príklady veľkých spoločností, ktoré už profitovali z využívania Big Data technológií, zvyšujú povedomie o možnostiach týchto technológií.
Analytici majú pomerne optimistické prognózy aj pre ruský trh. IDC verí, že podiel na ruskom trhu sa v priebehu nasledujúcich 5 rokov zvýši, na rozdiel od trhu v Nemecku a Japonsku.
Do roku 2020 vzrastie objem veľkých dát v Rusku zo súčasných 1,8 % na 2,2 % celosvetového objemu dát. Množstvo informácií vzrastie podľa EMC v roku 2020 zo súčasných 155 exabajtov na 980 exabajtov.
V súčasnosti Rusko naďalej akumuluje objem informácií na úroveň veľkých dát.
Podľa prieskumu CNews Analytics 44 % opýtaných spoločností pracuje s údajmi nie väčšími ako 100 terabajtov* a iba 13 % pracuje s objemami nad 500 terabajtov.

Napriek tomu sa ruský trh podľa globálnych trendov bude zvyšovať. V roku 2014 IDC odhaduje veľkosť trhu na 340 miliónov dolárov.
Miera rastu trhu za predchádzajúce roky bola 50 % ročne, ak zostane na rovnakej úrovni, tak v roku 2018 objem trhu dosiahne 1,7 miliardy amerických dolárov. Podiel ruského trhu na svetovom trhu bude približne 3 %, pričom sa zvýšil zo súčasných 1,2 %.

Najcitlivejšie odvetvia na používanie veľkých dát v Rusku zahŕňajú:

• Maloobchod a banky, pre nich je v prvom rade dôležité analyzovať zákaznícku základňu, vyhodnotiť účinok marketingových kampaní;
• Telecom – segmentácia zákazníckej základne a monetizácia návštevnosti;
• Verejný sektor - reporting, analýza žiadostí verejnosti a pod.;
• Ropné spoločnosti - sledovanie práce a plánovanie výroby a marketingu;
• Energetické spoločnosti - vytváranie inteligentných elektrizačných sústav, prevádzkové monitorovanie a prognózovanie.

Vo vyspelých krajinách sa Big Data rozšírili v oblasti zdravotníctva, poisťovníctva, hutníctva, internetových spoločností a výrobných podnikov, s najväčšou pravdepodobnosťou v blízkej budúcnosti ocenia efekt implementácie Big Data aj ruské firmy z týchto oblastí a prispôsobia tieto technológií vo svojich odvetviach.
V Rusku, ako aj vo svete, bude v blízkej budúcnosti smerovať k vizualizácii údajov, analýze mediálnych súborov a rozvoju internetu vecí.
Napriek všeobecnej stagnácii ekonomiky analytici v najbližších rokoch predpovedajú ďalší rast trhu s veľkými údajmi, a to predovšetkým z dôvodu, že využívanie technológií veľkých dát dáva jeho používateľom konkurenčnú výhodu v zmysle zvyšovania prevádzkovej efektívnosti podnikania, prilákanie ďalšieho toku zákazníkov, minimalizácia rizík a implementácia technológií na predpovedanie údajov.
Môžeme teda konštatovať, že segment veľkých dát v Rusku je vo fáze formovania, ale dopyt po týchto technológiách sa každým rokom zvyšuje.

Hlavné výsledky analýzy trhu

svetový trh

Koncom roka 2014 je trh s veľkými dátami charakterizovaný týmito parametrami:

• objem trhu dosiahol 28,5 miliardy USD, čo predstavuje nárast o 45 % v porovnaní s predchádzajúcim rokom;
• väčšinu príjmov trhu s veľkými dátami tvorili služby, ich podiel sa rovnal 40 % z celkových príjmov;
• 36 % príjmov pochádzalo z aplikácií a analytiky veľkých dát, 17 % z výpočtového hardvéru a 15 % z úložných technológií;
• In-memory platformy spoločností ako SAP, HANA a Oracle sú najpopulárnejšie na riešenie problémov s veľkými dátami.
• počet spoločností s realizovanými projektmi v oblasti Big Data managementu vzrástol o 125 %;

Prognóza trhu na ďalšie roky je nasledovná:

• v roku 2015 objem trhu dosiahne 38,4 miliárd amerických dolárov, v roku 2020 - 68,7 miliárd amerických dolárov;
• priemerná miera rastu bude 16 % ročne;
• priemerné výdavky spoločnosti na technológie veľkých dát budú 13,8 milióna dolárov pre veľké spoločnosti a 1,6 milióna dolárov pre malé a stredné podniky;
• technológie budú mať najväčšiu prevahu v oblasti služieb zákazníkom a cieleného marketingu;
• v roku 2017 sa štruktúra globálneho trhu zmení smerom k prevahe užívateľských spoločností z rozvojových krajín.

ruský trh

Ruský trh s veľkými dátami je vo fáze formovania, výsledky za rok 2014 sú nasledovné:

• objem trhu dosiahol 340 miliónov amerických dolárov;
• priemerná miera rastu trhu v predchádzajúcich rokoch bola 50 % ročne;
• celkové množstvo nahromadených informácií bolo 155 exabajtov;
• 10 % ruských spoločností začalo používať technológie Big Data;
• Big Data technológie boli populárnejšie v bankovom sektore, telekomunikáciách, internetových spoločnostiach a maloobchode.

Prognóza pre ruský trh na najbližšie roky je nasledovná:

• objem ruského trhu v roku 2015 dosiahne 500 miliónov USD av roku 2018 - 1,7 miliardy USD;
• podiel ruského trhu na svetovom trhu bude v roku 2018 približne 3 %;
• množstvo nazhromaždených údajov v roku 2020 bude 980 exabajtov;
• údaje vzrastú na 2,2 % celosvetových údajov v roku 2020;
• Najväčšiu obľubu si získajú technológie vizualizácie dát, analýza mediálnych súborov a internet vecí.

Na základe výsledkov analýzy môžeme konštatovať, že Big Data market je stále v ranom štádiu vývoja a v blízkej budúcnosti budeme pozorovať jeho rast a rozširovanie možností týchto technológií.

Ďakujeme, že ste si našli čas na prečítanie tohto rozsiahleho diela, prihláste sa na odber nášho blogu - sľubujeme veľa nových zaujímavých publikácií!

Rečník: Philip Katz

Rozhovor: Alexey Karlinsky

Mnohokrát sme uverili prísľubom sci-fi o neuveriteľnej budúcnosti a zakaždým naše nádeje rozbila nudná prítomnosť. Stále žijeme na zemi a naše autá nelietajú vzduchom. "Znova sme boli oklamaní!" - myslíme si a za všetkými týmito fantáziami nám opäť uniká okamih, keď budúcnosť naozaj príde.

Tentoraz sa tak stalo s príchodom Big Data. Môžeme ich ignorovať, ale už nemôžeme poprieť ich vplyv na náš život. Phillip Katz, architekt a špecialista na veľké dáta, hovorí, ako veľké dáta v tichosti zmenili naše mestá a spôsob, akým v nich žijeme.

Philip je multidisciplinárny špecialista, vzdelaním architekt, špecialista na veľké dáta. Absolvent Kazanskej univerzity architektúry, Strelka Institute of Media, Architecture and Design, jeden zo zakladateľov projektu Branch Point. Vyučuje na Petrohradskej národnej výskumnej univerzite informačných technológií, mechaniky a optiky a zaoberá sa analýzou dát pre Rambler&Co.

Zavrieť

Philip, povedz nám, prosím, ako sa dnes využívajú technológie Big Data v architektonickom dizajne a urbanizme?

Začnime tým, že pred štyrmi rokmi, keď som študoval na Strelke v Rusku, prinajmenšom nikto o Big Data nevedel. Svet o nich len hovorí. O rok neskôr v Rusku o nich každý vedel a bol s nimi chorý. Zdá sa mi, že ide vo veľkej miere o tradičnú dynamiku – kedy Nová technológia vystúpi na piedestál, je chválená a potom sa proti nej pomerne rýchlo objaví skepsa. Technológia je zhodená zo svojho piedestálu a potom sa integrujú do spoločnosti v uvoľnenejšom režime.

Ak hovoríme o architektonickej alebo urbanistickej analytike, potom sa mi zdá, že dnes je to akýsi kompromis medzi nimi moderné technológie a tradičná analýza. Napríklad pred rokom som pomáhal svojmu priateľovi prihlásiť sa do architektonickej súťaže pre študentov v Spojených štátoch. Pre nich správca mesta poskytol súbory GIS celkom dobrý popisúdaje: dopravné cesty, objem týchto trás, kde sa každoročne objavujú mláky, kde sa každých päť rokov zaplavuje, kde sú bloky s vysokou úrovňou daní, kde sú bloky s vysokým percentom černochov. V Spojených štátoch je podrobnosť štatistík vysoká a údaje sú zhrnuté celkom dobre, takže aj na úrovni súťažného projektu by sme mohli dostať nejaké veci hotové. Nemuseli sa zbierať ani analyzovať.

Väčšina z najužitočnejších analýz sa podľa môjho názoru scvrkáva na skutočnosť, že niektoré údaje beriete ako fakty a navrhujete ich na základe nich. A hoci údaje môžu byť pre každého rovnaké, stále sa čítajú a chápu úplne odlišnými spôsobmi.

Google tvrdí, že ich samojazdiace autá môžu znížiť počet dopravných nehôd a pomôcť efektívnejšie využívať palivo a priestor na cestách / foto: Google.com

Ako ste vo svojej praxi využívali technológie Big Data?

my na dlhú dobu robili projekt "Branch Point" s mojimi kolegami Edikom Khaimanom a Sashou Boldyrevou - snažili sa nejako diskutovať a rozvíjať digitálny dizajn a, samozrejme, potom naším spoločným postulovaným snom a konečným cieľom bol dizajn na základe parametrov. Zároveň bolo naším konečným snom práve nájsť nové formálne riešenia založené na nejakom záludnom kóde, ktorý by spĺňal naše požiadavky, no výsledok by nebol taký, aký sme si stanovili, ale nejaký nečakaný - krásny .

Analytics je druh umenia, kde algoritmus na prácu s údajmi je v každom prípade obrázok

V zrelom veku projektu sme všetci pochopili, že tento sen bol nielen nesplniteľný, ale kontroverzná bola skôr myšlienka, že budova by mala byť kompletne navrhnutá na základe údajov. Je to skôr niečo, o čo sa treba snažiť, ale pochopte, že sa tam nikdy nedostanete.

Tu nastáva pre mňa dôležitý dialektický moment. Predpokladajme, že robíme algoritmus a pochopíme, že v prvom rade si kvôli genetickým požiadavkám vyžaduje pomerne jednoduché, ale stále formálne parametre. A v zložitom systéme, a budova alebo štvrť je komplexný systém, sa okamžite objaví veľa takých parametrov, ktoré treba doviesť k spoločnému menovateľovi. Vždy potrebujete primárne formálne gesto, nejakú formu: valec alebo hranol, pyramídy a tak ďalej.

Ak sa pozrieme na prácu Zahy Hadid, potom je jadrom projektu vždy nejaké elegantné formálne gesto. Potom sa dá digitálne upraviť, ale vždy zostane jadrom všetkého a patrí peru autora. Genetický algoritmus si potom môže vybrať tú najlepšiu z výsledných možností, no nikdy ich nebude schopný vymyslieť.

To znamená, že v centre dizajnu bude vždy ľudská vôľa. Ako sa v tomto prípade zmení miera ľudského zapojenia do dizajnu s rozvojom veľkých dát?

V budúcnosti vidím nejaký analytický motor – veľký a zložitý kvantový počítač, alebo napríklad telepati a parapsychológovia, ponorení do deprivačných komôr, ktorí niečo predpovedajú alebo navrhujú, na čo si dať pozor.

Myslím si, že človeka z procesu nikdy nevytlačí. Všetky tieto veci (metódy analýzy veľkých dát) sa nazývajú algoritmy pomoci pri rozhodovaní a ich podstatou je čo najefektívnejšie odstránenie anomálií v dynamike procesov a minimalizácia percenta technickej práce na osobu. Analytik musí byť odborníkom na prácu s nimi a algoritmy mu môžu priniesť všetko na striebornom podnose, okrem skutočného riešenia. Samozrejme, existuje technický prah pre vstup do tejto disciplíny, ale samotná analytika je umelecká forma, kde algoritmus na prácu s údajmi je obrázok. Majstrovské dielo.

Drony vybavené kamerou môžu nezávisle hliadkovať v danej oblasti a prenášať snímky do informačného centra v reálnom čase / foto: Kevin Baird / Flickr.com

Big Data nemôžu pokryť všetky informácie. Ako sa vysporiadať s tým, čo sa pri analýze veľkých dát neberie do úvahy?

Analytici sú skutočne často kritizovaní za to, že opisujú iba tých, ktorí sú pripojení na internet, a tí, ktorí nie sú pripojení na internet, sú z analýzy vyradení. To je úplná pravda, ale má to svoju obrannú logiku. Cynicky povedané, ak nepoznáme problémy babky, ktorá sa hanbí písať na internet, lebo na to nie je zvyknutá, tak jej problémy môžeme ignorovať, jednoducho preto, že ak použijeme tento prístup, tak buď babka, alebo jej vnuk ju podporí, prípadne napíše.

Ďalší problém spočíva v tom, že akákoľvek technológia na zber alebo ukladanie dát je vždy prvým chybovým faktorom. Zároveň je v princípe nemožné sledovať všetku multifaktoriálnosť – prečo ľudia hrali tak a nie inak. Big Data spočiatku neposkytujú odpoveď. Umožňujú vám klásť vážne otázky.

Ako mení možnosť klásť otázky novým spôsobom naše vnímanie mesta?

Edward Hyman raz vymyslel termín „plagopolis“. Myšlienkou je, že moderné mesto je čoraz proaktívnejšie a dynamickejšie. Dnes je to akési prostredie s vlastnými tokmi, pohybmi, kde sa tekutina, ktorá preteká v cievach, neustále samoreguluje. Zároveň môžete len chytiť bod a opraviť ho veľmi podmienečne. Okamžite sa zmení a zmení ďalšie body okolo seba. Pre mňa je tento nápad celkom praktická vec, s ktorou sa dá pracovať. Teraz sa ukazuje, že mesto už nemôžeme vnímať ako niečo mechanické.

Je táto myšlienka akceptovaná v ruskom mestskom plánovaní?

Na úrovni mestského plánovania v tomto ruskom zmysle to nie je zrejmé. Tak či onak, začíname kreslením cestičiek, ulíc a veríme, že to tak nakoniec bude. V najlepšom prípade si začneme myslieť, že by sme mali skontrolovať, ako to urobiť správne, a potom to bude buď tak, ako kreslíme, alebo ľudia sami všetko neskôr prerobia.

Big Data neposkytujú odpoveď. Umožňujú vám klásť vážne otázky.

Vo všeobecnosti sú dnes obvinenia založené na stereotypoch a abstraktných predstavách veľmi nepríjemné. Navyše, architekti a urbanisti ma v prvom rade privádzajú do šialenstva. Jednoducho hovoria, že „chodci sú lepší ako motoristi“ alebo že „kreatívny biznis zmení priemyselný park na raj na zemi“. Za každou z týchto vecí by som chcel mať základný výpočet, pretože to tak môže byť, ale nemusí a vo väčšine prípadov je to nejako nesprávne.

Ako nám potom môžu Big Data pomôcť lepšie porozumieť mestu?

Mesto je vždy sloník z rozprávky o nevidomých, ktorí sa ho snažia opísať hmatom. Vždy fungujeme rovnako – niekto chytá za zadok, niekto za ucho, niekto za driek. A každý zároveň hovorí, že vidí slona. V našom prípade tiež všetci veríme, že sme videní a vieme, čo je to mesto.

Big Data nás chránia, aby sme sa nedotkli len jedného miesta, dávajú nám možnosť zhruba si predstaviť všeobecný tvar slona a pochopiť, že sa dotýkame približne tohto miesta, no sú aj iné. Dostávam obrovské správy o meste a vždy sa môžem dostať do nejakých konkrétnych desiatich riadkov údajov, pozrieť sa a opýtať sa: prečo je to tak? Zvyčajne sa to stáva začiatkom nejakého vyšetrovania, výskumu, histórie.

Údaje GIS v kombinácii s algoritmami priestorového modelovania pomáhajú predpovedať úroveň izolácie vo vybranej oblasti / fotografia: Trevor Patt / Flickr.com

Sú tieto úvahy inšpirované Big Data nejakým spôsobom neskôr vyjadrené v reálnych projektoch?

Existuje takzvaná metóda „mestskej akupunktúry“. Jej podstata spočíva v tom, že v meste sa hľadajú uzly bolesti a v týchto malých uzloch - v priestoroch maximálne bloku, najlepšie v jednej budove, alebo aj na nejakom malom priestore medzi budovami - nejaká zmena. je vyrobené. Vzhľadom na veľkosť rozpočtu je úplne mikroskopický a zmeny pre mesto ako celok, ak sú tieto uzly správne vypočítané, sú obrovské.

Hoci "Mestská akupunktúra" je dnes skôr špekulatívnym projektom, už teraz sú tu smart priestorové riešenia, napríklad so semaformi v jednom systéme. V spojení s inteligentnými cestami vám umožňujú zmeniť priestor, čo môže spôsobiť neočakávané výfuky. Aj dnes prebieha robotizácia priemyselných odvetví a aj to pridáva hodnotu. Ak terazdronyzačne prepravovať tovar, potom mestská logistikasmerdzhitsya (z angličtiny na zlúčenie — "zlúčiť"— A.K.)- a sú čísla, a tu sú čísla. S týmto sa bude určite pracovať oveľa jednoduchšie ako so živými kamionistami.

Technológia, ktorou sa momentálne inšpirujem a dúfam, že z toho vznikne niečo architektonické, je nový projekt Amazon, keď to stojí za to inteligentný reproduktor v centre domu, ktorý si vypočuje všetky vaše otázky a odpovie na ne. Niečo ako Siri, len v dome. Táto technológia pravdepodobne zmení zmysel mesta pre priestor viac ako ktorýkoľvek algoritmus.

Mesto sa teda bude čoraz viac spoliehať na softvér?

presne tak. Teraz sa I/O a rôzne rozhrania na získavanie informácií osobou inštitucionálne veľmi menia. Z môjho pohľadu mi služba privolať lacný taxík mení život oveľa viac ako 90 percent urbanistických rozhodnutí. Taxíky veľmi menia moje vnímanie mesta. Napriek všetkým predchádzajúcim skúsenostiam s príchodom Yandexu. Taxi a konkurencia taxislužieb ukázali, že naši taxikári sú slušní, aj peniaze sú špecifické a reagujú rýchlo – vôbec nie ako v žiadnom New Yorku.

Lacná taxislužba mi mení život oveľa viac ako 90 percent urbanistických rozhodnutí

Myslím si, že najdôležitejšou službou, ktorá by mohla mať obrovské zisky z uberifikácie, je prostitúcia. Hypotetický používateľ je hanblivý a možno aj preto mnoho ľudí služby prostitútok nevyužíva – zdá sa im to niečo nebezpečné, strašidelné a nepochopiteľné. Sedieť na telefóne – určite by to bolo pre nich oveľa jednoduchšie. Samozrejme, to by okamžite zobralo kupcom chlieb a úplne zmenilo biznis. Len kolosálne! Myslím, že sa to čoskoro stane v nejakej liberálnej krajine.

Myslíte si, že ľudia budú môcť v budúcnosti osobne pracovať s technológiami Big Data?

Myslím, že to všetko k tomu smeruje. Technologická náročnosť sa zvýši a je to pochopiteľné, ale v praxi sa naučíme, ako to správne zabaliť. Hladké rozhrania(z angličtiny uhladený— tenký, pôvabný— A.K.)dnes do určitej miery zjednodušiť naše vnímanie toho, ako sa všetko deje. Tu gombík, tu pipka a je to. Dnes platí, že čím viac sa môžete pred bežným človekom skryť bez straty funkcie, tým lepšie, pretože ľudia sú tak trochu vystrašení z celej tejto zložitosti. Známa technológia ako v Minority Report sa síce nedostavila, no zmyselne film veľmi správne opisuje, čo sa teraz bude diať.

Čo to bude? Čomu podľa vás budú veľké dáta čeliť v blízkej budúcnosti?

Objavili sa ako druh módnej témy a teraz sa pomaly vytrácajú, pretože najočividnejšie veci už boli hotové. Ďalej bude potrebné vypracovať technické mechanizmy v metodológii - nie v romantickej, ale v utilitárnej forme. Som si istý, že o päť rokov bude v kancelárii primátora, na ministerstvách a vo firmách pomerne dobre platená a možno aj dosť nudná pozícia nejakého digitálneho analytika.

Big Data majú zároveň určitú chorobu. Sú ľudia, ktorí rozumejú tomu, čo robia, a sú ľudia, ktorí sa tým živia, ktorí v skutočnosti nerozumejú tomu, ako Big Data fungujú. Diera medzi profesionálnymi technológmi a ľuďmi, ktorí chápu, prečo sa toto všetko môže stať, vždy existuje v každom biznise, v akejkoľvek vede, a to je určite problém. Ľudia, ktorí poznajú technologickú stránku a experimentujú s novými riešeniami, len zriedka robia skutočne užitočné veci a ľudia, ktorí vedia, ako tento vývoj aplikovať, tiež nedokážu sami vytvoriť kvalitný produkt. Jediným spôsobom, ako sa rozvíjať pri práci s veľkými dátami, je preto hľadanie nových spôsobov interakcie medzi špecialistami.

Spoločnosť MegaFon vyvinula a poskytla na použitie dcérskym spoločnostiam Ruských železníc testovaciu verziu služby na analýzu osobnej dopravy na základe veľkých dát, uvádza RBC s odvolaním sa na zástupcu prevádzkovateľa Maxima Motina. Nástroj pomáha určiť veľkosť a podrobné špecifikácie dopravný trh, ako aj podiel dopravného podniku na ňom v režime blízkom reálnemu času.

Teraz prebiehajú prípravné práce na implementácii systému na analýzu veľkých dát, potvrdil Oleg Yemchenko, vedúci oddelenia ERP systémov (systém pre plánovanie podnikových zdrojov) oddelenia informačných technológií FPC RŽD. "To sa dá realizovať iba v konkrétnom projekte v roku 2016," povedal Yemchenko.

Geoanalytická služba Megafon bola spustená už v roku 2013, pôvodným cieľom bolo predpovedať zaťaženie siete. S jeho pomocou môžete odhadnúť presný objem osobnej dopravy, získať informácie o trasách (kto, kedy, odkiaľ a kam ide), rozloženie podľa druhu dopravy. Služba vyhodnocuje aj solventnosť cestujúcich a charakter cestovania (služobné cesty, turistika, osobné potreby). Všetky údaje sú anonymizované.

Je možné analyzovať viac ako 10 000 udalostí za sekundu pomocou viac ako tisíc parametrov, povedal Roman Postnikov, riaditeľ segmentového marketingu a zákazníckej analytiky spoločnosti MegaFon. Za tri roky sa nazhromaždilo viac ako 5 petabajtov informácií – objem porovnateľný s viac ako 30 miliardami fotiek na Facebooku. Postnikov ubezpečuje, že každý klient má svoj vlastný zoznam parametrov na analýzu, to znamená, že v skutočnosti hovoríme o univerzálnom cloudové riešenie, ktoré môžu využívať úplne iné typy zákazníkov, ktorí potrebujú analyzovať veľké množstvo dát.

Megafon to spočítal dopravné spoločnosti V Rusku sa ročne minie viac ako 1,2 miliardy rubľov na výskum osobnej dopravy. „Samotné spoločnosti môžu zároveň zbierať len časť údajov, ktoré majú k dispozícii, a naša služba umožňuje vidieť celý obraz trhu ako celku,“ hovorí Postnikov. Aj keď vďaka zavedeniu služby dokáže dopravca zvýšiť svoj podiel na celkovom trhu osobnej dopravy o 1,5 – 2 %, ide podľa neho o miliardy rubľov.

Big Data riešenia možno použiť aj na správu mestskej infraštruktúry. Expertné centrum elektronického štátu, vláda Moskvy, sa chystá uzavrieť zmluvu, na základe ktorej bude mesto do dvoch rokov dostávať súhrnné depersonalizované geopriestorové údaje používateľov miestnych telekomunikačných operátorov v 11 rôznych sekciách. Spotrebiteľmi týchto informácií budú Štátny jednotný podnik „NI a PI všeobecného plánu Moskvy“, Ministerstvo dopravy a rozvoja cestnej infraštruktúry, Ministerstvo kultúry a ďalšie metropolitné oddelenia.

V Bashkirii sa po prvýkrát pri analýze toku turistov použili „veľké údaje“. Štátny výbor pre cestovný ruch Bieloruskej republiky si objednal štúdiu od Uralského centra pre monitorovanie a analýzu, ktorá bola vykonaná na základe dynamiky pohybu účastníkov mobilných telefónov.

Podľa štúdií navštívilo republiku od januára do novembra 2018 1,656 milióna turistov, z ktorých 60 % tvoria muži vo veku 30 až 45 rokov, spravidla zamestnanci komerčných organizácií s vyšším vzdelaním, s príjmom 40 000 rubľov. mesiac. Priemerná dĺžka pobytu je 3,8 dňa.

Vrchol turistického prúdu pripadá na leto. V júni 2018 bol počet vstupujúcich 179 tisíc ľudí, v júli - 215 tisíc ľudí. Minimálne číslo bolo zaznamenané vo februári - 118 tisíc ľudí.

Hostia prišli z rôznych regiónov Ruska. Najväčší podiel návštevníkov - Moskva, Moskovský región, Tatarstan - po 11%. Obyvatelia regiónu Orenburg, Čeľabinsk a Samara sa podieľali na príleve turistov 9 %, 7 %, 6 %. Ďalej Sverdlovská oblasť a KhMAO – každý po 3,8 %, región Ťumeň – 3 %, územie Perm a Udmurtia – každý o niečo viac ako 2 %.

Zahraniční turisti prišli zo susedných krajín, ako aj z Indie, Španielska, Talianska, Jemenu, Nemecka, Turecka, Egypta, Nigérie, Izraela, USA, Českej republiky, Saudskej Arábie, Bulharska, Iránu, Číny a Fínska.

Bola vykonaná aj sociologická štúdia formou prieskumov medzi turistami. Hotel alebo hotel si na pobyt vybralo 37 % opýtaných. 17 % bývalo u priateľov alebo príbuzných, 11 % preferovalo hostely. Turistický tok bol podľa účelu cestovania rozdelený nasledovne: cesty k príbuzným (30 %), služobná turistika (28 %), zdravotná turistika (18 %), poznávacia turistika (12 %), aktívna (8 %), púť cestovný ruch (0,2 %) .

40% turistov neprišlo do Baškirie prvýkrát. 20 % prišlo na odporúčanie priateľov (kolegov, príbuzných). 24% zisk na pracovnej ceste. Najmenej využívanými zdrojmi informácií pri výbere smeru cesty boli u respondentov internetové portály (3,4 %), sociálne siete (1,2 %), reklama v médiách (0,5 %).

V aktuálnom roku 2019 sa bude analyzovať aj turistická atraktivita niektorých regiónov republiky, informoval štátny výbor.

„Geoanalytika pomocou schopností mobilných operátorov je pokročilá metóda počítania toku turistov. V súčasnosti má takéto skúsenosti iba Moskva a dovoľte mi pripomenúť, že táto je na prvom mieste v národnom turistickom hodnotení vo federálnom okrese Volga, Bashkortostan - na druhom mieste, “uviedol Azamat Galin, zástupca vedúceho Štátneho výboru pre cestovný ruch a Podnikanie Bieloruskej republiky.

Podľa portálu Turstat sa Bashkiria na konci roka 2018 dostala do Top 15 v hodnotení domáceho a aktívneho cestovného ruchu a obsadila 13. miesto s počtom turistov nad 2,5 milióna ľudí (+13 % oproti roku 2017).

Tieto iniciatívy vlády Bashkiria sú veľmi zaujímavé a užitočné pre štúdium toku turistov a plánovanie ich aktivít s cieľom propagovať turistické produkty regiónu prostredníctvom komplexného poskytovania služieb turistom, vrátane využívania IT technológií.

Mimochodom, správy spomínajú Nižný Nogorod. Predtým sme informovali, že toto mesto zaviedlo projekt „Karta hosťa“, ktorý vám umožní sledovať pohyb turistov navštevujúcich pamiatky mesta, ich záujmy, turisti budú môcť získať rôzne zľavy, ako aj bezplatné používanie verejná doprava.

Všetky tieto iniciatívy sa realizujú v regiónoch izolované a izolované, bez federálnej účasti.

O ČOM TO ROZPRÁVAŠ?

Podstatou je, že v súčasnosti sa rieši otázka uplatňovania elektronických víz pre zahraničných občanov prichádzajúcich do Ruskej federácie. Používanie takýchto víz pomocou špeciálnych digitálnych technológií bez integrácie systému migrácie a registrácie turistov v hoteloch a vyššie uvedených služieb pomocou „karty hosťa“ nemá podľa Asociácie „Bezpečnosť cestovného ruchu“ zmysel. Toto nie je vládny prístup.

Podľa nášho názoru by systematický, štátny prístup mal zahŕňať zohľadnenie všetkých týchto prvkov. Turista sa musí raz zaregistrovať na hranici po získaní elektronickej známky a potom sa pohybovať po krajine, registrovať sa v hoteloch (už bez registrácie migrácie), bez problémov navštevovať múzeá, dostávať rôzne zľavy, využívať verejnú dopravu zadarmo alebo so zľavami. Tento prístup zároveň umožní zabezpečiť národnú bezpečnosť zaznamenávaním pohybu cudzincov, ako aj zbaviť hotelierov bolesti pri registrácii a účtovaní migrácie a orgány riadenia cestovného ruchu v zakladajúcich subjektoch Ruskej federácie prijímať informácie. o najobľúbenejších objektoch regiónu (mesta) a na jeho základe vytvárať turistické ponuky, čím získať maximálny úžitok.

A VŠETKO JE PRE TOTO!

A to nariadenie vlády Ruská federácia 6. augusta 2015 č. 813, ktorým boli schválené Nariadenia o štátny systém migračné a registračné záznamy, ktorých realizácia môže výrazne ovplyvniť pohostinstvo a celkovo zvýšiť prílev prichádzajúcich turistov. Presne o tom hovoril predseda predstavenstva združenia „Bezpečnosť turizmu“ 06.12.2018 v Rade federácie. Sergej Gruzdúčastníci okrúhleho stola na tému „Aktuálne otázky používania elektronických víz pre zahraničných občanov prichádzajúcich do Ruskej federácie a zlepšenie legislatívy Ruskej federácie v tejto oblasti“

Pripomeňme, že otázky zlepšenia migračných a registračných záznamov, zjednodušenia vízového režimu, vývoja a implementácie jednotného biometrického identifikátora pre cestovanie budú predmetom diskusie v rámci Medzinárodné fórum „Bezpečnosť cestovného ruchu“ – TSIF – 2019.Toto fórum je kľúčovým odborným podujatím, na ktorom zástupcovia úradov, odbornej komunity a biznisu diskutujú o aktuálnych otázkach zaistenia bezpečnosti cestovného ruchu na jednej platforme. Formát fóra poskytuje 4 oddychové relácie.

2,5 miliardy gigabajtov dát. Analytické spoločnosti predpovedajú, že množstvo údajov generovaných ročne dosiahne do roku 2020 43 biliónov gigabajtov. Medzi všetkými týmito informáciami: tweety, reposty a videá je jedna, ktorú mnoho spoločností používa na vývoj služieb. Ľudia už našli využitie veľkých dát v marketingu na vyhodnocovanie túžob zákazníkov. Big Data sa využívajú aj v medicíne na zlepšenie diagnostiky a v bankovom prostredí na vytváranie personalizovaných ponúk. Veľké dáta sa používajú aj v automobilovom sektore, čo pomáha vodičom rýchlejšie sa dostať do cieľa. Ako? O tom si dnes povieme.

Pomôžte vyhnúť sa dopravným zápcham

Dáta pomáhajú vodičom dostať sa do cieľa v pravom zmysle slova. Hovoríme o navigátoroch – stavajú najkratšiu trasu bez dopravných zápch a prác na ceste.

Navigátori odosielajú svoje súradnice do systému poskytovateľa aplikácie každých pár sekúnd. Algoritmus na základe prijatých údajov zostaví stopu, teda trasu s informáciami o rýchlosti pohybu. Na základe súčtu stôp prijatých od mnohých vodičov sa zistia dopravné zápchy.

Autá sú súčasťou siete a tvoria stabilný tok informácií. Zároveň si môžu vymieňať dáta s okolitou infraštruktúrou. Dohľadové kamery inštalované na križovatkách v meste možno využiť aj na zisťovanie dopravných zápch. Výskumníci pracujú na rôznych možnostiach implementácie takýchto riešení.

Napríklad na vytvorenie komunikácie medzi autami a medzi autami a infraštruktúrou vedci navrhujú použiť moduly OBU (On-Board Units), ktoré určujú polohu auta a rýchlosť v obmedzených časových intervaloch. Tieto informácie sa dostanú do RSU (Roadside Unit) a potom do klastrov zodpovedných za agregáciu a spracovanie údajov.

Klastre prijímajú dáta cez API a interpretujú. Ak sa napríklad niekoľko používateľov aplikácie navigátor pohybuje nízkou rýchlosťou v jednej oblasti, systém pochopí, že pohyb je v nej náročný. Môžete si prečítať viac o jednom z navrhovaných algoritmov.

Používatelia môžu do služby odosielať údaje aj sami: informácie o nehodách, opravách, výmoľoch atď. Agregátor po častiach zhromažďuje prijaté informácie do jedného obrázka a porovnáva údaje s GPS súradnice, stanovuje body preťaženia ciest. Na základe týchto údajov sa budujú navigačné trasy.

Keď je trasa vytvorená, aplikácia ju monitoruje, aby mala aktuálne informácie o situácii na ceste. Algoritmus je zodpovedný za vytvorenie trasy, ktorá by bola bez dopravných zápch. Ak je na trase dopravná zápcha, algoritmus hľadá iný spôsob. Ak alternatívy(aj s dopravnými zápchami, ale rýchlejšími) sa nenájde, potom zostáva trasa rovnaká. Zjednodušená forma tohto algoritmu je uvedená nižšie:

Bloková schéma variantu algoritmu na sledovanie trasy

Vedci sú presvedčení, že presnosť takýchto systémov sa výrazne zvýši, keď všetky alebo takmer všetky autá začnú medzi sebou komunikovať a vymieňať si údaje. V budúcnosti zmenia pravidlá správania sa na cestách. Tento názor zdieľa aj Tim Lomax, analytik Texas A&M Transportation Institute.

„Ak sa autá začnú medzi sebou rozprávať, nebudeme potrebovať semafory,“ hovorí Tim. "Auto, ktoré sa blíži ku križovatke, ohlási zámer prejsť cez ňu a okolité vozidlá budú vedieť, ako sa vyhnúť kolízii." Lomax hovorí, že to bude krok k širokému využívaniu samoriadiacich áut.

Odvezú vás na miesto

Samoriadiace autá sú ďalšou oblasťou, kde by veľké dáta mohli mať významný vplyv. Samoriadiace autá sú súčasťou internetu vecí a vedú k nárastu množstva generovaných dát. Aby mohol autopilot postaviť trasu, musí pochopiť, po akých cestách bude musieť prejsť a čo ho na ceste stretne. K tomu autá okrem vlastných senzorov čerpajú informácie z takzvaných máp prostredia. V budúcnosti bude tento zoznam doplnený o ďalších účastníkov premávky a prvky infraštruktúry: semafory, budovy, dokonca aj stromy.