"Velká data"- téma, které je aktivně diskutováno technologickými společnostmi. Někteří se z velkých dat rozčarovali, jiní je naopak využívají k podnikání, jak jen to jde... . Doufáme, že informace budou zajímavé a užitečné.

CO JE TO VELKÁ DATA?

Klíčové vlastnosti

Big Data jsou v současnosti jedním z klíčových motorů vývoje informační technologie. Tento směr, relativně nový pro ruský byznys, se rozšířil v západních zemích. Je to dáno tím, že v éře informačních technologií, zejména po rozmachu sociálních sítí, se pro každého uživatele internetu začalo hromadit značné množství informací, z čehož nakonec vzešel směr Big Data.

Pojem „Big Data“ vyvolává spoustu kontroverzí, mnozí se domnívají, že se tím myslí pouze množství nashromážděných informací, ale nezapomínejte ani na technickou stránku, do této oblasti patří úložné technologie, výpočetní technika a služby.

Nutno podotknout, že tato oblast zahrnuje zpracování velkého množství informací, které je obtížné zpracovat tradičními metodami*.

Níže je uvedena srovnávací tabulka tradiční a velké databáze.

Oblast Big Data se vyznačuje následujícími vlastnostmi:
Hlasitost - objem, nashromážděná databáze je velké množství informací, které je pracné zpracovat a uložit tradičními způsoby, které vyžadují nový přístup a pokročilé nástroje.
Rychlost - rychlost, tato vlastnost indikuje jak zvyšující se rychlost akumulace dat (90 % informací bylo shromážděno za poslední 2 roky), tak rychlost zpracování dat, v poslední době jsou stále více žádané technologie zpracování dat v reálném čase.
Odrůda – rozmanitost, tzn. možnost současného zpracování strukturovaných a nestrukturovaných informací různých formátů. Hlavní rozdíl mezi strukturovanými informacemi je v tom, že je lze klasifikovat. Příkladem takových informací jsou informace o klientských transakcích.
Nestrukturované informace zahrnují video, zvukové soubory, volný text, informace pocházející ze sociálních sítí. K dnešnímu dni je 80 % informací zařazeno do skupiny nestrukturovaných. Tato informace potřebuje komplexní analýzu, aby byl užitečný pro další zpracování.
Pravdivost – Spolehlivost dat, uživatelé začali přikládat důležitost spolehlivosti dostupných dat. Internetové společnosti tak mají problém oddělit akce prováděné robotem a osobou na webových stránkách společnosti, což v konečném důsledku vede k obtížnosti analýzy dat.
hodnota - hodnota nashromážděných informací. Big Data by měla být pro společnost užitečná a přinášet jí určitou hodnotu. Například pomoc při zlepšování obchodních procesů, reportingu nebo optimalizace nákladů.

Pokud je splněno výše uvedených 5 podmínek, lze akumulované objemy dat klasifikovat jako velké.

Aplikace velkých dat

Rozsah Big Data technologií je široký. S pomocí Big Data se tedy můžete dozvědět o preferencích zákazníků, efektivitě marketingových kampaní nebo provádět analýzu rizik. Níže jsou uvedeny výsledky průzkumu IBM Institute o směrech používání velkých dat ve společnostech.

Jak je z diagramu patrné, většina společností využívá Big Data v oblasti služeb zákazníkům, druhým nejoblíbenějším směrem je provozní efektivita, v oblasti řízení rizik jsou Big Data v současnosti méně častá.

Je třeba také poznamenat, že Big Data jsou jednou z nejrychleji rostoucích oblastí informačních technologií, podle statistik se celkové množství přijatých a uložených dat zdvojnásobí každých 1,2 roku.
Mezi roky 2012 a 2014 bylo množství přenesených dat měsíčně mobilní sítě vzrostl o 81 %. Cisco odhaduje, že v roce 2014 objem mobilní provozčinila 2,5 exabajtu (měrná jednotka množství informací rovna 10 ^ 18 standardních bajtů) za měsíc a již v roce 2019 to bude 24,3 exabajtů.
Big Data jsou tedy i přes svůj relativně nízký věk již zavedeným technologickým oborem, který se rozšířil v mnoha oblastech podnikání a hraje důležitou roli v rozvoji firem.

Big Data Technologies

Technologie používané ke sběru a zpracování velkých dat lze rozdělit do 3 skupin:

• Software;
• Zařízení;
• Servis.

Mezi nejběžnější přístupy zpracování dat (PD) patří:
SQL - strukturovaný dotazovací jazyk, který umožňuje práci s databázemi. Pomocí SQL můžete vytvářet a upravovat data a datové pole je spravováno příslušným systémem správy databází.
NoSQL - termín znamená nejen SQL (nejen SQL). Zahrnuje řadu přístupů zaměřených na implementaci databáze, které se liší od modelů používaných v tradičních relačních DBMS. Jsou vhodné pro použití s ​​neustále se měnící datovou strukturou. Například ke shromažďování a ukládání informací na sociálních sítích.
MapReduce – výpočetní distribuční model. Používá se pro paralelní výpočty přes velmi velké sady data (petabajty* nebo více). V programovacím rozhraní se data nepřenášejí do programu ke zpracování, ale program se přenáší do dat. Dotaz je tedy samostatný program. Principem činnosti je postupné zpracování dat dvěma metodami Map a Reduce. Mapa vybírá předběžná data, Reduce je agreguje.
hadoop - používá se k implementaci vyhledávacích a kontextových mechanismů pro vysoce zatížené stránky - Facebook, eBay, Amazon atd. Výrazná vlastnost je, že systém je chráněn před selháním kteréhokoli z uzlů clusteru, protože každý blok má alespoň jednu kopii dat na druhém uzlu.
SAP HANA je vysoce výkonná platforma NewSQL pro ukládání a zpracování dat. Poskytuje vysoká rychlost zpracování požadavku. Dalším rozdílem je, že SAP HANA zjednodušuje systémové prostředí snížením nákladů na podporu analytických systémů.

Technologické vybavení zahrnuje:

• servery;
• vybavení infrastruktury.

Servery obsahují úložiště dat.
Vybavení infrastruktury zahrnuje nástroje pro akceleraci platformy, zdroje nepřerušitelný zdroj energie, sady serverových konzolí atd.

Servis.
Služby zahrnují architekturu databázového systému, vývoj a optimalizaci infrastruktury a zabezpečení ukládání dat.

Software, hardware a služby tvoří komplexní platformy pro ukládání a analýzu dat. Společnosti jako Microsoft, HP, EMC nabízejí služby pro vývoj, nasazení a správu řešení Big Data.

Aplikace v průmyslu

Big Data se rozšířila v mnoha obchodních sektorech. Používají se ve zdravotnictví, telekomunikacích, obchodu, logistice, finančních společnostech, ale i ve veřejné správě.
Níže jsou uvedeny některé příklady aplikací Big Data v některých odvětvích.

Maloobchodní
Databáze maloobchodních prodejen mohou akumulovat mnoho informací o zákaznících, systému řízení zásob, nabídce prodejných produktů. Tyto informace mohou být užitečné ve všech oblastech činnosti obchodu.

S pomocí nashromážděných informací tedy můžete řídit dodávky zboží, jeho skladování a prodej. Na základě nashromážděných informací je možné předvídat poptávku a nabídku zboží. Systém zpracování a analýzy dat může také vyřešit další problémy obchodníka, například optimalizovat náklady nebo připravit reporty.

Finanční služby
Big Data umožňují analyzovat úvěruschopnost dlužníka a jsou také užitečná pro kreditní skóring* a upisování**. Zavedení technologií Big Data zkrátí dobu posuzování žádostí o úvěr. Pomocí Big Data je možné analyzovat operace konkrétního klienta a nabídnout mu vhodné bankovní služby.

Telecom
V telekomunikačním průmyslu jsou Big Data široce využívána mobilními operátory.
Operátoři mobilní komunikace spolu s finančními institucemi mají jednu z největších databází, která jim umožňuje provádět nejhloubkovou analýzu nashromážděných informací.
Hlavním cílem analýzy dat je udržet stávající zákazníky a přilákat nové. Za tímto účelem společnosti segmentují zákazníky, analyzují jejich provoz a určují sociální příslušnost předplatitele.

Kromě využití Big Data pro marketingové účely se technologie používá k prevenci podvodných finančních transakcí.

Těžební a ropný průmysl
Big Data se využívají jak při těžbě nerostů, tak při jejich zpracování a marketingu. Na základě obdržených informací mohou podniky vyvodit závěry o efektivitě rozvoje v terénu, sledovat harmonogram generálních oprav a stav zařízení a předpovídat poptávku po produktech a ceny.

Podle průzkumu společnosti Tech Pro Research jsou Big Data nejrozšířenější v telekomunikačním průmyslu a také ve strojírenství, IT, finančních a vládních podnicích. Podle výsledků tohoto průzkumu jsou Big Data méně populární ve školství a zdravotnictví. Výsledky průzkumu jsou uvedeny níže:

Příklady využití Big Data ve firmách

Big Data jsou dnes aktivně implementována v zahraničních společnostech. Společnosti jako Nasdaq, Facebook, Google, IBM, VISA, Master Card, Bank of America, HSBC, AT&T, Coca Cola, Starbucks a Netflix již využívají zdroje Big Data.

Oblasti použití zpracovávaných informací jsou různé a liší se v závislosti na odvětví a úkolech, které mají být provedeny.
Dále budou uvedeny příklady aplikace Big Data technologií v praxi.

HSBC využívá technologie Big Data k boji proti podvodným transakcím s plastovými kartami. Pomocí Big Data společnost zvýšila efektivitu bezpečnostní služby 3x a rozpoznání podvodných incidentů 10x. Ekonomický efekt ze zavedení těchto technologií přesáhl 10 milionů amerických dolarů.

boj proti podvodům* VÍZUM umožňuje dovnitř automatický režim vypočítat transakce podvodného charakteru, systém zapnut tento moment pomáhá předcházet podvodným platbám v hodnotě 2 miliard USD ročně.

Superpočítač společnosti Watson IBM analyzuje v reálném čase tok dat o peněžních transakcích. Podle IBM Watson zvýšil počet odhalených podvodných transakcí o 15 %, snížil systém falešných poplachů o 50 % a zvýšil objem prostředků chráněných před transakcemi tohoto charakteru o 60 %.

Procter & Gamble s pomocí Big Data navrhují nové produkty a vytvářejí globální marketingové kampaně. Společnost P&G vytvořila specializované kanceláře Business Spheres, kde můžete prohlížet informace v reálném čase.
Vedení společnosti tak má možnost okamžitě testovat hypotézy a provádět experimenty. P&G věří, že Big Data pomáhají předpovídat výkonnost společnosti.

Prodejce kancelářských potřeb officemax s pomocí technologií Big Data analyzují chování zákazníků. Analýza velkých dat umožnila zvýšit tržby B2B o 13 %, snížit náklady o 400 000 USD ročně.

Podle Housenka , jeho distributoři přicházejí o 9 až 18 miliard dolarů na tržbách ročně jen proto, že neimplementují technologii Big Data. Big Data by zákazníkům umožnila efektivněji spravovat jejich vozový park pomocí analýzy informací ze senzorů nainstalovaných na strojích.

Dnes je již možné analyzovat stav klíčové uzly, míru jejich opotřebení, řídit náklady na palivo a údržbu.

Skupina Luxottica je výrobcem sportovních brýlí se značkami jako Ray-Ban, Persol a Oakley. Společnost využívá technologie Big Data k analýze chování potenciální klienty a „chytrý“ SMS marketing. Díky tomu skupina Big Data Luxottica identifikovala více než 100 milionů nejhodnotnějších zákazníků a zvýšila efektivitu marketingové kampaně o 10 %.

S pomocí Yandex Data Factory, herních vývojářů World of Tanks analyzovat chování hráčů. Technologie Big Data umožnily analyzovat chování 100 tisíc hráčů World of Tanks pomocí více než 100 parametrů (informace o nákupech, hrách, zkušenostech atd.). Na základě analýzy byla získána předpověď odchodu uživatelů. Tyto informace umožňují snížit péči o uživatele a cíleně pracovat s účastníky hry. Vyvinutý model se ukázal být o 20–30 % efektivnější než standardní analytické nástroje herního průmyslu.

německé ministerstvo práce používá Big Data k analýze příchozích žádostí o nezaměstnanost. Po analýze informací tedy vyšlo najevo, že 20 % dávek bylo vyplaceno nezaslouženě. Ministerstvo práce s pomocí Big Data snížilo náklady o 10 miliard eur.

Torontská dětská nemocnice realizovala projekt Project Artemis. Jedná se o informační systém, který shromažďuje a analyzuje data o miminkách v reálném čase. Systém každou sekundu sleduje 1260 indikátorů stavu každého dítěte. Projekt Artemis umožňuje předvídat nestabilní stav dítěte a zahájit prevenci nemocí u dětí.

PŘEHLED GLOBÁLNÍHO BIG DATA TRHU

Současný stav globálního trhu

V roce 2014 se Big Data podle Data Collective stala jednou z prioritních oblastí pro investice do rizikového průmyslu. Podle údajů informační portál Computerra, je to dáno tím, že vývoj v této oblasti začal jejich uživatelům přinášet výrazné výsledky. Za poslední rok vzrostl počet společností s realizovanými projekty v oblasti správy velkých dat o 125 %, objem trhu vzrostl oproti roku 2013 o 45 %.

Většinu příjmů trhu s velkými daty podle Wikibonu v roce 2014 tvořily služby, jejich podíl se rovnal 40 % celkových příjmů (viz graf níže):

Pokud vezmeme v úvahu velká data za rok 2014 podle podtypů, bude trh vypadat takto:

Podle Wikibonu tvořily aplikace a analytika 36 % příjmů z Big Data v roce 2014 z aplikací a analytiky Big Data, 17 % z výpočetního hardwaru a 15 % z technologie úložiště. Nejméně ze všech příjmů generovaly technologie NoSQL, infrastrukturní vybavení a poskytování sítě firem (firemní sítě).

Nejoblíbenějšími Big Data technologiemi jsou in-memory platformy SAP, HANA, Oracle atd. Z výsledků průzkumu T-Systems vyplynulo, že je zvolilo 30 % dotázaných společností. Druhé nejoblíbenější byly platformy NoSQL (18 % uživatelů), firmy využívaly i analytické platformy od Splunk a Dell, které si vybralo 15 % firem. Nejméně užitečné pro řešení problémů s Big Data byly podle výsledků průzkumu produkty Hadoop/MapReduce.

Podle průzkumu Accenture se ve více než 50 % společností využívajících technologie Big Data pohybují náklady na Big Data od 21 % do 30 %.
Podle následující analýzy Accenture se 76 % společností domnívá, že tyto náklady v roce 2015 vzrostou, a 24 % společností nezmění svůj rozpočet na technologie Big Data. To naznačuje, že v těchto společnostech se Big Data již stala zavedenou oblastí IT, která se stala nedílnou součástí rozvoje společnosti.

Výsledky průzkumu Economist Intelligence Unit potvrzují pozitivní dopad implementace Big Data. 46 % společností tvrdí, že zlepšilo služby zákazníkům o více než 10 % pomocí technologií Big Data, 33 % společností optimalizovalo zásoby a zlepšilo produktivitu klíčových aktiv, 32 % společností zlepšilo procesy plánování.

Big Data v rozdílné země mír

K dnešnímu dni jsou technologie Big Data nejčastěji implementovány v amerických společnostech, ale nyní začaly projevovat zájem i další země světa. V roce 2014 podle IDC představovaly země Evropy, Středního východu, Asie (kromě Japonska) a Afriky 45 % trhu se softwarem, službami a vybavením pro velká data.

Podle průzkumu CIO také společnosti z asijsko-pacifického regionu rychle zvládají nová řešení v oblasti analytiky velkých dat, bezpečných úložišť a cloudových technologií. Latinská Amerika je v počtu investic do rozvoje Big Data technologií na druhém místě před Evropou a USA.
Dále bude uveden popis a prognózy vývoje trhu s velkými daty v několika zemích.

Čína
Množství informací v Číně je 909 exabajtů, což se rovná 10 % z celkového množství informací ve světě, do roku 2020 dosáhne množství informací 8060 exabajtů a zvýší se i podíl informací v globální statistice, v roce Za 5 let to bude 18 %. Potenciální růst čínských Big Data má jednu z nejrychleji rostoucích dynamik.

Brazílie
Do konce roku 2014 Brazílie nashromáždila 212 exabajtů informací, což jsou 3 % celosvětového objemu. Do roku 2020 naroste objem informací na 1600 exabajtů, což budou 4 % světových informací.

Indie
Podle EMC je množství nashromážděných dat v Indii v roce 2014 326 exabajtů, což je 5 % z celkového množství informací. Do roku 2020 vzroste objem informací na 2800 exabajtů, což bude 6 % světových informací.

Japonsko
Množství nashromážděných dat v Japonsku na konci roku 2014 je 495 exabajtů, což je 8 % z celkového množství informací. Do roku 2020 objem informací vzroste na 2200 exabajtů, ale podíl Japonska na trhu se sníží a bude činit 5 % z celkového množství informací na celém světě.
Objem japonského trhu se tak sníží o více než 30 %.

Německo
Podle EMC je množství nashromážděných dat v Německu v roce 2014 230 exabajtů, což jsou 4 % z celkového množství informací na světě. Do roku 2020 vzroste objem informací na 1100 exabajtů a bude činit 2 %.
Na německém trhu bude velký podíl tržeb podle prognóz skupiny Experton generovat segment služeb, jehož podíl v roce 2015 bude činit 54 % a v roce 2019 vzroste na 59 %, podíl software a vybavení naopak ubude.

Obecně vzroste velikost trhu z 1,345 miliardy eur v roce 2015 na 3,198 miliardy eur v roce 2019 s průměrným tempem růstu 24 %.
Na základě analýzy CIO a EMC tedy můžeme usuzovat, že rozvojové země světa se v příštích letech stanou trhy pro aktivní rozvoj technologií Big Data.

Hlavní trendy na trhu

Podle IDG Enterprise utratí společnosti v roce 2015 za velká data v průměru 7,4 milionu USD na společnost, velké společnosti hodlají utratit přibližně 13,8 milionu USD a malé a střední společnosti utratí 1,6 milionu USD.
Většina investic bude směřovat do oblastí, jako je analýza dat, vizualizace a sběr dat.
Podle aktuálních trendů a poptávky trhu budou investice v roce 2015 použity na zlepšení kvality dat, zlepšení plánování a prognózování a zvýšení rychlosti zpracování dat.
Společnosti z finančního sektoru budou podle analýzy Bain Company's Insights Analysis významně investovat, takže v roce 2015 se plánuje utratit 6,4 miliardy amerických dolarů na technologie Big Data, průměrná míra růstu investic bude do roku 2020 činit 22 %. Internetové společnosti plánují utratit 2,8 miliardy dolarů s průměrným tempem růstu 26% nárůstu výdajů za velká data.
Během průzkumu Economist Intelligence Unit byly identifikovány prioritní oblasti pro rozvoj Big Data v roce 2014 a v následujících 3 letech, rozložení odpovědí je následující:

Podle prognóz IDC jsou trendy na trhu následující:

• Během příštích 5 let porostou náklady na cloudová řešení Big Data třikrát rychleji než náklady na místní řešení. Hybridní úložné platformy se stanou populární.
• Růst aplikací využívajících sofistikovanou a prediktivní analytiku, včetně strojového učení, se v roce 2015 zrychlí, trh s těmito aplikacemi poroste o 65 % rychleji než aplikace bez prediktivní analýzy.
• Mediální analytika se v roce 2015 ztrojnásobí a stane se klíčovým motorem růstu pro trh technologií Big Data.
• Trend zavádění řešení pro analýzu neustálého toku informací použitelných pro Internet věcí se bude zrychlovat.
• Do roku 2018 bude 50 % uživatelů interagovat se službami založenými na kognitivních počítačích.

Ovladače a omezovače trhu

Odborníci IDC identifikovali v roce 2015 3 hybatele trhu s velkými daty:

Podle průzkumu Accenture jsou nyní problémy zabezpečení dat hlavní překážkou pro přijetí technologií Big Data, více než 51 % respondentů potvrdilo, že mají obavy o ochranu dat a soukromí. 47 % firem uvedlo nemožnost implementace Big Data z důvodu omezeného rozpočtu, 41 % firem označilo jako problém nedostatek kvalifikovaného personálu.

Wikibon předpovídá, že trh s velkými daty vzroste v roce 2015 na 38,4 miliardy dolarů, což je meziroční nárůst o 36 %. V následujících letech dojde k poklesu tempa růstu na 10 % v roce 2017. S přihlédnutím k těmto prognózám bude velikost trhu v roce 2020 68,7 miliard USD.

Rozdělení globálního trhu s velkými daty podle obchodních kategorií bude vypadat takto:

Jak je patrné z diagramu, většinu trhu zaberou technologie z oblasti zlepšování služeb zákazníkům. Spotový marketing bude pro společnosti do roku 2019 druhou nejvyšší prioritou, v roce 2020 podle Heavy Reading ustoupí řešením pro zlepšení provozní efektivity.
Segment „zlepšování zákaznických služeb“ bude mít také nejvyšší tempo růstu s nárůstem o 49 % ročně.
Tržní prognóza pro podtypy velkých dat bude vypadat takto:

Dominantní podíl na trhu, jak je patrné z grafu, zaujímají profesionální služby, nejvyšší tempo růstu budou mít aplikace s analytikou, jejich podíl poroste ze současných 12 % na 18 % v roce 2020 a objem tento segment bude činit 12,3 miliardy amerických dolarů, podíl výpočetní techniky naopak klesne z 20 % na 14 % a v roce 2020 bude činit cca 9,3 miliardy amerických dolarů, trh cloudových technologií bude postupně narůstat a v roce 2020 bude dosáhnout 6, 3 miliardy amerických dolarů, podíl na trhu řešení pro ukládání dat naopak klesne z 15 % v roce 2014 na 13 % v roce 2020 a v peněžním vyjádření se bude rovnat 8,9 miliardám amerických dolarů.
Podle prognózy Bain & Company’s Insights Analysis bude rozdělení trhu s velkými daty podle odvětví v roce 2020 vypadat takto:

• Finanční průmysl utratí za velká data 6,4 miliardy dolarů s průměrným tempem růstu 22 % ročně;
• Internetové společnosti utratí 2,8 miliardy USD a průměrnou míru růstu nákladů o 26 % během příštích 5 let;
• Náklady veřejného sektoru budou úměrné nákladům internetových společností, ale tempo růstu bude nižší – 22 %;
• Telekomunikační sektor poroste průměrným tempem růstu 40 % a v roce 2020 dosáhne 1,2 miliardy USD;

Energetické společnosti budou do těchto technologií investovat relativně malou částku – 800 milionů amerických dolarů, ale tempo růstu bude jedno z nejvyšších – 54 % ročně.
Společnosti ve finančním průmyslu tak v roce 2020 zaujmou velký podíl na trhu Big Data a energetika bude nejrychleji rostoucím sektorem.
Podle prognóz analytiků se celkový objem trhu v následujících letech zvýší. Růst trhu zajistí zavádění Big Data technologií v rozvojových zemích světa, jak je patrné z grafu níže.

Předpokládaná velikost trhu bude záviset na tom, jak rozvojové země vnímají technologie Big Data, zda budou stejně populární jako ve vyspělých zemích. V roce 2014 tvořily rozvojové země světa 40 % nashromážděných informací. Podle prognózy EMC se současná struktura trhu, kde dominují vyspělé země, změní již v roce 2017. Podle analytiků EMC bude v roce 2020 podíl rozvojových zemí více než 60 %.
Podle Cisco a EMC budou rozvojové země světa s Big Data aktivně pracovat, v mnoha ohledech to bude dáno dostupností technologií a nahromaděním dostatečného množství informací na úroveň Big Data. Mapa světa na další stránce bude ukazovat prognózu růstu a míru růstu velkých dat podle regionů.

ANALÝZA RUSKÉHO TRHU

Současný stav ruský trh

Podle výsledků studie CNews Analytics a Oracle je úroveň vyspělosti ruského trhu Big Data pro Minulý rok růže. Více uvedli respondenti zastupující 108 velkých podniků z různých odvětví vysoký stupeň povědomí o těchto technologiích a také stávající chápání potenciálu takových řešení pro jejich podnikání.
K roku 2014 podle IDC Rusko nashromáždilo 155 exabajtů informací, což je pouze 1,8 % světových dat. Objem informací do roku 2020 dosáhne 980 exabajtů a bude zabírat 2,2 %. Průměrná míra růstu objemu informací tak bude činit 36 ​​% ročně.
IDC odhaduje ruský trh na 340 milionů dolarů, z toho 100 milionů dolarů tvoří řešení SAP, přibližně 240 milionů dolarů jsou podobná řešení od Oracle, IBM, SAS, Microsoft atd.
Tempo růstu ruského trhu Big Data je minimálně 50 % ročně.
Předpokládá se, že pozitivní dynamika v tomto sektoru ruského IT trhu bude pokračovat i v kontextu všeobecné stagnace ekonomiky. Důvodem je skutečnost, že podniky nadále požadují řešení, která zlepšují efektivitu práce, optimalizují náklady, zlepšují přesnost prognóz a minimalizují možná firemní rizika.
Hlavními poskytovateli služeb v oblasti Big Data na ruském trhu jsou:

• Věštec
• Microsoft
• cloudera
• Hortonworks
• Teradata.

Přehled trhu podle odvětví a zkušenosti s používáním Big Data ve firmách

Podle CNews pouze 10 % společností v Rusku začalo používat technologie Big Data, zatímco podíl takových společností ve světě je asi 30 %. Připravenost na projekty velkých dat roste v mnoha sektorech ruské ekonomiky, podle zprávy CNews Analytics a Oracle. Více než třetina dotázaných společností (37 %) začala spolupracovat Velké technologie Data, z nichž 20 % již taková řešení používá a 17 % s nimi začíná experimentovat. Druhá třetina respondentů v tento moment o takové možnosti uvažují.

V Rusku jsou technologie Big Data populárnější v bankovním sektoru a telekomunikacích, ale jsou také žádané v těžebním průmyslu, energetice, maloobchodu, logistických společnostech a veřejném sektoru.
Dále budou zváženy příklady použití velkých dat v ruských realitách.

Telecom
Telekomunikační operátoři mají jednu z největších databází, která jim umožňuje provádět nejhloubkovou analýzu nashromážděných informací.
Jednou z oblastí použití technologie Big Data je správa věrnosti předplatitelů.
Hlavním cílem analýzy dat je udržet stávající zákazníky a přilákat nové. Za tímto účelem společnosti segmentují zákazníky, analyzují jejich provoz a určují sociální příslušnost předplatitele. Kromě využívání informací pro marketingové účely používá telekomunikační technologie technologie k zabránění podvodným finančním transakcím.
Vimpelcom je jedním z nejzářivějších příkladů tohoto odvětví. Společnost využívá Big Data ke zlepšení kvality služeb na úrovni každého předplatitele, vytváření sestav, analyzování dat pro rozvoj sítě, boj proti spamu a personalizaci služeb.

Banky
Významnou část uživatelů Big Data zabírají specialisté z finančního průmyslu. Jeden z úspěšných experimentů byl proveden v Uralské bance pro obnovu a rozvoj, kde informační základna začaly být využívány k analýze zákazníků, banka začala nabízet specializované úvěrové nabídky, vklady a další služby. Za rok používání těchto technologií vzrostlo portfolio retailových úvěrů společnosti o 55 %.
Alfa-Bank analyzuje informace ze sociálních sítí, zpracovává žádosti o úvěr, analyzuje chování uživatelů webových stránek společnosti.
Sberbank také začala zpracovávat pole dat pro segmentaci zákazníků, prevenci podvodů, křížový prodej a řízení rizik. Do budoucna je plánováno zkvalitňování služeb a analýza akcí zákazníků v reálném čase.
Všeruská banka pro regionální rozvoj analyzuje chování držitelů plastových karet. To umožňuje identifikovat transakce, které jsou pro konkrétního klienta atypické, a tím zvýšit pravděpodobnost odhalení krádeže finančních prostředků z plastových karet.

Maloobchodní
V Rusku byly technologie Big Data implementovány online i offline obchodními společnostmi. Podle CNews Analytics dnes Big Data používá 20 % maloobchodníků. 75 % maloobchodních profesionálů považuje Big Data za nezbytná pro vytvoření konkurenční strategie pro propagaci společnosti. Podle statistik Hadoop roste po zavedení technologie Big Data zisk v obchodních organizacích o 7–10 %.
Specialisté M.Video hovoří o zlepšení plánování logistiky po implementaci SAP HANA, také se v důsledku jeho implementace zkrátila příprava výročních zpráv z 10 dnů na 3, rychlost denního načítání dat byla snížena ze 3 hodiny až 30 minut.
Wikimart používá tyto technologie ke generování doporučení pro návštěvníky webu.
Jedním z prvních offline obchodů, které zavedly analýzu velkých dat v Rusku, byla Lenta. S pomocí Big Data začal maloobchod studovat informace o zákaznících z pokladních dokladů. Maloobchodník shromažďuje informace, aby vytvořil modely chování, které umožňují informovanější rozhodování na provozní a obchodní úrovni.

Ropný a plynárenský průmysl
V tomto odvětví je rozsah Big Data poměrně široký. Technologie Big Data lze uplatnit při těžbě nerostů ze střev. S jejich pomocí můžete analyzovat samotný proces těžby a nejvíce efektivní způsoby jeho těžba, sledování procesu vrtání, analýza kvality surovin a zpracování a prodej konečného produktu. V Rusku tyto technologie již využívají Transněfť a Rosněfť.

Státní orgány
V zemích jako Německo, Austrálie, Španělsko, Japonsko, Brazílie a Pákistán se k řešení národních problémů používají technologie Big Data. Tyto technologie pomáhají orgánům veřejné správy efektivněji poskytovat služby obyvatelstvu, poskytovat cílenou sociální podporu.
V Rusku tyto technologie začaly ovládat takové vládní agentury jako Penzijní fond, Federální daňová služba a Fond povinného zdravotního pojištění. Potenciál pro realizaci projektů využívajících Big Data je velký, tyto technologie by mohly pomoci zlepšit kvalitu služeb a v důsledku toho i životní úroveň obyvatel.

Logistika a doprava
Big Data mohou využívat i dopravní společnosti. Pomocí technologií Big Data je možné sledovat vozový park, zohledňovat náklady na pohonné hmoty a sledovat požadavky zákazníků.
Ruské dráhy implementovaly technologie Big Data společně se SAP. Tyto technologie pomohly zkrátit dobu vykazování 43,5krát (ze 14,5 hodiny na 20 minut) a 40krát zlepšit přesnost alokace nákladů. Big Data byla také zavedena do procesů plánování a regulace tarifů. Celkem společnosti využívají více než 300 systémů založených na řešení SAP, zapojena jsou 4 datová centra a počet uživatelů je 220 000.

Hlavní hnací síly a omezení trhu

Hnací síly pro rozvoj technologií Big Data na ruském trhu jsou:

• Zvýšený zájem uživatelů o možnosti Big Data jako způsob zvýšení konkurenceschopnosti společnosti;
• Vývoj metod pro zpracování mediálních souborů na globální úrovni;
• Přenos zpracování serverů osobní informace na území Ruska, v souladu s přijatým zákonem o uchovávání a zpracování osobních údajů;
• Implementace průmyslového plánu pro náhradu importu softwaru. Tento plán zahrnuje vládní podporu domácí výrobci software a také poskytování preferencí domácích IT produktů při nákupu na veřejné náklady.
• V nové ekonomické situaci, kdy se dolar téměř zdvojnásobil, bude trend ke stále většímu využívání služeb ruských poskytovatelů cloudové služby než zahraniční.
• Vytváření technologických parků, které přispívají k rozvoji trhu informačních technologií, včetně trhu Big Data;
• Státní program pro zavádění gridových systémů, které jsou založeny na technologiích Big Data.

Hlavní překážky rozvoje Big Data na ruském trhu jsou:

• Zajištění bezpečnosti a důvěrnosti dat;
• Nedostatek kvalifikovaného personálu;
• Nedostatek nashromážděných informačních zdrojů až na úroveň Big Data ve většině ruské společnosti;
• Obtíže při zavádění nových technologií do zavedených technologií Informační systémy společnosti;
• Vysoké náklady na technologie Big Data, které vedou k omezenému počtu podniků, které mají možnost tyto technologie implementovat;
• Politická a ekonomická nejistota vedoucí k úniku kapitálu a zmrazení investiční projekty na ruském území;
• Rostoucí ceny dovážených produktů a prudký nárůst inflace podle IDC brzdí rozvoj celého IT trhu.

Předpověď ruského trhu

Ruský trh Big Data dnes není tak populární jako ve vyspělých zemích. Většina ruských firem o to projevuje zájem, ale netroufají si využít jejich příležitostí.
Příklady velkých společností, které již těžily z využití technologií Big Data, zvyšují povědomí o možnostech těchto technologií.
Analytici mají také poměrně optimistické předpovědi pro ruský trh. IDC věří, že podíl na ruském trhu se během příštích 5 let zvýší, na rozdíl od trhu v Německu a Japonsku.
Do roku 2020 vzroste objem Big Data v Rusku ze současných 1,8 % na 2,2 % celosvětového objemu dat. Množství informací vzroste podle EMC v roce 2020 ze současných 155 exabajtů na 980 exabajtů.
V tuto chvíli Rusko pokračuje v akumulaci objemu informací na úroveň Big Data.
Podle průzkumu CNews Analytics 44 % dotázaných společností pracuje s daty nepřesahujícími 100 terabajtů* a pouze 13 % pracuje s objemy nad 500 terabajtů.

Ruský trh se však bude podle globálních trendů zvyšovat. Od roku 2014 odhaduje IDC velikost trhu na 340 milionů $.
Tempo růstu trhu za předchozí roky bylo 50 % ročně, pokud zůstane na stejné úrovni, pak v roce 2018 objem trhu dosáhne 1,7 miliardy amerických dolarů. Podíl ruského trhu na světovém trhu bude asi 3 %, přičemž se zvýšil ze současných 1,2 %.

Mezi nejvíce vnímavá odvětví k používání velkých dat v Rusku patří:

• Maloobchod a banky, pro ně je především důležité analyzovat zákaznickou základnu, vyhodnotit účinek marketingových kampaní;
• Telecom - segmentace zákaznické základny a monetizace provozu;
• Veřejný sektor - reporting, analýza žádostí veřejnosti atd.;
• Ropné společnosti - sledování práce a plánování výroby a marketingu;
• Energetické společnosti - tvorba inteligentních elektrizačních soustav, provozní monitoring a prognóza.

Ve vyspělých zemích se Big Data rozšířila v oblastech zdravotnictví, pojišťovnictví, hutnictví, internetových společností a výrobních podniků, pravděpodobně v blízké budoucnosti efekt implementace Big Data ocení i ruské firmy z těchto oblastí a přizpůsobí tyto technologií ve svých odvětvích.
V Rusku, stejně jako ve světě, bude v blízké budoucnosti trend k vizualizaci dat, analýze mediálních souborů a rozvoji internetu věcí.
I přes obecnou stagnaci ekonomiky analytici v příštích letech předpovídají další růst trhu s velkými daty, a to především díky tomu, že využívání technologií velkých dat dává jeho uživatelům konkurenční výhodu ve smyslu zvýšení provozní efektivity podnikání, přilákání dalšího toku zákazníků, minimalizace rizik a implementace technologií pro předpovídání dat.
Můžeme tedy konstatovat, že segment Big Data v Rusku je ve fázi formování, ale poptávka po těchto technologiích se každým rokem zvyšuje.

Hlavní výsledky analýzy trhu

Světový trh

Trh s velkými daty je na konci roku 2014 charakterizován následujícími parametry:

• objem trhu dosáhl 28,5 miliardy amerických dolarů, což představuje nárůst o 45 % ve srovnání s předchozím rokem;
• většinu příjmů Big Data trhu tvořily služby, jejich podíl se rovnal 40 % celkových příjmů;
• 36 % příjmů pocházelo z aplikací a analytiky pro velká data, 17 % z výpočetního hardwaru a 15 % z úložných technologií;
• Pro řešení problémů s velkými daty jsou nejoblíbenější in-memory platformy společností jako SAP, HANA a Oracle.
• počet společností s realizovanými projekty v oblasti Big Data managementu vzrostl o 125 %;

Prognóza trhu na další roky je následující:

• v roce 2015 objem trhu dosáhne 38,4 miliard amerických dolarů, v roce 2020 - 68,7 miliard amerických dolarů;
• průměrná míra růstu bude 16 % ročně;
• průměrné firemní výdaje na technologie Big Data budou 13,8 milionu USD pro velké společnosti a 1,6 milionu USD pro malé a střední podniky;
• technologie budou mít největší převahu v oblastech zákaznických služeb a cíleného marketingu;
• v roce 2017 se struktura globálního trhu změní směrem k převaze uživatelských společností z rozvojových zemí.

ruský trh

Ruský trh Big Data je ve fázi formování, výsledky roku 2014 jsou následující:

• objem trhu dosáhl 340 milionů amerických dolarů;
• průměrná míra růstu trhu v předchozích letech byla 50 % ročně;
• celkové množství nashromážděných informací bylo 155 exabajtů;
• 10 % ruských společností začalo používat technologie Big Data;
• Big Data technologie byly populárnější v bankovním sektoru, telekomunikacích, internetových společnostech a maloobchodu.

Prognóza pro ruský trh na příští roky je následující:

• objem ruského trhu v roce 2015 dosáhne 500 milionů amerických dolarů a v roce 2018 - 1,7 miliardy amerických dolarů;
• podíl ruského trhu na světovém trhu bude v roce 2018 činit asi 3 %;
• množství nashromážděných dat v roce 2020 bude 980 exabajtů;
• údaje vzrostou na 2,2 % celosvětových údajů v roce 2020;
• Největší oblibu si získají technologie vizualizace dat, analýza mediálních souborů a internet věcí.

Na základě výsledků analýzy můžeme konstatovat, že Big Data trh je stále v rané fázi vývoje a v blízké budoucnosti budeme pozorovat jeho růst a rozšiřování schopností těchto technologií.

Děkujeme, že jste si našli čas na přečtení tohoto rozsáhlého díla, přihlaste se k odběru našeho blogu - slibujeme mnoho nových zajímavých publikací!

Přednášející: Philip Katz

Tazatel: Alexey Karlinsky

Mnohokrát jsme uvěřili příslibům sci-fi o neuvěřitelné budoucnosti a pokaždé naše naděje rozbila nudná přítomnost. Stále žijeme na zemi a naše auta nelétají vzduchem. "Byli jsme znovu podvedeni!" - myslíme si a za všemi těmito fantaziemi nám opět chybí okamžik, kdy budoucnost skutečně přichází.

Tentokrát se tak stalo s příchodem Big Data. Můžeme je ignorovat, ale už nemůžeme popírat jejich dopad na náš život. Phillip Katz, architekt a specialista na velká data, vypráví, jak velká data v tichosti změnila naše města a způsob, jakým v nich žijeme.

Philip je multidisciplinární specialista, vzděláním architekt, specialista na velká data. Absolvent Kazaňské univerzity architektury, Strelka Institute of Media, Architecture and Design, jeden ze zakladatelů projektu Branch Point. Vyučuje na St. Petersburg National Research University of Information Technologies, Mechanics and Optics a zabývá se analýzou dat pro Rambler&Co.

zavřít

Philipe, řekni nám prosím, jak se dnes technologie Big Data používají v architektonickém designu a urbanismu?

Začněme tím, že před čtyřmi lety, když jsem studoval na Strelce v Rusku, o Big Data nikdo nevěděl. Svět o nich jen mluví. O rok později o nich v Rusku všichni věděli a byli s nimi nemocní. Zdá se mi, že jde do značné míry o tradiční dynamiku – kdy nová technologie se zvedne na piedestal, je chválen a pak se proti ní celkem rychle objeví skepse. Technologie je sražena ze svého piedestalu a poté se začleňují do společnosti v uvolněnějším režimu.

Pokud mluvíme o architektonické nebo urbanistické analýze, pak se mi zdá, že dnes je to jakýsi kompromis mezi moderní technologie a tradiční analýzy. Například před rokem jsem pomáhal svému příteli přihlásit se do architektonické soutěže pro studenty ve Spojených státech. Pro ně správce města poskytl soubory GIS docela dobrý popisúdaje: dopravní cesty, objem těchto tras, kde se každoročně objevují louže, kde se každých pět let zatopí, kde jsou bloky s vysokou úrovní daní, kde jsou bloky s vysokým procentem černochů. Ve Spojených státech je podrobnost statistik vysoká a data celkem dobře shrnuta, takže i na úrovni soutěžního projektu bychom mohli dostat některé věci hotové. Nemusely být shromažďovány ani analyzovány.

Většina z nejužitečnějších analýz se podle mého názoru scvrkává na skutečnost, že některá data berete jako fakta a na jejich základě navrhujete. A přestože data mohou být pro všechny stejná, stále se čtou a chápou zcela odlišnými způsoby.

Google tvrdí, že jejich samořídící auta mohou snížit počet dopravních nehod a pomoci efektivněji využívat palivo a prostor na silnicích / foto: Google.com

Jak jste ve své praxi využívali technologie Big Data?

My na dlouhou dobu dělali projekt "Branch Point" s mými kolegy Edikem Khaimanem a Sašou Boldyrevou - snažili se nějak diskutovat a rozvíjet digitální design a samozřejmě pak naším společným postulovaným snem a konečným cílem byl design založený na parametrech. Naším konečným snem přitom bylo právě najít nová formální řešení založená na nějakém záludném kódu, který by splňoval naše požadavky, ale výsledek by nebyl takový, jaký jsme si stanovili, ale nějaký nečekaný - krásný .

Analytics je druh umění, kde algoritmus pro práci s daty je v každém případě obrázek

Ve zralém věku projektu jsme všichni pochopili, že tento sen byl nejen nesplnitelný, ale kontroverzní byla spíše myšlenka, že by budova měla být kompletně navržena na základě dat. Je to spíše něco, o co je třeba usilovat, ale pochopte, že se tam nikdy nedostanete.

Zde pro mě nastává důležitý dialektický moment. Předpokládejme, že vytváříme algoritmus a chápeme, že především kvůli genetickým požadavkům vyžaduje poměrně jednoduché, ale přesto formální parametry. A ve složitém systému, a budova nebo čtvrť je složitý systém, se okamžitě objeví mnoho takových parametrů, které je třeba přivést ke společnému jmenovateli. Vždy potřebujete primární formální gesto, nějakou formu: válec nebo rovnoběžnostěn, pyramidy a tak dále.

Pokud se podíváme na práci Zahy Hadid, pak je v jádru projektu vždy nějaké elegantní formální gesto. Lze jej pak digitálně upravit, ale vždy zůstává srdcem všeho a patří do pera autora. Genetický algoritmus pak může vybrat nejlepší z výsledných možností, ale nikdy je nebude schopen vymyslet.

To znamená, že jádrem designu bude vždy lidská vůle. Jak se v tomto případě změní míra lidského zapojení do designu s rozvojem Big Data?

V budoucnu vidím jakýsi analytický motor – velký a komplexní kvantový počítač, například telepatů a parapsychologů, ponořených do deprivačních komor, kteří něco předpovídají nebo navrhují něco, co stojí za pozornost.

Myslím, že člověka z procesu nikdy nevytlačí. Všechny tyto věci (metody analýzy velkých dat) se nazývají algoritmy pomoci při rozhodování a jejich podstatou je co nejúčinněji odstranit anomálie v dynamice procesů a minimalizovat procento technické práce na osobu. Analytik musí být odborníkem na práci s nimi a algoritmy mu mohou přinést vše na stříbrném podnose, kromě skutečného řešení. Samozřejmě existuje technická hranice pro vstup do této disciplíny, ale samotná analytika je umělecká forma, kde algoritmus pro práci s daty je obrázek. Veledílo.

Drony vybavené kamerou mohou nezávisle hlídkovat danou oblast a přenášet snímky do informačního centra v reálném čase / foto: Kevin Baird / Flickr.com

Velká data nemohou pokrýt všechny informace. Jak se vypořádat s tím, co se při analýze Big Data nebere v úvahu?

Analytici jsou totiž často kritizováni za to, že popisují pouze ty, kteří jsou připojeni k internetu, a ti, kteří k internetu připojeni nejsou, jsou z analýzy vyřazeni. To je naprostá pravda, ale má to svou vlastní obrannou logiku. Cynicky řečeno, pokud neznáme problémy babičky, která se stydí psát na internet, protože na to není zvyklá, pak můžeme její problémy ignorovat, jednoduše proto, že pokud použijeme tento přístup, pak buď babička, nebo její vnuk ji podpoří, případně napíše.

Další problém spočívá v tom, že jakákoli technologie pro sběr nebo ukládání dat je vždy prvním chybovým faktorem. Zároveň je z principu nemožné vysledovat veškerou multifaktoriálnost – proč lidé hráli tak a ne jinak. Big Data zpočátku neposkytují odpověď. Umožňují vám klást vážné otázky.

Jak příležitost klást otázky novým způsobem mění naše vnímání města?

Edward Hyman kdysi vymyslel termín „plagopolis“. Myšlenka je taková, že moderní město se stává stále aktivnějším a dynamičtějším. Dnes je to jakési prostředí s vlastními toky, pohyby, kde se kapalina, která přetéká v cévách, neustále samoreguluje. Zároveň můžete pouze uchopit bod a opravit jej velmi podmíněně. Okamžitě se změní a změní další body kolem sebe. Pro mě je tento nápad docela praktická věc, se kterou se dá pracovat. Nyní se ukazuje, že město už nemůžeme vnímat jako něco mechanického.

Je tato myšlenka přijata v ruském urbanismu?

Na úrovni městského plánování v tomto ruském smyslu to není zřejmé. Tak či onak začínáme kreslením cest, ulic a věříme, že to tak nakonec bude. V nejlepším případě si začneme myslet, že bychom měli zkontrolovat, jak to udělat správně, a pak to bude buď tak, jak kreslíme, nebo lidé sami všechno později předělají.

Big Data neposkytují odpověď. Umožňují vám klást vážné otázky.

Obecně platí, že obvinění založená na stereotypech a abstraktních představách jsou dnes velmi otravná. Navíc architekti a urbanisté mě v první řadě přivádějí k šílenství. Jednoduše říkají, že „chodci jsou lepší než motoristé“ nebo že „kreativní podnikání promění průmyslový park v ráj na zemi“. Za každou z těchto věcí bych chtěl mít základní výpočet, protože to tak může být, ale nemusí a ve většině případů je to nějak špatně.

Jak nám pak mohou Big Data pomoci lépe porozumět městu?

Město je vždy slon z pohádky o nevidomých, kteří se ho snaží popsat hmatem. Pracujeme pořád stejně – někdo se chytá za zadnici, někdo za ucho, někdo za kufr. A všichni zároveň říkají, že vidí slona. V našem případě také všichni věříme, že jsme vidící a víme, co je město.

Big Data nás chrání před dotykem pouze jednoho místa, dávají nám možnost si zhruba představit obecný tvar slona a pochopit, že se přibližně tohoto místa dotýkáme, ale jsou i další. Dostávám obrovské zprávy o městě a vždy se mohu dostat do nějakých konkrétních deseti řádků dat, podívat se a zeptat se: proč to tak je? Obvykle se to stává začátkem nějakého vyšetřování, výzkumu, historie.

Data GIS v kombinaci s algoritmy prostorového modelování pomáhají předpovídat úroveň izolace ve vybrané oblasti / fotografie: Trevor Patt / Flickr.com

Jsou tyto úvahy inspirované Big Data nějak později vyjádřeny ve skutečných projektech?

Existuje metoda tzv. „městské akupunktury“. Jeho podstata spočívá v tom, že město hledá jakoby uzly bolesti a v těchto malých uzlech - v prostorech maximálně bloku, nejlépe v jedné budově, nebo i na nějaké malé ploše mezi budovami - je provedena nějaká změna. Vzhledem k velikosti rozpočtu je zcela mikroskopický a změny pro město jako celek, pokud se tyto uzly správně spočítají, jsou obrovské.

Ačkoli „Městská akupunktura“ je dnes spíše spekulativním projektem, již nyní existují chytré prostorová řešení, například se semafory v jednom systému. Ve spojení s chytrými silnicemi vám umožní změnit prostor, což může způsobit nečekané výfuky. I dnes dochází k robotizaci průmyslových odvětví a to také přidává hodnotu. Pokud teďdronyzačne přepravovat zboží, poté městská logistikasmerdzhitsya (z angličtiny ke sloučení — "spojit"— A.K.)- a jsou čísla a tady jsou čísla. S tímhle bude určitě mnohem jednodušší pracovat než s živými truckery.

Technologie, kterou se momentálně inspiruji a doufám, že z ní vzejde něco architektonického, je nový projekt Amazon, když to stojí za to chytrý reproduktor ve středu domu, který naslouchá všem vašim otázkám a odpovídá na ně. Něco jako Siri, jen v domě. Tato technologie pravděpodobně změní smysl města pro prostor více než jakýkoli jiný algoritmus.

Město se tedy bude stále více spoléhat na software?

Přesně tak. Nyní se I/O a různá rozhraní pro získávání informací osobou institucionálně hodně mění. Z mého pohledu mi služba zavolání levného taxi mění život mnohem více než 90 procent urbanistických rozhodnutí. Taxíky v mém vnímání města hodně mění. Přes všechny předchozí zkušenosti s příchodem Yandexu. Taxi a konkurence taxislužeb se ukázalo, že naši taxikáři jsou slušní, peníze jsou specifické a reagují rychle - vůbec ne jako v žádném New Yorku.

Levná taxislužba mi mění život mnohem více než 90 procent urbanistických rozhodnutí

Myslím, že nejdůležitější službou, která by mohla mít obrovské zisky z uberifikace, je prostituce. Hypotetický uživatel je stydlivý a možná i proto mnoho lidí služeb prostitutek nevyužívá – připadá jim to něco nebezpečného, ​​děsivého a nepochopitelného. Sedět u svého telefonu – určitě by to pro ně bylo mnohem jednodušší. To by samozřejmě pasákům okamžitě vzalo chleba a zcela změnilo byznys. Prostě kolosální! Myslím, že se to brzy stane v nějaké liberální zemi.

Myslíte si, že lidé budou moci v budoucnu osobně pracovat s technologiemi Big Data?

Myslím, že to všechno k tomu směřuje. Technologická náročnost se zvýší, a to je pochopitelné, ale v praxi se naučíme, jak to správně zabalit. Hladká rozhraní(z angličtiny uhlazený— tenký, půvabný— A.K.)dnes do jisté míry zjednodušit naše vnímání toho, jak se všechno děje. Tady tlačítko, tady pipka a je to. Dnes platí, že čím více se můžete před průměrným člověkem schovat, aniž byste ztratili funkci, tím lépe, protože lidé jsou tak trochu zastrašeni vší tou složitostí. Známá technologie jako v Minority Report se sice neobjevila, ale smyslně film velmi správně popisuje, co se teď bude dít.

Co to bude? Čemu podle vás budou velká data čelit v blízké budoucnosti?

Objevily se jako jakési módní téma a nyní se pomalu vytrácejí, protože ty nejočividnější věci už byly hotové. Dále bude nutné dopracovat technické mechanismy v metodice - nikoli romantickou, ale utilitární formou. Jsem si jistý, že za pět let bude v kanceláři primátora, na ministerstvech a ve firmách docela dobře placená a možná i dost nudná pozice nějakého digitálního analytika.

Big Data přitom mají určitou nemoc. Jsou lidé, kteří rozumí tomu, co dělají, a jsou lidé, kteří se tím živí, kteří ve skutečnosti nechápou, jak velká data fungují. Díra mezi profesionálními technology a lidmi, kteří chápou, proč se to všechno může stát, vždy existuje v každém podnikání, v jakékoli vědě, a to je jistě problém. Lidé, kteří znají technologickou stránku a experimentují s novými řešeními, jen zřídka dělají skutečně užitečné věci a lidé, kteří vědí, jak tento vývoj aplikovat, také nemohou sami vytvořit kvalitní produkt. Jediným způsobem, jak se rozvíjet při práci s velkými daty, je proto najít nové způsoby interakce mezi specialisty.

Společnost MegaFon vyvinula a poskytla pro použití dceřiným společnostem ruských drah testovací verzi služby pro analýzu osobní dopravy na základě velkých dat, uvádí RBC s odkazem na zástupce operátora Maxima Motina. Nástroj pomáhá určit velikost a podrobné specifikace dopravním trhu, jakož i podílu dopravního podniku na něm v režimu blízkém reálnému času.

Nyní probíhají přípravné práce na implementaci systému pro analýzu velkých dat, potvrdil Oleg Yemchenko, vedoucí oddělení ERP systémů (systém pro plánování podnikových zdrojů) oddělení informačních technologií FPC RŽD. "To lze realizovat pouze v konkrétním projektu v roce 2016," řekl Yemchenko.

Geoanalytická služba Megafon byla spuštěna již v roce 2013, původním cílem bylo předpovídat zatížení sítě. S jeho pomocí můžete odhadnout přesný objem osobní dopravy, získat informace o trasách (kdo, kdy, kam a kam jede), rozložení podle typu dopravy. Služba také vyhodnocuje solventnost cestujících a charakter cestování (služební cesty, turistika, osobní potřeby). Všechna data jsou anonymizována.

Je možné analyzovat více než 10 000 událostí za sekundu pomocí více než tisíce parametrů, řekl Roman Postnikov, ředitel segmentového marketingu a zákaznické analýzy společnosti MegaFon. Za poslední tři roky se nashromáždilo více než 5 petabajtů informací – objem srovnatelný s více než 30 miliardami fotek na Facebooku. Postnikov zajišťuje, že každý klient má svůj vlastní seznam parametrů pro analýzu, to znamená, že ve skutečnosti mluvíme o univerzálním cloudové řešení, který mohou využívat úplně jiné typy zákazníků, kteří potřebují analyzovat velké množství dat.

Megafon to spočítal přepravní společnosti V Rusku se ročně utratí více než 1,2 miliardy rublů na výzkum osobní dopravy. „Samotné společnosti přitom mohou shromažďovat pouze část dat, která mají k dispozici, a naše služba umožňuje vidět celý obraz trhu jako celku,“ říká Postnikov. I když díky zavedení služby bude dopravce schopen zvýšit svůj podíl na celkovém trhu osobní přepravy o 1,5–2 %, jde podle něj o miliardy rublů.

Big Data řešení lze také použít pro správu městské infrastruktury. Expertní centrum elektronického státu, moskevská vláda se chystá uzavřít smlouvu, na základě které bude město do dvou let dostávat agregovaná depersonalizovaná geoprostorová data uživatelů místních telekomunikačních operátorů v 11 různých sekcích. Spotřebiteli těchto informací budou Státní jednotný podnik "NI a PI generálního plánu Moskvy", Ministerstvo dopravy a rozvoje silniční infrastruktury, Ministerstvo kultury a další metropolitní oddělení.

V Bashkirii byla při analýze toku turistů poprvé použita „velká data“. Státní výbor pro cestovní ruch Běloruské republiky si objednal studii od Uralského centra pro monitorování a analýzu, která byla provedena na základě dynamiky pohybu účastníků mobilních telefonů.

Podle studií navštívilo republiku od ledna do listopadu 2018 1,656 milionu turistů, z nichž 60 % tvoří muži ve věku 30 až 45 let, zpravidla zaměstnanci komerčních organizací s vyšším vzděláním, s příjmem 40 tisíc rublů měsíčně. Průměrná délka pobytu je 3,8 dne.

Vrchol turistického proudu připadá na léto. V červnu 2018 byl počet vstupujících 179 tisíc lidí, v červenci - 215 tisíc lidí. Minimální číslo bylo pozorováno v únoru - 118 tisíc lidí.

Hosté přijeli z různých oblastí Ruska. Největší podíl návštěvníků - Moskva, Moskevská oblast, Tatarstán - po 11 %. Obyvatelé oblasti Orenburg, Čeljabinsk a Samara se na turistickém toku podíleli 9 %, 7 %, 6 %. Dále Sverdlovská oblast a KhMAO – každý 3,8 %, region Ťumeň – 3 %, území Perm a Udmurtia – každý o něco více než 2 %.

Zahraniční turisté přijeli ze sousedních zemí, dále Indie, Španělska, Itálie, Jemenu, Německa, Turecka, Egypta, Nigérie, Izraele, USA, České republiky, Saúdské Arábie, Bulharska, Íránu, Číny a Finska.

Byla provedena i sociologická studie formou průzkumů mezi turisty. 37 % dotázaných zvolilo k pobytu hotel nebo hotel. 17 % bydlelo u přátel nebo příbuzných, 11 % preferovalo ubytovny. Podle účelů cestování byl turistický tok rozdělen takto: cesty za příbuznými (30 %), obchodní turistika (28 %), zdravotní turistika (18 %), poznávací (12 %), aktivní (8 %), pouť cestovní ruch (0,2 %) .

40 % turistů nepřijelo do Baškirie poprvé. 20 % přišlo na doporučení přátel (kolegů, příbuzných). 24% zisk na služební cestě. Nejméně využívanými zdroji informací při volbě směru cesty byly u respondentů internetové portály (3,4 %), sociální sítě (1,2 %), reklama v médiích (0,5 %).

V aktuálním roce 2019 bude také analyzována turistická atraktivita některých regionů republiky, informoval státní výbor.

„Geoanalytika pomocí schopností mobilních operátorů je pokročilá metoda počítání toku turistů. V současné době má takové zkušenosti pouze Moskva a dovolte mi připomenout, že tato zaujímá první místo v národním turistickém hodnocení ve federálním okruhu Volha, Bashkortostan - druhé, “řekl Azamat Galin, zástupce vedoucího Státního výboru pro cestovní ruch a Podnikání Běloruské republiky.

Podle portálu Turstat se Bashkiria na konci roku 2018 dostala do Top 15 v hodnocení domácího a příjezdového cestovního ruchu a obsadila 13. místo s počtem turistů nad 2,5 milionu lidí (+13 % oproti roku 2017).

Tyto iniciativy vlády Bashkiria jsou velmi zajímavé a užitečné pro studium toku turistů a plánování jejich aktivit s cílem propagovat turistické produkty regionu prostřednictvím komplexního poskytování služeb turistům, včetně využití IT technologií.

Mimochodem, zprávy zmiňují Nižnij Nogorod. Již dříve jsme informovali, že toto město zavedlo projekt „Karta hosta“, který vám umožní sledovat pohyb turistů navštěvujících památky města, jejich zájmy, turisté budou moci získat různé slevy a také bezplatné použití veřejná doprava.

Všechny tyto iniciativy se realizují v regionech izolované a izolované, bez federální účasti.

O ČEM TO MLUVÍŠ?

Podstatou je, že v současné době se řeší otázka podávání elektronických víz pro cizí občany přijíždějící do Ruské federace. Používání takových víz pomocí speciálních digitálních technologií bez integrace systému migrace a registrace turistů v hotelech a výše zmíněných služeb pomocí „karty hosta“ podle Asociace „Bezpečnost cestovního ruchu“ nedává smysl. To není vládní přístup.

Podle našeho názoru by systematický, státní přístup měl zahrnovat zohlednění všech těchto prvků. Turista se musí po obdržení elektronického štítku jednou zaregistrovat na hranicích a poté se pohybovat po zemi, registrovat se v hotelech (již bez migrační registrace), bez problémů navštěvovat muzea, dostávat různé slevy, využívat MHD zdarma nebo se slevami. A současně tento přístup umožní jak zajistit národní bezpečnost tím, že zaznamenává pohyb cizinců, tak osvobodí hoteliéry od bolestí spojených s registrací a migračním účetnictvím a orgánům řízení cestovního ruchu v ustavujících subjektech Ruské federace umožní přijímat informace o nejoblíbenějších objektech regionu (města) a na jejich základě tvořit turistické nabídky, čímž získáte maximální užitek.

A VŠECHNO JE PRO TOHLE!

A to nařízení vlády Ruská Federace 6. srpna 2015 č. 813, kterým byl schválen Řád dne státní systém migrační a registrační záznamy, jejichž implementace může významně ovlivnit pohostinství a obecně zvýšit příliv turistů. Přesně o tom hovořil předseda představenstva Asociace „Bezpečnost cestovního ruchu“ dne 06.12.2018 v Radě federace. Sergej Gruzdúčastníci kulatého stolu na téma „Aktuální otázky používání elektronických víz pro cizí státní příslušníky přijíždějící do Ruské federace a zlepšování legislativy Ruské federace v této oblasti“

Připomeňme, že otázky zlepšení migračních a registračních záznamů, zjednodušení vízového režimu, vytvoření a zavedení jednotného biometrického identifikátoru pro cestování budou předmětem diskuse v rámci Mezinárodní fórum "Bezpečnost cestovního ruchu" - TSIF - 2019.Toto fórum je klíčovou odbornou akcí, kde na jedné platformě diskutují zástupci úřadů, odborné veřejnosti a byznysu o aktuálních otázkách zajištění bezpečnosti cestovního ruchu. Formát fóra umožňuje 4 průběžné relace.

2,5 miliardy gigabajtů dat. Analytické společnosti předpovídají, že množství dat generovaných ročně dosáhne do roku 2020 43 bilionů gigabajtů. Mezi všemi těmito informacemi: tweety, reposty a videa je jedna, kterou mnoho společností používá k vývoji služeb. Lidé již našli využití velkých dat v marketingu k vyhodnocení přání zákazníků. Big Data se využívají také v medicíně ke zlepšení diagnostiky a v bankovním prostředí k vytváření personalizovaných nabídek. Velká data se používají také v automobilovém sektoru, což řidičům pomáhá rychleji dosáhnout cíle. Jak? O tom si dnes povíme.

Pomozte vyhnout se dopravním zácpám

Data pomáhají řidičům dostat se do cíle v pravém slova smyslu. Mluvíme o navigátorech – staví nejkratší trasu bez dopravních zácp a prací na silnici.

Navigátoři každých pár sekund odesílají své souřadnice do systému poskytovatele aplikace. Na základě přijatých dat algoritmus sestaví stopu, tedy trasu s informací o rychlosti pohybu. Na základě součtu stop přijatých od mnoha řidičů jsou detekovány dopravní zácpy.

Automobily jsou součástí sítě a tvoří stabilní tok informací. Zároveň si mohou vyměňovat data s okolní infrastrukturou. Dohlížecí kamery instalované na křižovatkách ve městě lze využít i k detekci dopravních zácp. Výzkumníci pracují na různých možnostech implementace takových řešení.

Například pro vytvoření komunikace mezi vozidly a mezi vozidly a infrastrukturou vědci navrhují použití modulů OBU (On-Board Units), které určují polohu a rychlost vozu v omezených časových intervalech. Tyto informace se dostanou do RSU (Roadside Unit) a poté do clusterů odpovědných za agregaci a zpracování dat.

Clustery přijímají data přes API a interpretují je. Pokud se například několik uživatelů aplikace navigátor pohybuje nízkou rychlostí v jedné oblasti, systém pochopí, že pohyb je v ní obtížný. Můžete si přečíst více o jednom z navrhovaných algoritmů.

Uživatelé mohou službě posílat data také sami: informace o nehodách, opravách, výmolech atd. Agregátor po částech shromažďuje přijaté informace do jednoho obrázku a porovnává data s GPS souřadnice, ruší místa silničního přetížení. Na základě těchto údajů se budují navigační trasy.

Když je trasa postavena, aplikace ji sleduje, aby měla aktuální informace o situaci na cestě. Algoritmus je zodpovědný za vytvoření trasy, která by byla bez dopravních zácp. Pokud je na trase dopravní zácpa, algoritmus hledá jiný způsob. Pokud alternativní možnosti(i s dopravními zácpami, ale rychlejšími) není nalezen, pak trasa zůstává stejná. Zjednodušená podoba tohoto algoritmu je uvedena níže:

Blokové schéma varianty algoritmu pro sledování trasy

Vědci jsou přesvědčeni, že přesnost takových systémů výrazně vzroste, až všechna nebo téměř všechna auta spolu začnou komunikovat a vyměňovat si data. V budoucnu změní pravidla chování na silnici. Tento názor sdílí Tim Lomax, analytik Texas A&M Transportation Institute.

„Pokud spolu auta začnou mluvit, nebudeme potřebovat semafory,“ říká Tim. "Auto, které se blíží ke křižovatce, oznámí svůj záměr ji přejet a okolní vozidla budou vědět, jak srážce zabránit." Lomax říká, že to bude krok k širokému používání samořídících aut.

Odvezou vás na místo

Samořídící auta jsou další oblastí, kde by velká data mohla mít významný dopad. Samořízená auta jsou součástí internetu věcí a vedou k nárůstu objemu generovaných dat. Aby mohl autopilot sestavit trasu, musí pochopit, po jakých silnicích bude muset jet a co ho cestou potká. K tomu auta kromě vlastních senzorů čerpají informace z takzvaných map prostředí. V budoucnu bude tento seznam doplněn o další účastníky provozu a prvky infrastruktury: semafory, budovy, dokonce i stromy.