„Wielkie dane”- temat, który jest aktywnie dyskutowany przez firmy technologiczne. Niektórzy z nich rozczarowali się big data, inni wręcz przeciwnie, wykorzystują je do maksimum dla biznesu... . Mamy nadzieję, że informacje będą interesujące i przydatne.

CO TO JEST BIG DATA?

Kluczowe cechy

Big Data to obecnie jeden z kluczowych motorów rozwoju Technologie informacyjne. Ten kierunek, stosunkowo nowy dla rosyjskiego biznesu, stał się powszechny w krajach zachodnich. Wynika to z faktu, że w dobie informatyki, zwłaszcza po boomie portali społecznościowych, dla każdego internauty zaczęła gromadzić się znaczna ilość informacji, co ostatecznie dało początek kierunku Big Data.

Termin „Big Data” wzbudza wiele kontrowersji, wielu uważa, że ​​oznacza on tylko ilość zgromadzonych informacji, ale nie zapominajmy o stronie technicznej, obszar ten obejmuje technologie przechowywania danych, obliczenia i usługi.

Należy zauważyć, że obszar ten obejmuje przetwarzanie dużej ilości informacji, które są trudne do przetworzenia tradycyjnymi metodami*.

Poniżej znajduje się tabela porównawcza bazy tradycyjnej i Big Data.

Sferę Big Data charakteryzują następujące cechy:
Tom - objętość, zgromadzona baza danych to duża ilość informacji, które są pracochłonne w przetwarzaniu i przechowywaniu w tradycyjny sposób, których wymagają nowe podejście i zaawansowane narzędzia.
Prędkość - prędkość, znak ten wskazuje zarówno na rosnące tempo gromadzenia danych (90% informacji zostało zebranych w ciągu ostatnich 2 lat), jak i na tempo przetwarzania danych, ostatnio coraz większe zapotrzebowanie na technologie przetwarzania danych w czasie rzeczywistym.
Różnorodność – odmiana, tj. możliwość jednoczesnego przetwarzania ustrukturyzowanych i nieustrukturyzowanych informacji o różnych formatach. Główna różnica między ustrukturyzowanymi informacjami polega na tym, że można je sklasyfikować. Przykładem takich informacji są informacje o transakcjach klientów.
Informacje nieustrukturyzowane obejmują wideo, pliki audio, dowolny tekst, informacje pochodzące z sieci społecznościowych. Do tej pory 80% informacji znajduje się w grupie nieustrukturyzowanych. Ta informacja wymaga kompleksowej analizy, aby była przydatna do dalszego przetwarzania.
Prawdziwość – Wiarygodność danych, użytkownicy zaczęli przywiązywać wagę do rzetelności dostępnych danych. Firmy internetowe mają więc problem z oddzieleniem czynności wykonywanych przez robota i osobę na stronie firmy, co ostatecznie prowadzi do trudności w analizie danych.
wartość - wartość zgromadzonych informacji. Big Data powinno być przydatne dla firmy i wnosić do niej jakąś wartość. Na przykład pomoc w usprawnieniu procesów biznesowych, raportowaniu czy optymalizacji kosztów.

Jeśli powyższe 5 warunków jest spełnionych, skumulowane ilości danych można sklasyfikować jako duże.

Zastosowania Big Data

Zakres technologii Big Data jest szeroki. Za pomocą Big Data można więc poznać preferencje klientów, skuteczność kampanii marketingowych, czy przeprowadzić analizę ryzyka. Poniżej przedstawiamy wyniki badania IBM Institute na temat kierunków wykorzystania Big Data w firmach.

Jak widać z diagramu, większość firm korzysta z Big Data w obszarze obsługi klienta, drugim najpopularniejszym kierunkiem jest efektywność operacyjna, w obszarze zarządzania ryzykiem Big Data jest obecnie mniej powszechny.

Należy również zauważyć, że Big Data to jeden z najszybciej rozwijających się obszarów technologii informatycznych, według statystyk łączna ilość otrzymywanych i przechowywanych danych podwaja się co 1,2 roku.
W latach 2012-2014 ilość danych przesyłanych miesięcznie sieci komórkowe, wzrosła o 81%. Cisco szacuje, że w 2014 roku wolumen ruch mobilny wyniosła 2,5 eksabajta (jednostka miary ilości informacji równa 10^18 standardowych bajtów) miesięcznie, a już w 2019 roku będzie równa 24,3 eksabajta.
Tym samym Big Data jest już ugruntowaną dziedziną technologii, nawet pomimo swojego stosunkowo młodego wieku, która upowszechniła się w wielu obszarach biznesu i odgrywa ważną rolę w rozwoju firm.

Technologie Big Data

Technologie wykorzystywane do zbierania i przetwarzania Big Data można podzielić na 3 grupy:

• Oprogramowanie;
• Ekwipunek;
• Usługa.

Najczęstsze podejścia do przetwarzania danych (PD) obejmują:
SQL - ustrukturyzowany język zapytań, który umożliwia pracę z bazami danych. Za pomocą SQL można tworzyć i modyfikować dane, a tablicą danych zarządza odpowiedni system zarządzania bazą danych.
NoSQL - termin ten oznacza Not Only SQL (nie tylko SQL). Zawiera szereg podejść mających na celu implementację bazy danych, które różnią się od modeli stosowanych w tradycyjnych relacyjnych DBMS. Są wygodne w użyciu przy stale zmieniającej się strukturze danych. Na przykład do zbierania i przechowywania informacji w sieciach społecznościowych.
MapaReduce – model rozkładu obliczeń. Używany do obliczeń równoległych przez bardzo duże zestawy dane (petabajty* lub więcej). W interfejsie programistycznym dane nie są przesyłane do programu w celu przetworzenia, ale program jest przesyłany do danych. Dlatego zapytanie jest osobnym programem. Zasada działania polega na sekwencyjnym przetwarzaniu danych dwoma metodami Map i Reduce. Mapa wybiera wstępne dane, Redukcja agreguje je.
Hadoop - służy do implementacji mechanizmów wyszukiwania i kontekstowych dla witryn o dużym obciążeniu - Facebook, eBay, Amazon itp. Osobliwość jest to, że system jest chroniony przed awarią któregokolwiek z węzłów klastra, ponieważ każdy blok ma co najmniej jedną kopię danych na drugim węźle.
SAP HANA to wydajna platforma NewSQL do przechowywania i przetwarzania danych. Zapewnia wysoka prędkość przetwarzanie żądania. Kolejnym wyróżnikiem jest to, że SAP HANA upraszcza krajobraz systemowy, zmniejszając koszty obsługi systemów analitycznych.

Wyposażenie technologiczne obejmuje:

• serwery;
• wyposażenie infrastruktury.

Serwery zawierają magazyny danych.
Wyposażenie infrastruktury obejmuje narzędzia akceleracji platformy, źródła nieprzerwana dostawa energii, zestawy konsol serwerowych itp.

Usługa.
Usługi obejmują architekturę systemu baz danych, rozwój i optymalizację infrastruktury oraz bezpieczeństwo przechowywania danych.

Oprogramowanie, sprzęt i usługi łączą się, tworząc kompleksowe platformy do przechowywania i analizy danych. Firmy takie jak Microsoft, HP, EMC oferują usługi w zakresie rozwoju, wdrażania i zarządzania rozwiązaniami Big Data.

Zastosowanie w przemyśle

Big Data stało się powszechne w wielu sektorach biznesu. Znajdują zastosowanie w służbie zdrowia, telekomunikacji, handlu, logistyce, firmach finansowych, a także w administracji publicznej.
Poniżej przedstawiamy kilka przykładów zastosowań Big Data w niektórych branżach.

Sprzedaż
Bazy danych sklepów detalicznych mogą gromadzić wiele informacji o klientach, systemie zarządzania zapasami, podaży produktów zbywalnych. Informacje te mogą być przydatne we wszystkich obszarach działalności sklepu.

Tak więc za pomocą zgromadzonych informacji możesz zarządzać dostawami towarów, ich przechowywaniem i sprzedażą. Na podstawie zgromadzonych informacji można przewidzieć popyt i podaż towarów. Również system przetwarzania i analizy danych może rozwiązać inne problemy detalisty, na przykład optymalizować koszty lub przygotowywać raporty.

Usługi finansowe
Big Data umożliwia analizę zdolności kredytowej pożyczkobiorcy, a także jest przydatna do oceny zdolności kredytowej* i underwritingu**. Wprowadzenie technologii Big Data skróci czas rozpatrywania wniosków kredytowych. Za pomocą Big Data można analizować działania konkretnego klienta i oferować odpowiednie dla niego usługi bankowe.

Telekomunikacja
W branży telekomunikacyjnej Big Data jest szeroko wykorzystywana przez operatorów telefonii komórkowej.
Operatorzy komunikacja komórkowa wraz z instytucjami finansowymi posiadają jedną z największych baz danych, co pozwala im na najbardziej dogłębną analizę zgromadzonych informacji.
Głównym celem analizy danych jest utrzymanie dotychczasowych klientów i pozyskanie nowych. W tym celu firmy segmentują klientów, analizują ich ruch i określają przynależność społeczną abonenta.

Oprócz wykorzystywania Big Data do celów marketingowych, technologia służy do zapobiegania nieuczciwym transakcjom finansowym.

Przemysł wydobywczy i naftowy
Big Data znajduje zastosowanie zarówno w wydobyciu kopalin, jak i ich przetwarzaniu oraz marketingu. Na podstawie otrzymanych informacji przedsiębiorstwa mogą wyciągać wnioski dotyczące efektywności zagospodarowania pola, śledzić harmonogram remontów i stan sprzętu oraz prognozować popyt na produkty i ceny.

Według badania Tech Pro Research, Big Data jest najbardziej rozpowszechniona w branży telekomunikacyjnej, a także w przedsiębiorstwach inżynieryjnych, IT, finansowych i rządowych. Zgodnie z wynikami tego badania, Big Data jest mniej popularna w edukacji i opiece zdrowotnej. Wyniki ankiety prezentujemy poniżej:

Przykłady wykorzystania Big Data w firmach

Dziś Big Data jest aktywnie wdrażana w zagranicznych firmach. Firmy takie jak Nasdaq, Facebook, Google, IBM, VISA, Master Card, Bank of America, HSBC, AT&T, Coca Cola, Starbucks i Netflix już korzystają z zasobów Big Data.

Obszary zastosowań przetwarzanych informacji są zróżnicowane i różnią się w zależności od branży i zadań do wykonania.
Następnie przedstawione zostaną przykłady zastosowania technologii Big Data w praktyce.

HSBC wykorzystuje technologie Big Data do przeciwdziałania nieuczciwym transakcjom za pomocą kart plastikowych. Przy pomocy Big Data firma trzykrotnie zwiększyła efektywność ochrony, a dziesięciokrotnie rozpoznawalność nieuczciwych incydentów. Efekt ekonomiczny wprowadzenia tych technologii przekroczył 10 milionów dolarów.

Zwalczania nadużyć Finansowych* WIZA pozwala w tryb automatyczny obliczać transakcje o charakterze oszukańczym, system włączony ten moment pomaga zapobiegać nieuczciwym płatnościom o wartości 2 miliardów dolarów rocznie.

Superkomputer firmy Watson IBM analizuje w czasie rzeczywistym przepływ danych o transakcjach pieniężnych. Według IBM, firma Watson zwiększyła liczbę zidentyfikowanych transakcji oszukańczych o 15%, zredukowała liczbę fałszywych alarmów o 50% i zwiększyła ilość środków chronionych przed tego typu transakcjami o 60%.

Procter & Gamble przy pomocy Big Data projektują nowe produkty i tworzą globalne kampanie marketingowe. Firma P&G stworzyła dedykowane biura Business Spheres, w których można przeglądać informacje w czasie rzeczywistym.
Dzięki temu kierownictwo firmy ma możliwość błyskawicznego testowania hipotez i przeprowadzania eksperymentów. P&G wierzy, że Big Data pomaga w przewidywaniu wyników firmy.

Sprzedawca artykułów biurowych biuromax przy pomocy technologii Big Data analizują zachowania klientów. Analiza Big Data pozwoliła zwiększyć przychody B2B o 13%, obniżyć koszty o 400 000 USD rocznie.

Według Gąsienica , jej dystrybutorzy tracą od 9 do 18 miliardów dolarów rocznych przychodów tylko dlatego, że nie wdrażają technologii Big Data. Big Data pozwoliłaby klientom efektywniej zarządzać swoją flotą poprzez analizę informacji z czujników zainstalowanych na maszynach.

Już dziś można analizować stan kluczowe węzły, stopień ich zużycia, zarządzanie kosztami paliwa i konserwacji.

Grupa Luxottica jest producentem okularów sportowych z takimi markami jak Ray-Ban, Persol i Oakley. Firma wykorzystuje technologie Big Data do analizy zachowań potencjalni klienci i „inteligentny” marketing SMS-owy. Dzięki temu grupa Big Data Luxottica zidentyfikowała ponad 100 milionów najcenniejszych klientów i zwiększyła skuteczność kampanii marketingowej o 10%.

Z pomocą Yandex Data Factory twórcy gier Świat czołgów analizować zachowanie graczy. Technologie Big Data umożliwiły analizę zachowania 100 tysięcy graczy World of Tanks przy użyciu ponad 100 parametrów (informacje o zakupach, grach, doświadczeniu itp.). W wyniku analizy uzyskano prognozę churnu użytkowników. Informacje te pozwalają ograniczyć dbałość o użytkownika i pracować z uczestnikami gry w ukierunkowany sposób. Opracowany model okazał się o 20-30% bardziej wydajny niż standardowe narzędzia do analizy branży gier.

Niemieckie Ministerstwo Pracy wykorzystuje Big Data do analizy napływających wniosków o bezrobocie. Po przeanalizowaniu informacji stało się więc jasne, że 20% świadczeń wypłacono niezasłużenie. Z pomocą Big Data Ministerstwo Pracy obniżyło koszty o 10 mld euro.

Szpital Dziecięcy w Toronto zrealizował projekt Artemis. To system informacyjny, który w czasie rzeczywistym zbiera i analizuje dane o dzieciach. System monitoruje co sekundę 1260 wskaźników stanu każdego dziecka. Projekt Artemis pozwala przewidzieć niestabilny stan dziecka i rozpocząć profilaktykę chorób u dzieci.

PRZEGLĄD GLOBALNEGO RYNKU BIG DATA

Aktualny stan rynku światowego

W 2014 roku Big Data, według Data Collective, stała się jednym z priorytetowych obszarów inwestowania w branżę venture. Według danych portal informacyjny Computerra, wynika to z faktu, że rozwój z tego kierunku zaczął przynosić użytkownikom znaczące rezultaty. W ciągu ostatniego roku liczba firm z wdrożonymi projektami z zakresu zarządzania big data wzrosła o 125%, wielkość rynku wzrosła o 45% w porównaniu do 2013 roku.

Większość przychodów rynku Big Data, według Wikibon, w 2014 roku stanowiły usługi, ich udział wyniósł 40% całkowitych przychodów (patrz wykres poniżej):

Jeśli rozpatrzymy Big Data za rok 2014 według podtypów, to rynek będzie wyglądał tak:

Według Wikibon aplikacje i analityka odpowiadały za 36% przychodów Big Data w 2014 r. z aplikacji i analityki Big Data, 17% ze sprzętu komputerowego i 15% z technologii pamięci masowej. Najmniej przychodów generowały technologie NoSQL, wyposażenie infrastruktury oraz udostępnianie sieci firm (sieci korporacyjne).

Najpopularniejszymi technologiami Big Data są platformy in-memory SAP, HANA, Oracle itp. Wyniki badania T-Systems wykazały, że wybrało je 30% badanych firm. Na drugim miejscu znalazły się platformy NoSQL (18% użytkowników), firmy korzystały również z platform analitycznych firm Splunk i Dell, wybrało je 15% firm. Najmniej przydatne w rozwiązywaniu problemów Big Data, zgodnie z wynikami badania, były produkty Hadoop/MapReduce.

Według badania Accenture w ponad 50% firm korzystających z technologii Big Data koszty Big Data wahają się od 21% do 30%.
Jak wynika z poniższej analizy Accenture, 76% firm uważa, że ​​koszty te wzrosną w 2015 roku, a 24% firm nie zmieni swojego budżetu na technologie Big Data. Sugeruje to, że w tych firmach Big Data stało się już ugruntowanym obszarem IT, który stał się integralną częścią rozwoju firmy.

Wyniki badania Economist Intelligence Unit potwierdzają pozytywny wpływ wdrożenia Big Data. 46% firm twierdzi, że poprawiło obsługę klienta o ponad 10% przy użyciu technologii Big Data, 33% firm zoptymalizowało zapasy i poprawiło produktywność kluczowych aktywów, 32% firm poprawiło procesy planowania.

Big Data w różnych krajów pokój

Do tej pory technologie Big Data są najczęściej wdrażane w firmach amerykańskich, ale teraz inne kraje świata zaczęły wykazywać zainteresowanie. W 2014 roku według IDC kraje Europy, Bliskiego Wschodu, Azji (bez Japonii) i Afryki stanowiły 45% rynku oprogramowania, usług i sprzętu Big Data.

Również, jak wynika z badania CIO, firmy z krajów regionu Azji i Pacyfiku szybko opanowują nowe rozwiązania z zakresu analizy Big Data, bezpiecznego przechowywania i technologii chmurowych. Ameryka Łacińska zajmuje drugie miejsce pod względem liczby inwestycji w rozwój technologii Big Data, przed Europą i USA.
Następnie przedstawiony zostanie opis i prognozy rozwoju rynku Big Data w kilku krajach.

Chiny
Ilość informacji w Chinach to 909 eksabajtów, co stanowi 10% całkowitej ilości informacji na świecie, do 2020 roku ilość informacji osiągnie 8060 eksabajtów, wzrośnie też udział informacji w statystykach światowych, m.in. Za 5 lat wyniesie 18%. Potencjalny wzrost Big Data w Chinach charakteryzuje się jedną z najszybciej rosnących dynamik.

Brazylia
Do końca 2014 roku Brazylia zgromadziła 212 eksabajtów informacji, co stanowi 3% globalnego wolumenu. Do 2020 roku ilość informacji wzrośnie do 1600 eksabajtów, co będzie stanowić 4% informacji na świecie.

Indie
Według EMC ilość zgromadzonych danych w Indiach w 2014 roku wynosi 326 eksabajtów, co stanowi 5% całkowitej ilości informacji. Do 2020 roku ilość informacji wzrośnie do 2800 eksabajtów, co będzie stanowić 6% informacji na świecie.

Japonia
Ilość zgromadzonych danych w Japonii na koniec 2014 roku wynosi 495 eksabajtów, co stanowi 8% całkowitej ilości informacji. Do 2020 roku ilość informacji wzrośnie do 2200 eksabajtów, ale udział Japonii w rynku zmniejszy się i wyniesie 5% całkowitej ilości informacji na całym świecie.
Tym samym wielkość rynku japońskiego zmniejszy się o ponad 30%.

Niemcy
Według EMC ilość zgromadzonych danych w Niemczech w 2014 roku wynosi 230 eksabajtów, co stanowi 4% całkowitej ilości informacji na świecie. Do 2020 roku ilość informacji wzrośnie do 1100 eksabajtów i wyniesie 2%.
Na rynku niemieckim duży udział przychodów, według prognoz Experton Group, będzie generował segment usług, którego udział w 2015 r. wyniesie 54%, a w 2019 r. wzrośnie do 59% udział oprogramowanie a sprzęt, wręcz przeciwnie, ulegnie zmniejszeniu.

Ogólnie rzecz biorąc, wielkość rynku wzrośnie z 1,345 mld euro w 2015 r. do 3,198 mld euro w 2019 r., przy średniej stopie wzrostu wynoszącej 24%.
Tym samym na podstawie analityków CIO i EMC możemy stwierdzić, że rozwijające się kraje świata staną się w najbliższych latach rynkami aktywnego rozwoju technologii Big Data.

Główne trendy rynkowe

Według IDG Enterprise w 2015 r. firmy Big Data wydadzą średnio 7,4 mln USD na firmę, duże firmy zamierzają wydać około 13,8 mln USD, a małe i średnie firmy wydadzą 1,6 mln USD.
Większość inwestycji będzie dotyczyła takich obszarów jak analiza danych, wizualizacja i gromadzenie danych.
Zgodnie z aktualnymi trendami i zapotrzebowaniem rynku, inwestycje w 2015 roku posłużą do poprawy jakości danych, usprawnienia planowania i prognozowania oraz zwiększenia szybkości przetwarzania danych.
Firmy z sektora finansowego, według Bain Company's Insights Analysis, dokonają znacznych inwestycji, dlatego w 2015 roku planuje się wydać 6,4 mld USD na technologie Big Data, średnie tempo wzrostu inwestycji wyniesie 22% do 2020 roku. Firmy internetowe planują wydać 2,8 miliarda dolarów, przy średnim tempie wzrostu 26% wzrostu wydatków na Big Data.
W trakcie badania Economist Intelligence Unit zidentyfikowano priorytetowe obszary rozwoju Big Data w 2014 roku oraz w kolejnych 3 latach, rozkład odpowiedzi przedstawia się następująco:

Według prognoz IDC trendy rynkowe kształtują się następująco:

• W ciągu najbliższych 5 lat koszt rozwiązań Big Data opartych na chmurze będzie rósł 3 razy szybciej niż koszt rozwiązań lokalnych. Hybrydowe platformy pamięci masowej staną się popularne.
• Rozwój aplikacji wykorzystujących zaawansowaną i predykcyjną analitykę, w tym uczenie maszynowe, przyspieszy w 2015 roku, rynek takich aplikacji będzie rósł o 65% szybciej niż aplikacje bez analizy predykcyjnej.
• Analityka mediów potroi się w 2015 roku i stanie się kluczowym motorem wzrostu na rynku technologii Big Data.
• Nabierze tempa tendencja do wdrażania rozwiązań do analizy stałego przepływu informacji, które mają zastosowanie w Internecie rzeczy.
• Do 2018 roku 50% użytkowników będzie wchodziło w interakcję z usługami opartymi na obliczeniach kognitywnych.

Sterowniki rynku i limitery

Eksperci IDC zidentyfikowali 3 czynniki napędzające rynek Big Data w 2015 roku:

Według badania Accenture kwestie bezpieczeństwa danych są obecnie główną barierą we wdrażaniu technologii Big Data, ponad 51% respondentów potwierdziło, że obawia się o ochronę danych i prywatność. 47% firm zgłosiło brak możliwości wdrożenia Big Data ze względu na ograniczony budżet, 41% firm wskazało na brak wykwalifikowanego personelu jako problem.

Wikibon przewiduje, że rynek Big Data wzrośnie do 38,4 miliarda dolarów w 2015 roku, co oznacza wzrost o 36% rok do roku. W najbliższych latach nastąpi spadek tempa wzrostu do 10% w 2017 roku. Biorąc pod uwagę te prognozy, wielkość rynku w 2020 roku wyniesie 68,7 mld USD.

Rozkład globalnego rynku Big Data według kategorii biznesowych będzie wyglądał następująco:

Jak widać na schemacie, większość rynku zajmą technologie z zakresu doskonalenia obsługi klienta. Marketing spotowy będzie priorytetem numer dwa dla firm do 2019 r., w 2020 r., zgodnie z prognozą Heavy Reading, ustąpi miejsca rozwiązaniom poprawiającym efektywność operacyjną.
Największą dynamikę wzrostu będzie miał również segment „poprawa obsługi klienta”, ze wzrostem o 49% rocznie.
Prognoza rynkowa dla podtypów Big Data będzie wyglądać tak:

Dominujący udział w rynku, jak widać na wykresie, zajmują usługi profesjonalne, największe tempo wzrostu będą miały aplikacje z analityką, ich udział wzrośnie z obecnych 12% do 18% w 2020 roku, a wolumen ten segment wyniesie 12,3 mld USD, udział sprzętu komputerowego przeciwnie spadnie z 20% do 14% i wyniesie ok. 9,3 mld USD w 2020 r., rynek technologii chmurowych będzie się stopniowo zwiększał i w 2020 r. osiągną 6,3 mld USD, udział w rynku rozwiązań do przechowywania danych, wręcz przeciwnie, zmniejszy się z 15% w 2014 roku do 13% w 2020 roku i pod względem finansowym wyniesie 8,9 mld USD.
Według prognozy Bain & Company’s Insights Analysis, rozkład rynku Big Data według branż w 2020 roku będzie wyglądał następująco:

• Branża finansowa wyda 6,4 miliarda dolarów na Big Data ze średnią stopą wzrostu 22% rocznie;
• Firmy internetowe wydadzą 2,8 miliarda dolarów, a średnia stopa wzrostu kosztów wyniesie 26% w ciągu najbliższych 5 lat;
• Koszty sektora publicznego będą współmierne do kosztów firm internetowych, ale tempo wzrostu będzie niższe - 22%;
• Sektor telekomunikacyjny będzie rósł w średnim tempie 40% i osiągnie 1,2 miliarda dolarów w 2020 roku;

Firmy energetyczne zainwestują w te technologie stosunkowo niewielką kwotę - 800 mln USD, ale tempo wzrostu będzie jednym z najwyższych - 54% rocznie.
Tym samym firmy z branży finansowej przejmą duży udział w rynku Big Data w 2020 roku, a najszybciej rozwijającym się sektorem będzie energetyka.
Zgodnie z prognozami analityków, w najbliższych latach całkowity wolumen rynku będzie rósł. Wzrost rynku zapewni wprowadzenie technologii Big Data w rozwijających się krajach świata, co widać na poniższym wykresie.

Przewidywana wielkość rynku będzie zależeć od tego, jak kraje rozwijające się postrzegają technologie Big Data, czy będą one tak popularne jak w krajach rozwiniętych. W 2014 roku kraje rozwijające się świata stanowiły 40% zgromadzonych informacji. Według prognoz EMC, obecna struktura rynku, zdominowanego przez kraje rozwinięte, zmieni się już w 2017 roku. Według analityków EMC w 2020 roku udział krajów rozwijających się wyniesie ponad 60%.
Według Cisco i EMC rozwijające się kraje świata będą aktywnie współpracować z Big Data, pod wieloma względami będzie to spowodowane dostępnością technologii i zgromadzeniem wystarczającej ilości informacji do poziomu Big Data. Mapa świata na następnej stronie pokaże prognozę wzrostu i tempo wzrostu Big Data według regionu.

ANALIZA RYNKU ROSYJSKIEGO

Stan obecny Rynek rosyjski

Według wyników badania CNews Analytics i Oracle poziom dojrzałości rosyjskiego rynku Big Data dla Ostatni rok Róża. Respondenci reprezentujący 108 dużych przedsiębiorstw z różnych branż pokazali więcej wysoki stopieńświadomość tych technologii, a także dotychczasowe zrozumienie potencjału takich rozwiązań dla ich biznesu.
Według IDC w 2014 r. Rosja zgromadziła 155 eksabajtów informacji, co stanowi zaledwie 1,8% danych na świecie. Objętość informacji do 2020 roku sięgnie 980 eksabajtów i zajmie 2,2%. Tym samym średnie tempo wzrostu wolumenu informacji wyniesie 36% rocznie.
IDC szacuje rynek rosyjski na 340 mln USD, z czego 100 mln USD to rozwiązania SAP, około 240 mln USD to podobne rozwiązania Oracle, IBM, SAS, Microsoft itp.
Tempo wzrostu rosyjskiego rynku Big Data wynosi co najmniej 50% rocznie.
Przewiduje się, że pozytywna dynamika w tym sektorze rosyjskiego rynku IT utrzyma się, nawet w warunkach ogólnej stagnacji gospodarczej. Wynika to z faktu, że firmy wciąż domagają się rozwiązań poprawiających wydajność pracy, a także optymalizujących koszty, poprawiających dokładność prognozowania i minimalizujących ewentualne ryzyko firmy.
Głównymi dostawcami usług z zakresu Big Data na rynku rosyjskim są:

• Wyrocznia
• Microsoft
• cloudera
• Hortonworks
• Teradane.

Przegląd rynku wg branży i doświadczenia z wykorzystania Big Data w firmach

Według CNews tylko 10% firm w Rosji zaczęło korzystać z technologii Big Data, podczas gdy udział takich firm na świecie wynosi około 30%. Według raportu CNews Analytics i Oracle gotowość do projektów Big Data rośnie w wielu sektorach rosyjskiej gospodarki. Ponad jedna trzecia badanych firm (37%) rozpoczęła współpracę Wielkie technologie Dane, wśród których 20% korzysta już z takich rozwiązań, a 17% zaczyna z nimi eksperymentować. Druga trzecia ankietowanych w ten moment rozważają taką możliwość.

W Rosji technologie Big Data są bardziej popularne w sektorze bankowym i telekomunikacji, ale są również poszukiwane w przemyśle wydobywczym, energetyce, handlu detalicznym, firmach logistycznych i sektorze publicznym.
Następnie omówione zostaną przykłady wykorzystania Big Data w rosyjskich realiach.

Telekomunikacja
Operatorzy telekomunikacyjni dysponują jedną z największych baz danych, co pozwala im na najbardziej dogłębną analizę zgromadzonych informacji.
Jednym z obszarów zastosowania technologii Big Data jest zarządzanie lojalnością abonentów.
Głównym celem analizy danych jest utrzymanie dotychczasowych klientów i pozyskanie nowych. W tym celu firmy segmentują klientów, analizują ich ruch i określają przynależność społeczną abonenta. Oprócz wykorzystywania informacji do celów marketingowych, telecom wykorzystuje technologię do zapobiegania nieuczciwym transakcjom finansowym.
Vimpelcom to jeden z najjaśniejszych przykładów tej branży. Firma wykorzystuje Big Data do poprawy jakości usług na poziomie każdego abonenta, raportowania, analizy danych pod kątem rozwoju sieci, zwalczania spamu oraz personalizacji usług.

Banki
Znaczną część użytkowników Big Data zajmują specjaliści z branży finansowej. Jeden z udanych eksperymentów przeprowadzono w Uralskim Banku Odbudowy i Rozwoju, gdzie baza informacji zaczął być wykorzystywany do analizy klientów, bank zaczął oferować specjalistyczne oferty kredytów, lokat i innych usług. W ciągu roku stosowania tych technologii portfel kredytów detalicznych firmy wzrósł o 55%.
Alfa-Bank analizuje informacje z portali społecznościowych, przetwarza wnioski kredytowe, analizuje zachowania użytkowników strony internetowej firmy.
Sberbank rozpoczął również przetwarzanie macierzy danych w celu segmentacji klientów, zapobiegania oszustwom, sprzedaży krzyżowej i zarządzania ryzykiem. W przyszłości planowane jest usprawnienie obsługi i analizowanie działań klientów w czasie rzeczywistym.
Ogólnorosyjski Bank Rozwoju Regionalnego analizuje zachowanie posiadaczy kart plastikowych. Pozwala to na identyfikację transakcji nietypowych dla konkretnego klienta, zwiększając tym samym prawdopodobieństwo wykrycia kradzieży środków z kart plastikowych.

Sprzedaż
W Rosji technologie Big Data zostały wdrożone zarówno przez firmy handlowe online, jak i offline. Obecnie, według CNews Analytics, Big Data jest wykorzystywane przez 20% detalistów. 75% profesjonalistów handlu detalicznego uważa Big Data za niezbędne do opracowania konkurencyjnej strategii promocji firmy. Według statystyk Hadoop, po wprowadzeniu technologii Big Data zysk w organizacjach handlowych wzrasta o 7-10%.
Specjaliści M.Video opowiadają o usprawnieniu planowania logistyki po wdrożeniu SAP HANA, także w wyniku jego wdrożenia skrócono przygotowanie raportów rocznych z 10 dni do 3, szybkość codziennego ładowania danych została zmniejszona z 3 godzin do 30 minut.
Wikimart wykorzystuje te technologie do generowania rekomendacji dla odwiedzających witrynę.
Jednym z pierwszych sklepów offline, które wprowadziły analizę Big Data w Rosji, była Lenta. Z pomocą Big Data detaliści zaczęli badać informacje o klientach z wpływów gotówkowych. Sprzedawca detaliczny zbiera informacje w celu budowania modeli behawioralnych, które umożliwiają bardziej świadome podejmowanie decyzji na poziomie operacyjnym i biznesowym.

Przemysłu naftowo-gazowego
W tej branży zakres Big Data jest dość szeroki. Technologie Big Data mogą znaleźć zastosowanie w wydobyciu minerałów z jelit. Z ich pomocą możesz przeanalizować sam proces wydobycia i najbardziej skuteczne sposoby wydobywanie go, śledzenie procesu wiercenia, analizowanie jakości surowców oraz przetwarzanie i sprzedaż produktu końcowego. W Rosji technologie te są już wykorzystywane przez Transnieft' i Rosnieft'.

Organy państwowe
W krajach takich jak Niemcy, Australia, Hiszpania, Japonia, Brazylia i Pakistan technologie Big Data są wykorzystywane do rozwiązywania problemów narodowych. Technologie te pomagają władzom publicznym skuteczniej świadczyć usługi na rzecz ludności, zapewniać ukierunkowane wsparcie społeczne.
W Rosji technologie te zaczęły opanowywać takie agencje rządowe, jak: Fundusz emerytalny, Federalna Służba Podatkowa i Fundusz Obowiązkowego Ubezpieczenia Medycznego. Potencjał realizacji projektów z wykorzystaniem Big Data jest duży, technologie te mogą przyczynić się do poprawy jakości usług, a w efekcie standardu życia ludności.

Logistyka i transport
Z Big Data mogą korzystać również firmy transportowe. Za pomocą technologii Big Data możliwe jest śledzenie floty samochodów, uwzględnienie kosztów paliwa oraz monitorowanie zgłoszeń klientów.
Koleje Rosyjskie wdrożyły technologie Big Data wspólnie z SAP. Technologie te pomogły skrócić czas raportowania o 43,5 razy (z 14,5 godziny do 20 minut) i 40 razy poprawić dokładność alokacji kosztów. W proces planowania i regulacji taryf wprowadzono także Big Data. Łącznie firmy korzystają z ponad 300 systemów opartych na rozwiązaniach SAP, zaangażowane są 4 centra danych, a liczba użytkowników to 220 000.

Główne czynniki i ograniczenia rynku

Motorami rozwoju technologii Big Data na rynku rosyjskim są:

• Wzrost zainteresowania użytkowników możliwościami Big Data jako sposobem na zwiększenie konkurencyjności firmy;
• Rozwój metod przetwarzania plików multimedialnych na poziomie globalnym;
• Przeniesienie przetwarzania serwerów informacje osobiste na terytorium Rosji, zgodnie z uchwaloną ustawą o przechowywaniu i przetwarzaniu danych osobowych;
• Wdrożenie branżowego planu zastępowania importu oprogramowania. Ten plan obejmuje wsparcie rządowe producenci krajowi oprogramowania, a także zapewnienie preferencji dla krajowych produktów IT przy zakupie na koszt publiczny.
• W nowej sytuacji gospodarczej, gdy dolar prawie się podwoił, pojawi się tendencja do coraz większego korzystania z usług rosyjskich dostawców usługi w chmurze niż zagraniczne.
• Tworzenie parków technologicznych, które przyczyniają się do rozwoju rynku technologii informatycznych, w tym rynku Big Data;
• Państwowy program wprowadzenia systemów gridowych opartych na technologiach Big Data.

Główne bariery rozwoju Big Data na rynku rosyjskim to:

• Zapewnienie bezpieczeństwa i poufności danych;
• Brak wykwalifikowanego personelu;
• Niewystarczalność zgromadzonych zasobów informacyjnych do poziomu Big Data w większości Rosyjskie firmy;
• Trudności we wprowadzaniu nowych technologii do już istniejących Systemy informacyjne firmy;
• Wysoki koszt technologii Big Data, który prowadzi do ograniczonej liczby przedsiębiorstw, które mają możliwość wdrożenia tych technologii;
• Niepewność polityczna i gospodarcza prowadząca do ucieczki kapitału i zamrożenia projekty inwestycyjne na terytorium Rosji;
• Rosnące ceny produktów importowanych i gwałtowny wzrost inflacji, zdaniem IDC, hamują rozwój całego rynku IT.

Prognoza rynku rosyjskiego

Na dzień dzisiejszy rosyjski rynek Big Data nie jest tak popularny jak w krajach rozwiniętych. Większość rosyjskich firm wykazuje nim zainteresowanie, ale nie ma odwagi wykorzystać ich możliwości.
Przykładami dużych firm, które już skorzystały z zastosowania technologii Big Data, jest rosnąca świadomość możliwości tych technologii.
Analitycy mają też dość optymistyczne prognozy dla rynku rosyjskiego. IDC uważa, że ​​udział rynku rosyjskiego wzrośnie w ciągu najbliższych 5 lat, w przeciwieństwie do rynku w Niemczech i Japonii.
Do 2020 roku wolumen Big Data w Rosji wzrośnie z obecnych 1,8% do 2,2% globalnego wolumenu danych. Według EMC ilość informacji wzrośnie z obecnych 155 eksabajtów do 980 eksabajtów w 2020 roku.
W chwili obecnej Rosja nadal gromadzi informacje do poziomu Big Data.
Według ankiety CNews Analytics, 44% ankietowanych firm pracuje z danymi nie większymi niż 100 terabajtów*, a tylko 13% pracuje z wolumenami powyżej 500 terabajtów.

Niemniej jednak rynek rosyjski, podążając za światowymi trendami, będzie rósł. Na rok 2014 IDC szacuje wielkość rynku na 340 milionów dolarów.
Tempo wzrostu rynku w poprzednich latach wynosiło 50% rocznie, jeśli utrzyma się na tym samym poziomie, to w 2018 roku wolumen rynku osiągnie 1,7 mld USD. Udział rynku rosyjskiego w rynku światowym wyniesie około 3%, po wzroście z obecnych 1,2%.

Branże najbardziej podatne na wykorzystanie Big Data w Rosji to:

• Detal i banki, dla nich przede wszystkim ważna jest analiza bazy klientów, ocena efektów kampanii marketingowych;
• Telecom - segmentacja bazy klientów i monetyzacja ruchu;
• Sektor publiczny - raportowanie, analiza wniosków od społeczeństwa itp.;
• Firmy naftowe - monitorowanie pracy i planowanie produkcji i marketingu;
• Firmy energetyczne - tworzenie inteligentnych systemów elektroenergetycznych, monitorowanie i prognozowanie pracy.

W krajach rozwiniętych Big Data upowszechniła się w dziedzinie opieki zdrowotnej, ubezpieczeń, metalurgii, firm internetowych i przedsiębiorstw produkcyjnych, najprawdopodobniej w niedalekiej przyszłości rosyjskie firmy z tych obszarów również docenią efekt wdrożenia Big Data i dostosują je. technologii w swoich branżach.
W Rosji, jak i na świecie, w niedalekiej przyszłości pojawi się trend w kierunku wizualizacji danych, analizy plików multimedialnych i rozwoju Internetu rzeczy.
Pomimo ogólnej stagnacji gospodarki, w najbliższych latach analitycy przewidują dalszy wzrost na rynku Big Data, przede wszystkim ze względu na fakt, że wykorzystanie technologii Big Data daje jego użytkownikom przewagę konkurencyjną w zakresie zwiększania efektywności operacyjnej biznes, przyciągając dodatkowy przepływ klientów, minimalizując ryzyko i wdrażając technologie prognozowania danych.
Można zatem stwierdzić, że segment Big Data w Rosji jest na etapie tworzenia, ale zapotrzebowanie na te technologie rośnie z roku na rok.

Główne wyniki analizy rynku

Rynku światowym

Na koniec 2014 roku rynek Big Data charakteryzował się następującymi parametrami:

• wielkość rynku wyniosła 28,5 mld USD, co oznacza wzrost o 45% w porównaniu z rokiem poprzednim;
• większość przychodów rynku Big Data stanowiły usługi, ich udział wyniósł 40% całości przychodów;
• 36% przychodów pochodziło z aplikacji i analityki Big Data, 17% ze sprzętu komputerowego i 15% z technologii pamięci masowej;
• Platformy in-memory firm takich jak SAP, HANA i Oracle są najbardziej popularne w rozwiązywaniu problemów Big Data.
• liczba firm z wdrożonymi projektami z zakresu zarządzania Big Data wzrosła o 125%;

Prognoza rynkowa na kolejne lata przedstawia się następująco:

• w 2015 roku wielkość rynku wyniesie 38,4 mld USD, w 2020 – 68,7 mld USD;
• średnia stopa wzrostu wyniesie 16% rocznie;
• średnie wydatki firmy na technologie Big Data wyniosą 13,8 mln USD dla dużych firm i 1,6 mln USD dla małych i średnich przedsiębiorstw;
• technologie będą miały największą przewagę w obszarach obsługi klienta i marketingu ukierunkowanego;
• w 2017 roku struktura globalnego rynku zmieni się w kierunku przewagi firm użytkowników z krajów rozwijających się.

Rynek rosyjski

Rosyjski rynek Big Data jest na etapie tworzenia, wyniki 2014 roku przedstawiają się następująco:

• wielkość rynku osiągnęła 340 milionów dolarów;
• średnie tempo wzrostu rynku w poprzednich latach wynosiło 50% rocznie;
• łączna ilość zgromadzonych informacji wyniosła 155 eksabajtów;
• 10% rosyjskich firm zaczęło korzystać z technologii Big Data;
• Technologie Big Data były bardziej popularne w sektorze bankowym, telekomunikacyjnym, internetowym oraz detalicznym.

Prognoza dla rynku rosyjskiego na najbliższe lata przedstawia się następująco:

• wielkość rynku rosyjskiego w 2015 r. wyniesie 500 mln USD, a w 2018 r. 1,7 mld USD;
• udział rynku rosyjskiego w rynku światowym wyniesie około 3% w 2018 roku;
• ilość zgromadzonych danych w 2020 roku wyniesie 980 eksabajtów;
• dane wzrosną do 2,2% danych globalnych w 2020 r.;
• Największą popularność zyskają technologie wizualizacji danych, analizy plików multimedialnych oraz Internetu rzeczy.

Na podstawie wyników analizy możemy stwierdzić, że rynek Big Data jest wciąż we wczesnej fazie rozwoju, a w niedalekiej przyszłości będziemy obserwować jego wzrost i rozszerzanie możliwości tych technologii.

Dziękujemy za poświęcenie czasu na przeczytanie tej obszernej pracy, zapisz się na naszego bloga - obiecujemy wiele nowych ciekawych publikacji!

Prowadzący: Philip Katz

Prowadzący wywiad: Aleksiej Karlinski

Wiele razy wierzyliśmy w obietnice science fiction o niesamowitej przyszłości i za każdym razem nasze nadzieje rozbijała nudna teraźniejszość. Nadal żyjemy na ziemi, a nasze samochody nie latają w powietrzu. „Znowu zostaliśmy oszukani!” – myślimy, a za tymi wszystkimi fantazjami po raz kolejny tęsknimy za momentem, w którym naprawdę nadchodzi przyszłość.

Tym razem stało się to wraz z pojawieniem się Big Data. Możemy je ignorować, ale nie możemy dłużej zaprzeczać ich wpływowi na nasze życie. Phillip Katz, architekt i specjalista Big Data, opowiada, jak Big Data po cichu zmieniło nasze miasta i sposób, w jaki w nich żyjemy.

Multidyscyplinarny specjalista, z wykształcenia architekt, Philip jest specjalistą Big Data. Absolwent Kazańskiego Uniwersytetu Architektury, Instytutu Mediów, Architektury i Projektowania Strelka, jeden z założycieli projektu Branch Point. Wykłada na Państwowym Uniwersytecie Badawczym Technologii Informacyjnych, Mechaniki i Optyki w St. Petersburgu i zajmuje się analizą danych dla Rambler&Co.

blisko

Filipie, opowiedz nam, w jaki sposób technologie Big Data są dziś wykorzystywane w projektowaniu architektonicznym i urbanistyce?

Zacznijmy od tego, że cztery lata temu, kiedy studiowałem na Strelce, przynajmniej w Rosji, nikt nie wiedział o Big Data. Świat tylko o nich mówi. Rok później w Rosji wszyscy o nich wiedzieli i chorowali na nich. Wydaje mi się, że jest to w dużej mierze tradycyjna dynamika – kiedy Nowa technologia wznosi się na piedestał, jest chwalona, ​​a potem dość szybko pojawia się wobec niej sceptycyzm. Technologia zostaje zrzucona z piedestału, a następnie integruje się ze społeczeństwem w bardziej zrelaksowany sposób.

Jeśli mówimy o analityce architektonicznej czy urbanistycznej, to wydaje mi się, że dziś jest to rodzaj kompromisu między nowoczesne technologie i tradycyjna analiza. Na przykład rok temu pomagałem przyjacielowi wziąć udział w konkursie architektonicznym dla studentów w Stanach Zjednoczonych. Dla nich zarządca miasta dostarczył pliki GIS z dość dobry opis dane: trasy transportowe, wielkość tych tras, gdzie kałuże pojawiają się co roku, gdzie co pięć lat zaleje, gdzie są bloki o wysokim poziomie podatków, gdzie są bloki z wysokim odsetkiem Murzynów. W Stanach Zjednoczonych szczegółowość statystyk jest wysoka, a dane podsumowane całkiem nieźle, więc nawet na poziomie projektu konkursowego moglibyśmy przygotować kilka rzeczy. Nie trzeba było ich zbierać ani analizować.

Moim zdaniem większość najbardziej użytecznych analiz sprowadza się do tego, że niektóre dane bierzesz jako fakty i projektujesz na ich podstawie. I choć dane mogą być takie same dla wszystkich, to wciąż są odczytywane i rozumiane na zupełnie inne sposoby.

Google twierdzi, że ich autonomiczne samochody mogą zmniejszyć liczbę wypadków samochodowych i przyczynić się do bardziej efektywnego wykorzystania paliwa i miejsca na drogach / fot. Google.com

Jak wykorzystałeś technologie Big Data w swojej praktyce?

My przez długi czas z kolegami Edikiem Khaimanem i Saszą Boldyrevą wykonali projekt „Branch Point” – próbowali jakoś dyskutować i rozwijać projektowanie cyfrowe i oczywiście wtedy naszym wspólnym postulowanym marzeniem i ostatecznym celem było projektowanie oparte na parametrach. Jednocześnie naszym ostatecznym marzeniem było właśnie znalezienie nowych rozwiązań formalnych opartych na jakimś podchwytliwym kodzie, który spełniłby nasze wymagania, ale forma wyniku nie byłaby tą, którą ustaliliśmy, ale jakąś nieoczekiwaną - piękną .

Analityka to rodzaj sztuki, gdzie w każdym przypadku algorytmem pracy z danymi jest obraz

W dojrzałym wieku projektu wszyscy rozumieliśmy, że to marzenie jest nie tylko nieosiągalne, ale pomysł, aby budynek został całkowicie zaprojektowany w oparciu o same dane, był kontrowersyjny. Jest to raczej coś, do czego należy dążyć, ale zrozum, że nigdy tam nie dotrzesz.

Tutaj pojawia się dla mnie ważny moment dialektyczny. Załóżmy, że tworzymy algorytm i rozumiemy, że przede wszystkim ze względu na wymagania genetyczne wymaga on dość prostych, ale wciąż formalnych parametrów. A w złożonym systemie, a budynek czy dzielnica to złożony system, od razu pojawia się wiele takich parametrów, które trzeba sprowadzić do wspólnego mianownika. Zawsze potrzebny jest pierwotny gest formalny, jakaś forma: walec lub równoległościan, piramidy i tak dalej.

Jeśli spojrzymy na twórczość Zahy Hadid, to zawsze w centrum projektu znajduje się jakiś elegancki formalny gest. Można go następnie modyfikować cyfrowo, ale zawsze pozostaje w centrum wszystkiego i należy do pióra autora. Algorytm genetyczny może wtedy wybrać najlepszą z otrzymanych opcji, ale nigdy nie będzie w stanie ich wymyślić.

Oznacza to, że w centrum projektu zawsze będzie ludzka wola. Jak w tym przypadku zmieni się stopień zaangażowania człowieka w projektowanie wraz z rozwojem Big Data?

W przyszłości widzę jakiś silnik analityczny - duży i złożony komputer kwantowy na przykład telepaci i parapsychologowie zanurzeni w komorach deprywacyjnych, którzy coś przewidują lub sugerują coś, na co warto zwrócić uwagę.

Myślę, że nikt nigdy nie zostanie wyciśnięty z tego procesu. Wszystkie te rzeczy (metody analizy Big Data) nazywane są algorytmami wspomagania decyzji, a ich istota sprowadza się do jak najefektywniejszego wyciągania anomalii w dynamice procesów i minimalizowania procentu pracy technicznej na osobę. Analityk musi być ekspertem w pracy z nimi, a algorytmy mogą przynieść mu wszystko na srebrnej tacy, z wyjątkiem faktycznego rozwiązania. Oczywiście istnieje techniczny próg wejścia do tej dyscypliny, ale sama analityka jest formą sztuki, gdzie algorytmem pracy z danymi jest obraz. Arcydzieło.

Drony wyposażone w kamerę mogą samodzielnie patrolować dany obszar i przesyłać obrazy do centrum informacyjnego w czasie rzeczywistym / fot. Kevin Baird / Flickr.com

Big Data nie może objąć wszystkich informacji. Jak radzić sobie z tym, co nie jest brane pod uwagę przy analizie Big Data?

Rzeczywiście, analitycy są często krytykowani za opisywanie tylko tych, którzy są połączeni z Internetem, a ci, którzy nie mają połączenia z Internetem, są wykluczani z analizy. To prawda, ale ma swoją własną logikę obrony. Mówiąc cynicznie, jeśli nie znamy problemów babci, która wstydzi się pisać w Internecie, bo nie jest do tego przyzwyczajona, to możemy zignorować jej problemy, po prostu dlatego, że jeśli stosujemy takie podejście, to albo babcia, albo ona wnuk ją wesprze, w końcu napisze.

Kolejny problem polega na tym, że każda technologia gromadzenia lub przechowywania danych jest zawsze pierwszym czynnikiem błędu. Jednocześnie nie da się w zasadzie wyśledzić całej wieloczynnikowości – dlaczego ludzie grali tak, a nie inaczej. Na początku Big Data nie daje odpowiedzi. Pozwalają zadawać poważne pytania.

Jak możliwość zadawania pytań w nowy sposób zmienia nasze postrzeganie miasta?

Edward Hyman ukuł kiedyś termin „plagopolis”. Chodzi o to, że nowoczesne miasto staje się coraz bardziej proaktywne i dynamiczne. Dziś jest to rodzaj środowiska z własnymi przepływami, ruchami, gdzie płyn przelewający się w naczyniach cały czas ulega samoregulacji. W tym samym czasie możesz tylko złapać punkt i naprawić go bardzo warunkowo. Natychmiast zmieni się i zmieni inne punkty wokół siebie. Dla mnie ten pomysł jest całkiem praktyczny. Teraz staje się jasne, że nie możemy już postrzegać miasta jako czegoś mechanicznego.

Czy ten pomysł jest akceptowany w rosyjskiej urbanistyce?

Na poziomie urbanistyki w tym rosyjskim znaczeniu nie jest to oczywiste. Tak czy inaczej zaczynamy od rysowania ścieżek, ulic i wierzymy, że tak będzie w końcu. W najlepszym razie zaczynamy myśleć, że powinniśmy sprawdzić, jak to zrobić poprawnie, a wtedy albo tak będzie rysować, albo sami ludzie przerobią wszystko później.

Big Data nie daje odpowiedzi. Pozwalają zadawać poważne pytania.

Ogólnie rzecz biorąc, zarzuty oparte na stereotypach i abstrakcyjnych ideach są dziś bardzo irytujące. Co więcej, architekci i urbaniści przede wszystkim doprowadzają mnie do szału. Mówią po prostu, że „piesi są lepsi niż kierowcy” lub że „kreatywny biznes zamieni park przemysłowy w raj na ziemi”. Chciałbym mieć podstawową kalkulację za każdą z tych rzeczy, ponieważ może tak jest, ale może tak nie być iw większości przypadków jest jakoś nie tak.

Jak zatem Big Data może pomóc nam lepiej zrozumieć miasto?

Miasto to zawsze słoń z bajki o niewidomych, którzy próbują opisać je dotykiem. Zawsze pracujemy w ten sam sposób – ktoś łapie za tyłek, ktoś za ucho, ktoś za pień. I wszyscy jednocześnie mówią, że widzi słonia. W naszym przypadku wszyscy też wierzymy, że jesteśmy widzeni i wiemy, czym jest miasto.

Big Data chroni nas przed dotknięciem tylko w jednym miejscu, daje nam możliwość z grubsza wyobrazić sobie ogólny kształt słonia i zrozumieć, że dotykamy w przybliżeniu tego miejsca, ale są inne. Dostaję ogromne raporty o mieście i zawsze mogę dostać się do jakichś dziesięciu konkretnych linijek danych, spojrzeć i zapytać: dlaczego tak jest? Zwykle staje się to początkiem jakiegoś śledztwa, badań, historii.

Dane GIS w połączeniu z algorytmami modelowania przestrzennego pomagają przewidzieć poziom izolacji w wybranym obszarze / fot. Trevor Patt / Flickr.com

Czy te refleksje inspirowane Big Data są później w jakiś sposób wyrażane w realnych projektach?

Istnieje tak zwana metoda „akupunktury miejskiej”. Jej istota polega na tym, że w mieście poszukuje się węzłów bólowych, a w tych małych węzłach - w przestrzeniach maksymalnie bloku, a najlepiej w jednym budynku, a nawet na jakimś niewielkim obszarze między budynkami - jakaś zmiana jest zrobione. Ze względu na wielkość budżetu jest on zupełnie mikroskopijny, a zmiany dla miasta jako całości, jeśli te węzły są poprawnie wyliczone, są ogromne.

Mimo że „Akupunktura miejska” to dziś raczej projekt spekulacyjny, już teraz są smart rozwiązania przestrzenne, np. z sygnalizacją świetlną w jednym systemie. W połączeniu z inteligentnymi drogami pozwalają zmieniać przestrzeń, a to może powodować nieoczekiwane wydechy. Nawet dzisiaj ma miejsce robotyzacja przemysłu, a to również dodaje wartości. Jeśli terazdronyzacznie przewozić towary, potem logistyka miejskasmerdzhitsya (z angielskiego na scalanie — "łączyć"— A.K.)- i są liczby, a tu są liczby. Zdecydowanie łatwiej będzie z tym pracować niż z prawdziwymi truckerami.

Technologia, którą się obecnie inspiruję i mam nadzieję, że wyjdzie z niej coś architektonicznego, to nowy projekt Amazon, kiedy warto inteligentny głośnik w centrum domu, który słucha wszystkich pytań i odpowiada na nie. Trochę jak Siri, tylko w domu. Ta technologia prawdopodobnie zmieni poczucie przestrzeni miasta bardziej niż jakikolwiek algorytm.

Więc miasto będzie coraz bardziej polegać na oprogramowaniu?

Dokładnie. Teraz I/O i różne interfejsy do pozyskiwania informacji przez osobę bardzo się zmieniają instytucjonalnie. Z mojego punktu widzenia usługa wezwania taniej taksówki zmienia moje życie znacznie ponad 90 proc. decyzji urbanistycznych. Taksówki bardzo zmieniają moje postrzeganie miasta. Pomimo wszystkich wcześniejszych doświadczeń, wraz z pojawieniem się Yandex. Taxi i konkurencja taksówek okazało się, że nasi taksówkarze są uprzejmi, a pieniądze konkretne i szybko reagują – zupełnie nie jak w każdym Nowym Jorku.

Tania taksówka zmienia moje życie o wiele ponad 90 procent decyzji urbanistycznych

Myślę, że najważniejszą usługą, która może przynieść ogromne zyski z uberyfikacji, jest prostytucja. Hipotetyczny użytkownik jest nieśmiały i może dlatego wiele osób nie korzysta z usług prostytutek – wydaje im się to coś niebezpiecznego, przerażającego i niezrozumiałego. Siedząc przy telefonie – z pewnością byłoby im o wiele łatwiej. Oczywiście natychmiast zabrałoby to alfonsom chleb i całkowicie zmieniło biznes. Po prostu kolosalne! Myślę, że niedługo stanie się to w jakimś liberalnym kraju.

Czy myślisz, że w przyszłości ludzie będą mogli osobiście pracować z technologiami Big Data?

Myślę, że to wszystko prowadzi do tego. Zwiększy się złożoność technologiczna i jest to zrozumiałe, ale w praktyce nauczymy się jakoś ją odpowiednio pakować. Zgrabne interfejsy(z angielskiego elegancki— cienki, pełen wdzięku— A.K.)dziś w pewnym stopniu upraszczają nasze postrzeganie tego, jak wszystko się dzieje. Oto przycisk, oto pipka i to wszystko. Dziś im więcej można ukryć przed przeciętnym człowiekiem, nie tracąc funkcji, tym lepiej, ponieważ ludzie są nieco onieśmieleni całą tą złożonością. Wprawdzie znana technologia, jak w Raporcie mniejszości, nie pojawiła się, ale zmysłowo film bardzo trafnie opisuje to, co będzie się teraz działo.

Co to będzie? Jak myślisz, z czym w najbliższej przyszłości zmierzy się big data?

Pojawiły się jako rodzaj modnego tematu i teraz powoli zanikają, ponieważ najbardziej oczywiste rzeczy zostały już zrobione. Co więcej, konieczne będzie wypracowanie mechanizmów technicznych w metodologii - nie w formie romantycznej, ale w formie użytkowej. Jestem pewien, że za pięć lat pojawi się dość dobrze płatna i być może raczej nudna pozycja jakiegoś rodzaju analityka cyfrowego w biurze burmistrza, w ministerstwach i przedsiębiorstwach.

Jednocześnie Big Data ma pewną chorobę. Są ludzie, którzy rozumieją, co robią, i są ludzie, którzy się tym żywią, którzy tak naprawdę nie rozumieją, jak działa Big Data. W każdym biznesie, w każdej nauce zawsze istnieje luka między profesjonalnymi technologami a ludźmi, którzy rozumieją, dlaczego to wszystko może się zdarzyć, i to oczywiście jest pewien problem. Ludzie, którzy znają stronę technologii i eksperymentują z nowymi rozwiązaniami, rzadko robią naprawdę przydatne rzeczy, a ludzie, którzy wiedzą, jak zastosować te rozwiązania, również nie mogą sami stworzyć produktu wysokiej jakości. Dlatego jedynym sposobem na rozwój podczas pracy z Big Data jest znalezienie nowych sposobów interakcji między specjalistami.

MegaFon opracował i udostępnił na użytek filii Kolei Rosyjskich wersję testową usługi do analizy ruchu pasażerskiego w oparciu o big data – informuje RBC powołując się na przedstawiciela operatora Maxima Motina. Narzędzie pomaga określić rozmiar i szczegółowe specyfikacje rynku transportowego, a także udział firmy transportowej na nim w trybie zbliżonym do czasu rzeczywistego.

Obecnie trwają prace przygotowawcze do wdrożenia systemu do analizy Big Data – potwierdził Oleg Yemchenko, kierownik działu systemów ERP (system planowania zasobów przedsiębiorstwa) wydziału technologii informatycznych ZKP RZD. „Można to zrealizować tylko w konkretnym projekcie w 2016 roku” – powiedział Yemchenko.

Usługa geoanalityczna Megafon została uruchomiona w 2013 roku, początkowym celem było przewidywanie obciążenia sieci. Za jego pomocą można oszacować dokładną wielkość ruchu pasażerskiego, uzyskać informacje o trasach (kto, kiedy, gdzie i dokąd jedzie), rozkład według rodzaju transportu. Usługa ocenia również wypłacalność pasażerów i charakter podróży (podróże służbowe, turystyka, potrzeby osobiste). Wszystkie dane są anonimowe.

Możliwe jest analizowanie ponad 10 000 zdarzeń na sekundę przy użyciu ponad tysiąca parametrów, powiedział Roman Postnikov, dyrektor ds. Marketingu segmentowego i analityki klientów w MegaFon. W ciągu ostatnich trzech lat zgromadzono ponad 5 petabajtów informacji - wolumen porównywalny z ponad 30 miliardami zdjęć na Facebooku. Postnikov zapewnia, że ​​każdy klient ma własną listę parametrów do analizy, czyli tak naprawdę mówimy o uniwersalnym rozwiązanie w chmurze, z którego mogą korzystać zupełnie różne typy klientów, którzy potrzebują analizować duże ilości danych.

Megafon obliczył, że firmy transportowe W Rosji na badania ruchu pasażerskiego wydaje się rocznie ponad 1,2 miliarda rubli. „Jednocześnie same firmy mogą gromadzić tylko część dostępnych im danych, a nasza usługa pozwala zobaczyć cały obraz rynku jako całości”, mówi Postnikov. Nawet jeśli dzięki wprowadzeniu usługi przewoźnik będzie w stanie zwiększyć swój udział w całym rynku przewozów pasażerskich o 1,5-2%, to są to miliardy rubli – mówi.

Rozwiązania Big Data mogą być również wykorzystywane do zarządzania infrastrukturą miejską. Centrum Eksperckie Państwa Elektronicznego przy rządzie Moskwy zamierza zawrzeć umowę, na mocy której miasto w ciągu dwóch lat otrzyma zagregowane, zdepersonalizowane dane geoprzestrzenne użytkowników lokalnych operatorów telekomunikacyjnych w 11 różnych sekcjach. Odbiorcami tych informacji będą Państwowe Przedsiębiorstwo Unitarne „NI i PI Planu Generalnego Moskwy”, Departament Rozwoju Infrastruktury Transportowej i Drogowej, Departament Kultury i inne departamenty metropolitalne.

W Baszkirii po raz pierwszy w analizie ruchu turystycznego wykorzystano „duże dane”. Państwowy Komitet Turystyki Republiki Białoruś zlecił Uralskiemu Centrum Monitorowania i Analizy badanie, które zostało przeprowadzone na podstawie dynamiki ruchów abonentów telefonii komórkowej.

Według badań od stycznia do listopada 2018 r. republikę odwiedziło 1,656 mln turystów, z czego 60% to mężczyźni w wieku od 30 do 45 lat, z reguły pracownicy organizacji komercyjnych z wyższym wykształceniem, z dochodami 40 tys. miesiąc. Średnia długość pobytu to 3,8 dnia.

Szczyt ruchu turystycznego przypada na lato. W czerwcu 2018 r. liczba osób wchodzących wyniosła 179 tys. osób, w lipcu 215 tys. osób. Minimalną liczbę zaobserwowano w lutym - 118 tysięcy osób.

Goście pochodzili z różnych regionów Rosji. Największy udział odwiedzających - Moskwa, obwód moskiewski, Tatarstan - po 11%. Mieszkańcy regionu Orenburg, Czelabińska i Samara stanowili udział ruchu turystycznego w 9%, 7%, 6%. Dalej Obwód swierdłowski i KhMAO - po 3,8%, region Tiumeń - 3%, terytorium Perm i Udmurtia - po nieco ponad 2%.

Turyści zagraniczni przybyli z krajów sąsiednich, a także z Indii, Hiszpanii, Włoch, Jemenu, Niemiec, Turcji, Egiptu, Nigerii, Izraela, USA, Czech, Arabii Saudyjskiej, Bułgarii, Iranu, Chin i Finlandii.

Przeprowadzono również badanie socjologiczne w formie ankiet wśród turystów. 37% respondentów wybrało hotel lub hotel na pobyt. 17% mieszkało u znajomych lub krewnych, 11% preferowało hostele. Ze względu na cele podróży przepływ turystów rozkładał się następująco: wyjazdy do bliskich (30%), turystyka biznesowa (28%), turystyka zdrowotna (18%), zwiedzanie (12%), aktywna (8%), pielgrzymka turystyka (0,2%) .

40% turystów przybyło do Baszkirii nie po raz pierwszy. 20% padło na polecenie znajomych (współpracowników, krewnych). 24% zysku z podróży służbowej. Najrzadziej wykorzystywanymi źródłami informacji przy wyborze kierunku podróży dla respondentów były portale internetowe (3,4%), portale społecznościowe (1,2%), reklama w mediach (0,5%).

W bieżącym 2019 r. przeanalizowana zostanie również atrakcyjność turystyczna niektórych regionów republiki - poinformowała komisja państwowa.

"Geoanaliza wykorzystująca możliwości operatorzy komórkowi to zaawansowana metoda liczenia ruchu turystycznego. Obecnie tylko Moskwa ma takie doświadczenie i przypominam, że ta ostatnia zajmuje pierwsze miejsce w krajowej ocenie turystycznej w Wołgańskim Okręgu Federalnym, Baszkirii - drugim ”- powiedział Azamat Galin, zastępca szefa Państwowego Komitetu ds. Turystyki i Przedsiębiorczość Republiki Białoruś.

Według portalu Turstat pod koniec 2018 r. Baszkiria znalazła się w pierwszej piętnastce w rankingu turystyki krajowej i przyjazdowej, zajmując 13 miejsce z liczbą turystów powyżej 2,5 mln osób (+13% w porównaniu z 2017 r.).

Te inicjatywy rządu Baszkirii są bardzo interesujące i przydatne do badania ruchu turystycznego i planowania działań w celu promocji produktów turystycznych regionu poprzez kompleksowe świadczenie usług dla turystów, w tym z wykorzystaniem technologii informatycznych.

Nawiasem mówiąc, w wiadomościach jest mowa o Niżnym Nogorodzie. Wcześniej informowaliśmy, że to miasto wdrożyło projekt „Karta Gościa”, który pozwoli śledzić ruch turystów odwiedzających zabytki miasta, ich zainteresowania, turyści będą mogli otrzymywać różne rabaty, a także bezpłatne korzystanie transport publiczny.

Wszystkie te inicjatywy są wdrażane w regionach odizolowane i odizolowane, bez udziału federalnego.

O CZYM MÓWISZ?

Najważniejsze jest to, że obecnie rozwiązana jest kwestia ubiegania się o wizy elektroniczne dla cudzoziemców przybywających do Federacji Rosyjskiej. Zdaniem Stowarzyszenia „Bezpieczeństwo Turystyki” korzystanie z takich wiz przy użyciu specjalnych technologii cyfrowych bez integracji systemu migracji i rejestracji turystów w hotelach oraz usług wymienionych powyżej z wykorzystaniem „karty gościa” nie ma sensu. To nie jest podejście rządowe.

Naszym zdaniem systematyczne, państwowe podejście powinno uwzględniać wszystkie te elementy. Turysta musi raz zarejestrować się na granicy, po otrzymaniu elektronicznego identyfikatora, a następnie poruszać się po kraju, zameldować się w hotelach (już bez rejestracji migracyjnej), bez problemu zwiedzać muzea, otrzymywać różne zniżki, korzystać z komunikacji miejskiej za darmo lub ze zniżkami. A jednocześnie takie podejście pozwoli zarówno zapewnić bezpieczeństwo narodowe poprzez rejestrowanie ruchów cudzoziemców, jak i uwolnić hotelarzy od kłopotów związanych z rejestracją i ewidencją migracji, a organy zarządzające turystyką w podmiotach Federacji Rosyjskiej będą otrzymywać informacje o najpopularniejszych obiektach regionu (miasta) i na ich podstawie tworzą oferty turystyczne, uzyskując tym samym maksymalne korzyści.

I WSZYSTKO JEST ZA TYM!

Mianowicie dekret rządowy Federacja Rosyjska 6 sierpnia 2015 r. nr 813, który zatwierdził Regulamin w sprawie system państwowy ewidencji migracji i rejestracji, których wdrożenie może znacząco wpłynąć na gościnność i ogólnie zwiększyć napływ turystów. Właśnie o tym mówił Prezes Zarządu Stowarzyszenia „Bezpieczeństwo Turystyki” 06 grudnia 2018 r. w Radzie Federacji Siergiej Gruzd uczestników okrągłego stołu na temat „Rzeczywiste kwestie korzystania z wiz elektronicznych dla cudzoziemców przybywających do Federacji Rosyjskiej i poprawa ustawodawstwa Federacji Rosyjskiej w tym zakresie”

Przypomnijmy, że kwestie poprawy ewidencji migracji i rejestracji, uproszczenia reżimu wizowego, opracowania i wdrożenia jednolitego identyfikatora biometrycznego dla podróży będą przedmiotem dyskusji w ramach Międzynarodowe Forum „Bezpieczeństwo Turystyki” – TSIF – 2019.Forum to kluczowe wydarzenie branżowe, podczas którego przedstawiciele władz, środowiska zawodowego i biznesu dyskutują na jednej platformie na aktualne tematy związane z zapewnieniem bezpieczeństwa turystyki. Format Forum przewiduje 4 sesje breakout.

2,5 miliarda gigabajtów danych. Firmy analityczne przewidują, że do 2020 r. ilość danych generowanych rocznie osiągnie 43 biliony gigabajtów. Wśród wszystkich tych informacji: tweetów, repostów i filmów, jest jedna, z której wiele firm korzysta przy opracowywaniu usług. Ludzie odkryli już zastosowanie big data w marketingu do oceny pragnień klientów. Big Data jest również wykorzystywana w medycynie do poprawy diagnostyki oraz w środowisku bankowym do tworzenia spersonalizowanych ofert. Big data jest również wykorzystywana w sektorze motoryzacyjnym, pomagając kierowcom szybciej dotrzeć do celu. Jak? O tym dzisiaj porozmawiamy.

Pomóż uniknąć korków

Dane pomagają kierowcom dotrzeć do celu w dosłownym tego słowa znaczeniu. Mówimy o nawigatorach – budują najkrótszą trasę bez korków i robót drogowych.

Nawigatorzy co kilka sekund wysyłają swoje współrzędne do systemu dostawcy aplikacji. Na podstawie otrzymanych danych algorytm buduje ślad, czyli trasę z informacją o prędkości poruszania się. Na podstawie sumy utworów otrzymanych od wielu kierowców wykrywane są korki.

Samochody są częścią sieci i tworzą stabilny przepływ informacji. Jednocześnie mogą wymieniać dane z otaczającą infrastrukturą. Kamery monitorujące zainstalowane na skrzyżowaniach w mieście mogą być również wykorzystywane do wykrywania zatorów drogowych. Badacze pracują nad różnymi opcjami wdrażania takich rozwiązań.

Na przykład do tworzenia komunikacji samochód-samochód i samochód-infrastruktura naukowcy proponują wykorzystanie modułów OBU (On-Board Units), które określają pozycję samochodu i prędkość w ograniczonych odstępach czasu. Informacje te trafią do RSU (Roadside Unit), a następnie do klastrów odpowiedzialnych za agregację i przetwarzanie danych.

Klastry otrzymują dane przez API i interpretują. Na przykład, jeśli kilku użytkowników aplikacji nawigator porusza się z małą prędkością w jednym obszarze, system rozumie, że poruszanie się w nim jest trudne. Możesz przeczytać więcej o jednym z proponowanych algorytmów.

Użytkownicy mogą również samodzielnie przesyłać do serwisu dane: informacje o wypadkach, naprawach, wybojach itp. Agregator kawałek po kawałku zbiera otrzymane informacje na jednym obrazie i porównując je z współrzędne GPS, odkłada punkty zatorów na drogach. Na podstawie tych danych budowane są trasy nawigacyjne.

Po zbudowaniu trasy aplikacja monitoruje ją, aby być na bieżąco z sytuacją na drodze. Algorytm odpowiada za zbudowanie trasy wolnej od korków. Jeśli na trasie jest korek, algorytm szuka innej drogi. Jeśli alternatywne opcje(nawet przy korkach, ale szybszych) nie zostanie znaleziony, to trasa pozostaje taka sama. Poniżej przedstawiono uproszczoną postać tego algorytmu:

Schemat blokowy wariantu algorytmu monitorowania trasy

Naukowcy są przekonani, że dokładność takich systemów znacznie wzrośnie, gdy wszystkie lub prawie wszystkie samochody zaczną komunikować się ze sobą i wymieniać dane. W przyszłości zmienią zasady zachowania na drodze. Opinię tę podziela Tim Lomax, analityk z Texas A&M Transportation Institute.

„Jeśli samochody zaczną ze sobą rozmawiać, nie będziemy potrzebować sygnalizacji świetlnej”, mówi Tim. „Samochód, zbliżając się do skrzyżowania, zgłosi zamiar jego przejechania, a otaczające pojazdy będą wiedziały, jak uniknąć kolizji”. Lomax twierdzi, że będzie to krok w kierunku powszechnego wykorzystania autonomicznych samochodów.

Zabiorą Cię na miejsce

Samochody autonomiczne to kolejny obszar, w którym duże znaczenie mogą mieć duże zbiory danych. Samochody autonomiczne są częścią Internetu Rzeczy i prowadzą do wzrostu ilości generowanych danych. Aby zbudować trasę, autopilot musi zrozumieć, jakimi drogami będzie musiał podróżować i co napotka po drodze. W tym celu samochody oprócz własnych czujników czerpią informacje z tzw. map otoczenia. W przyszłości lista ta zostanie uzupełniona o innych uczestników ruchu i elementy infrastruktury: sygnalizację świetlną, budynki, a nawet drzewa.