"Голяма информация"- тема, която се обсъжда активно от технологичните компании. Някои от тях са се разочаровали от големите данни, а други, напротив, ги използват максимално за бизнеса... . Надяваме се информацията да бъде интересна и полезна.

КАКВО Е BIG DATA?

Основни функции

Big Data в момента е един от ключовите двигатели на развитието информационни технологии. Това направление, сравнително ново за руския бизнес, стана широко разпространено в западните страни. Това се дължи на факта, че в ерата на информационните технологии, особено след бума на социалните мрежи, започна да се натрупва значително количество информация за всеки интернет потребител, което в крайна сметка доведе до посоката на Big Data.

Терминът "Големи данни" предизвиква много спорове, мнозина смятат, че това означава само количеството натрупана информация, но не забравяйте за техническата страна, тази област включва технологии за съхранение, изчисления и услуги.

Трябва да се отбележи, че тази област включва обработката на голямо количество информация, която е трудна за обработка с традиционните методи*.

По-долу е сравнителна таблица на традиционна и голяма база данни.

Сферата на Big Data се характеризира със следните характеристики:
Сила на звука - обемът, натрупаната база данни е голямо количество информация, която е трудоемка за обработка и съхранение по традиционни начини, те изискват нов подходи усъвършенствани инструменти.
Скорост - скорост, този знак показва както нарастващата скорост на натрупване на данни (90% от информацията е събрана през последните 2 години), така и скоростта на обработка на данни; напоследък технологиите за обработка на данни в реално време стават все по-търсени.
Разнообразие – разнообразие, т.е. възможността за едновременна обработка на структурирана и неструктурирана информация от различни формати. Основната разлика между структурираната информация е, че тя може да бъде класифицирана. Пример за такава информация е информация за клиентски транзакции.
Неструктурираната информация включва видео, аудио файлове, свободен текст, информация, идваща от социални мрежи. Към днешна дата 80% от информацията е включена в групата на неструктурираните. Тази информациясе нуждае от сложен анализ, за ​​да стане полезен за по-нататъшна обработка.
достоверност – Надеждност на данните, потребителите започнаха да придават значение на надеждността на наличните данни. И така, интернет компаниите имат проблем с разделянето на действията, извършвани от робот и човек на уебсайта на компанията, което в крайна сметка води до трудността на анализа на данните.
стойност - стойността на натрупаната информация. Големите данни трябва да са полезни за компанията и да й носят някаква стойност. Например помощ при подобряване на бизнес процесите, отчитане или оптимизиране на разходите.

Ако горните 5 условия са изпълнени, натрупаните обеми от данни могат да бъдат класифицирани като големи.

Приложения на големи данни

Обхватът на технологиите за големи данни е обширен. Така че с помощта на Big Data можете да научите за предпочитанията на клиентите, ефективността на маркетинговите кампании или да извършите анализ на риска. По-долу са резултатите от проучване на IBM Institute относно посоките за използване на Big Data в компаниите.

Както се вижда от диаграмата, повечето компании използват Big Data в областта на обслужването на клиенти, втората най-популярна посока е оперативната ефективност, в областта на управлението на риска Big Data в момента е по-рядко срещана.

Трябва също да се отбележи, че Big Data е една от най-бързо развиващите се области на информационните технологии, според статистиката общото количество получени и съхранени данни се удвоява на всеки 1,2 години.
Между 2012 г. и 2014 г. количеството данни, предавани месечно мобилни мрежи, нараства с 81%. Cisco изчислява, че през 2014 г. обемът мобилен трафиквъзлиза на 2,5 екзабайта (мерна единица за количество информация, равна на 10 ^ 18 стандартни байта) на месец, а още през 2019 г. ще бъде равна на 24,3 екзабайта.
По този начин Big Data вече е утвърдена област на технологиите, въпреки сравнително младата си възраст, която е широко разпространена в много сфери на бизнеса и играе важна роля в развитието на компаниите.

Технологии за големи данни

Технологиите, използвани за събиране и обработка на големи данни, могат да бъдат разделени на 3 групи:

• софтуер;
• Оборудване;
• Обслужване.

Най-често срещаните подходи за обработка на данни (PD) включват:
SQL - структуриран език за заявки, който ви позволява да работите с бази данни. Използвайки SQL, можете да създавате и променяте данни, а масивът от данни се управлява от подходящата система за управление на база данни.
NoSQL - терминът означава Not Only SQL (не само SQL). Той включва редица подходи, насочени към внедряването на базата данни, които се различават от моделите, използвани в традиционните, релационни СУБД. Те са удобни за използване с постоянно променяща се структура на данните. Например за събиране и съхраняване на информация в социалните мрежи.
MapReduce – модел на разпределение на изчислението. Използва се за паралелни изчисления над много големи комплектиданни (петабайти* или повече). В интерфейса за програмиране данните не се прехвърлят към програмата за обработка, а програмата се прехвърля към данните. Следователно заявката е отделна програма. Принципът на работа е последователна обработка на данни с два метода Map и Reduce. Map избира предварителни данни, Reduce ги агрегира.
Hadoop - използва се за внедряване на механизми за търсене и контекст за силно натоварени сайтове - Facebook, eBay, Amazon и др. Отличителна чертае, че системата е защитена от отказ на който и да е от възлите на клъстера, тъй като всеки блок има поне едно копие на данните на другия възел.
SAP HANA е високопроизводителна NewSQL платформа за съхранение и обработка на данни. Осигурява висока скоростобработка на заявка. Друга отличителна черта е, че SAP HANA опростява системния пейзаж чрез намаляване на разходите за поддръжка на аналитични системи.

Технологичното оборудване включва:

• сървъри;
• инфраструктурно оборудване.

Сървърите включват хранилища за данни.
Инфраструктурното оборудване включва инструменти за ускоряване на платформата, източници непрекъсваемо захранване, комплекти сървърни конзоли и др.

Обслужване.
Услугите включват архитектура на системата за бази данни, развитие и оптимизиране на инфраструктурата и сигурност на съхранението на данни.

Софтуерът, хардуерът и услугите се комбинират, за да формират платформи от край до край за съхранение и анализ на данни. Компании като Microsoft, HP, EMC предлагат услуги за разработка, внедряване и управление на решения за големи данни.

Приложение в индустриите

Големите данни са широко разпространени в много бизнес сектори. Използват се в здравеопазването, телекомуникациите, търговията, логистиката, финансовите компании, както и в публичната администрация.
По-долу са дадени някои примери за приложения с големи данни в някои от индустриите.

На дребно
Базите данни на магазините за търговия на дребно могат да натрупат много информация за клиенти, система за управление на инвентара, доставка на продаваеми продукти. Тази информация може да бъде полезна във всички области на дейността на магазина.

Така че с помощта на натрупаната информация можете да управлявате доставката на стоки, тяхното съхранение и продажба. Въз основа на натрупаната информация е възможно да се предвиди търсенето и предлагането на стоки. Също така системата за обработка и анализ на данни може да реши други проблеми на търговеца, например да оптимизира разходите или да изготвя отчети.

Финансови услуги
Големите данни правят възможно анализирането на кредитоспособността на кредитополучателя и също така са полезни за кредитен рейтинг* и застраховане**. Въвеждането на Big Data технологиите ще намали времето за разглеждане на молби за кредит. С помощта на Big Data е възможно да се анализира дейността на конкретен клиент и да се предложат подходящи за него банкови услуги.

Телеком
В телекомуникационната индустрия Big Data се използва широко от мобилните оператори.
Оператори клетъчна комуникациянаред с финансовите институции те разполагат с една от най-големите бази данни, което им позволява да извършват най-задълбочен анализ на натрупаната информация.
Основната цел на анализа на данни е да задържи съществуващите клиенти и да привлече нови. За целта компаниите сегментират клиентите, анализират техния трафик и определят социалната принадлежност на абоната.

В допълнение към използването на Big Data за маркетингови цели, технологията се използва за предотвратяване на измамни финансови транзакции.

Минна и нефтена индустрия
Big Data се използват както при добива на полезни изкопаеми, така и при тяхната обработка и маркетинг. Въз основа на получената информация предприятията могат да направят изводи за ефективността на разработването на находищата, да проследят графика за основен ремонт и състоянието на оборудването и да прогнозират търсенето на продукти и цени.

Според проучване на Tech Pro Research Big Data е най-разпространено в телекомуникационната индустрия, както и в инженерни, ИТ, финансови и държавни предприятия. Според резултатите от това проучване Големите данни са по-малко популярни в образованието и здравеопазването. Резултатите от проучването са представени по-долу:

Примери за използване на големи данни в компании

Днес Big Data се внедрява активно в чуждестранни компании. Компании като Nasdaq, Facebook, Google, IBM, VISA, Master Card, Bank of America, HSBC, AT&T, Coca Cola, Starbucks и Netflix вече използват ресурси за големи данни.

Областите на приложение на обработваната информация са разнообразни и варират в зависимост от индустрията и задачите, които трябва да се изпълняват.
След това ще бъдат представени примери за практическото приложение на технологиите за големи данни.

HSBC използва Big Data технологии за противодействие на измамни транзакции с пластмасови карти. С помощта на Big Data компанията увеличи ефективността на услугата за сигурност 3 пъти, а разпознаването на измамни инциденти - 10 пъти. Икономическият ефект от въвеждането на тези технологии надхвърли 10 милиона щатски долара.

Антифрайд* ВИЗА допуска в автоматичен режимизчисляване на транзакции с измамен характер, системата на този моментпомага за предотвратяване на измамни плащания на стойност 2 милиарда долара годишно.

Суперкомпютърна компания Watson IBM анализира в реално време потока от данни за паричните транзакции. Според IBM Watson е увеличил броя на идентифицираните измамни транзакции с 15%, намалил е фалшивите положителни резултати с 50% и е увеличил размера на средствата, защитени от транзакции от този характер с 60%.

Проктър и Гембъл с помощта на Big Data те проектират нови продукти и създават глобални маркетингови кампании. P&G създаде специални офиси на Business Spheres, където можете да преглеждате информация в реално време.
Така ръководството на компанията има възможност незабавно да тества хипотези и да провежда експерименти. P&G вярват, че големите данни помагат при прогнозирането на представянето на компанията.

Търговец на дребно с офис консумативи officemax с помощта на Big Data технологии те анализират поведението на клиентите. Анализът на големи данни позволи да се увеличат B2B приходите с 13%, да се намалят разходите с $400 000 на година.

Според Caterpillar , нейните дистрибутори пропускат 9 до 18 милиарда долара приходи годишно само защото не внедряват технологията Big Data. Големите данни биха позволили на клиентите да управляват своя флот по-ефективно чрез анализиране на информация от сензори, инсталирани на машини.

Днес вече е възможно да се анализира състоянието ключови възли, тяхната степен на износване, управление на разходите за гориво и поддръжка.

група Luxottica е производител на спортни очила с марки като Ray-Ban, Persol и Oakley. Компанията използва Big Data технологии за анализ на поведението потенциални клиентии "интелигентен" SMS маркетинг. В резултат групата Big Data Luxottica идентифицира повече от 100 милиона от най-ценните клиенти и повиши ефективността на маркетинговата кампания с 10%.

С помощта на Yandex Data Factory, разработчиците на игри Свят на танкове анализирайте поведението на играчите. Технологиите Big Data позволиха да се анализира поведението на 100 хиляди играчи на World of Tanks, като се използват повече от 100 параметъра (информация за покупки, игри, опит и др.). В резултат на анализа беше получена прогноза за отлив на потребители. Тази информация ви позволява да намалите грижите на потребителите и да работите с участниците в играта по целенасочен начин. Разработеният модел се оказа с 20-30% по-ефективен от стандартните инструменти за анализ на игралната индустрия.

Министерство на труда на Германия използва Big Data, за да анализира входящи молби за безработица. Така след анализ на информацията стана ясно, че 20% от обезщетенията са изплатени незаслужено. С помощта на Big Data Министерството на труда намали разходите с 10 млрд. евро.

Детска болница в Торонто реализира проекта Artemis. Това е информационна система, която събира и анализира данни за бебетата в реално време. Системата следи 1260 показателя за състоянието на всяко дете всяка секунда. Проектът Artemis ви позволява да предвидите нестабилното състояние на детето и да започнете профилактиката на заболяванията при децата.

ПРЕГЛЕД НА ГЛОБАЛНИЯ ПАЗАР НА ГОЛЕМИ ДАННИ

Текущото състояние на световния пазар

През 2014 г. Big Data, според Data Collective, се превърна в една от приоритетните области за инвестиране в рисковата индустрия. Според данните информационен портал Computerra, това се дължи на факта, че разработките в тази област започнаха да носят значителни резултати за своите потребители. През изминалата година броят на компаниите с реализирани проекти в областта на управлението на големи данни се е увеличил със 125%, обемът на пазара е нараснал с 45% спрямо 2013 г.

По-голямата част от приходите на пазара на големи данни, според Wikibon, през 2014 г. се състоят от услуги, техният дял е равен на 40% от общите приходи (вижте диаграмата по-долу):

Ако разгледаме Big Data за 2014 г. по подвидове, тогава пазарът ще изглежда така:

Според Wikibon, приложенията и анализите представляват 36% от приходите от големи данни през 2014 г. от приложения и анализи на големи данни, 17% от изчислителен хардуер и 15% от технология за съхранение. Най-малко приходи са генерирани от NoSQL технологии, инфраструктурно оборудване и осигуряване на мрежа от компании (корпоративни мрежи).

Най-популярните Big Data технологии са in-memory платформите на SAP, HANA, Oracle и др. Резултатите от проучването на T-Systems показаха, че те са избрани от 30% от анкетираните компании. На второ място по популярност са NoSQL платформите (18% от потребителите), компаниите също са използвали аналитични платформи от Splunk и Dell, те са избрани от 15% от компаниите. Най-малко полезни за решаване на проблеми с големи данни, според резултатите от проучването, са продуктите Hadoop/MapReduce.

Според проучване на Accenture в повече от 50% от компаниите, използващи Big Data технологии, разходите за Big Data варират от 21% до 30%.
Според следващия анализ на Accenture 76% от компаниите смятат, че тези разходи ще се увеличат през 2015 г., а 24% от компаниите няма да променят бюджета си за технологиите за големи данни. Това предполага, че в тези компании Big Data вече са се превърнали в утвърдена област на ИТ, превърнала се в неразделна част от развитието на компанията.

Резултатите от проучването на Economist Intelligence Unit потвърждават положителното въздействие на внедряването на Big Data. 46% от компаниите твърдят, че са подобрили обслужването на клиентите с повече от 10%, използвайки Big Data технологиите, 33% от компаниите са оптимизирали инвентара и са подобрили производителността на ключови активи, 32% от компаниите са подобрили процесите на планиране.

Големи данни в различни страниспокойствие

Към днешна дата технологиите за големи данни най-често се внедряват в американски компании, но сега други страни по света започнаха да проявяват интерес. През 2014 г., според IDC, страните от Европа, Близкия изток, Азия (с изключение на Япония) и Африка представляват 45% от пазара на софтуер, услуги и оборудване за големи данни.

Също така, според проучването на CIO, компаниите от страните от Азиатско-тихоокеанския регион бързо усвояват нови решения в областта на анализа на големи данни, сигурно съхранение и облачни технологии. Латинска Америка е на второ място по брой инвестиции в развитието на технологиите за големи данни, изпреварвайки Европа и САЩ.
След това ще бъдат представени описание и прогнози за развитието на пазара на големи данни в няколко страни.

Китай
Количеството информация в Китай е 909 екзабайта, което се равнява на 10% от общото количество информация в света, до 2020 г. количеството информация ще достигне 8060 екзабайта, а делът на информацията в глобалната статистика също ще се увеличи, през 5 години ще бъде равен на 18%. Потенциалният растеж на големите данни в Китай има една от най-бързо растящите динамики.

Бразилия
До края на 2014 г. Бразилия е натрупала 212 екзабайта информация, което е 3% от глобалния обем. До 2020 г. обемът на информацията ще нарасне до 1600 екзабайта, което ще бъде 4% от световната информация.

Индия
Според EMC обемът на натрупаните данни в Индия през 2014 г. е 326 екзабайта, което е 5% от общото количество информация. До 2020 г. обемът на информацията ще нарасне до 2800 екзабайта, което ще бъде 6% от световната информация.

Япония
Обемът на натрупаните данни в Япония към края на 2014 г. е 495 екзабайта, което е 8% от общото количество информация. До 2020 г. обемът на информацията ще нарасне до 2200 екзабайта, но пазарният дял на Япония ще намалее и ще достигне 5% от общото количество информация в целия свят.
Така обемът на японския пазар ще намалее с над 30%.

Германия
Според EMC обемът на натрупаните данни в Германия през 2014 г. е 230 екзабайта, което е 4% от общото количество информация в света. До 2020 г. обемът на информацията ще нарасне до 1100 екзабайта и ще бъде 2%.
На германския пазар голяма част от приходите, според прогнозите на Experton Group, ще бъдат генерирани от сегмента на услугите, чийто дял през 2015 г. ще бъде 54%, а през 2019 г. ще нарасне до 59%, делът на софтуера оборудването, напротив, ще намалее.

Като цяло размерът на пазара ще нарасне от 1,345 милиарда евро през 2015 г. до 3,198 милиарда евро през 2019 г., със среден темп на растеж от 24%.
По този начин, въз основа на анализите на CIO и EMC, можем да заключим, че развиващите се страни по света ще станат пазари за активно развитие на технологиите за големи данни през следващите години.

Основни пазарни тенденции

Според IDG Enterprise през 2015 г. компаниите с големи данни ще похарчат средно 7,4 милиона долара на компания, големите компании възнамеряват да похарчат приблизително 13,8 милиона долара, а малките и средни компании ще похарчат 1,6 милиона долара.
Повечето от инвестициите ще бъдат в области като анализ на данни, визуализация и събиране на данни.
Според текущите тенденции и търсенето на пазара, инвестициите през 2015 г. ще бъдат използвани за подобряване на качеството на данните, подобряване на планирането и прогнозирането и увеличаване на скоростта на обработка на данните.
Компаниите във финансовия сектор, според Insights Analysis на Bain Company, ще направят значителни инвестиции, така че през 2015 г. се планира да похарчат 6,4 милиарда щатски долара за технологии за големи данни, средният темп на растеж на инвестициите ще бъде 22% до 2020 г. Интернет компаниите планират да похарчат 2,8 милиарда долара със среден темп на растеж от 26% увеличение на разходите за големи данни.
По време на проучването на Economist Intelligence Unit бяха идентифицирани приоритетните области за развитие на Big Data през 2014 г. и през следващите 3 години, като разпределението на отговорите е както следва:

Според прогнозите на IDC пазарните тенденции са следните:

• През следващите 5 години цената на решенията за големи данни, базирани на облак, ще нарасне 3 пъти по-бързо от цената на локалните решения. Хибридните платформи за съхранение ще станат популярни.
• Растежът на приложенията, използващи сложни и предсказуеми анализи, включително машинно обучение, ще се ускори през 2015 г., пазарът на такива приложения ще расте с 65% по-бързо от приложения, които не използват предсказуеми анализи.
• Медийният анализ ще се утрои през 2015 г. и ще се превърне в ключов двигател на растежа на пазара на технологии за големи данни.
• Тенденцията за прилагане на решения за анализиране на постоянния поток от информация, приложима към Интернет на нещата, ще се ускори.
• До 2018 г. 50% от потребителите ще взаимодействат с услуги, базирани на когнитивни изчисления.

Пазарни двигатели и ограничители

Експертите на IDC идентифицираха 3 двигатели на пазара на големи данни през 2015 г.:

Според проучването на Accenture проблемите със сигурността на данните сега са основната бариера пред приемането на технологиите за големи данни, повече от 51% от респондентите потвърдиха, че са загрижени за защитата на данните и поверителността. 47% от компаниите съобщават за невъзможност за внедряване на Big Data поради ограничен бюджет, 41% от компаниите посочват като проблем липсата на квалифициран персонал.

Wikibon прогнозира, че пазарът на големи данни ще нарасне до 38,4 милиарда долара през 2015 г., което е с 36% повече спрямо предходната година. През следващите години ще има спад в темповете на растеж до 10% през 2017 г. Като се вземат предвид тези прогнози, размерът на пазара през 2020 г. ще бъде равен на 68,7 милиарда щатски долара.

Разпределението на глобалния пазар на големи данни по бизнес категории ще изглежда така:

Както можете да видите от диаграмата, по-голямата част от пазара ще бъде заета от технологии от областта на подобряването на обслужването на клиентите. Спот маркетингът ще бъде вторият най-висок приоритет за компаниите до 2019 г., през 2020 г., според Heavy Reading, той ще отстъпи място на решения за подобряване на оперативната ефективност.
Сегментът „подобряване на обслужването на клиентите“ също ще има най-висок темп на растеж, с увеличение от 49% годишно.
Пазарната прогноза за подтипове Big Data ще изглежда така:

Преобладаващ пазарен дял, както се вижда от графиката, заемат професионалните услуги, най-висок темп на растеж ще имат приложенията с анализ, делът им ще нарасне от сегашните 12% на 18% през 2020 г., а обемът този сегментще бъде равен на 12,3 милиарда щатски долара, делът на компютърното оборудване, напротив, ще спадне от 20% на 14% и ще бъде около 9,3 милиарда щатски долара през 2020 г., пазарът на облачни технологии постепенно ще се увеличава и през 2020 г. достигне 6,3 милиарда щатски долара, делът на пазара на решения за съхранение на данни, напротив, ще намалее от 15% през 2014 г. на 13% през 2020 г. и в парично изражение ще бъде равен на 8,9 милиарда щатски долара.
Според прогнозата на Insights Analysis на Bain & Company разпределението на пазара на големи данни по отрасли през 2020 г. ще изглежда така:

• Финансовата индустрия ще похарчи 6,4 милиарда долара за големи данни със среден темп на растеж от 22% годишно;
• Интернет компаниите ще похарчат 2,8 милиарда долара и среден темп на нарастване на разходите от 26% през следващите 5 години;
• Разходите на публичния сектор ще бъдат съизмерими с разходите на интернет компаниите, но темпът на растеж ще бъде по-нисък - 22%;
• Телекомуникационният сектор ще расте със среден темп на растеж от 40% и ще достигне 1,2 милиарда долара през 2020 г.;

Енергийните компании ще инвестират в тези технологии сравнително малка сума - 800 милиона щатски долара, но темпът на растеж ще бъде един от най-високите - 54% годишно.
Така компаниите от финансовата индустрия ще заемат голям дял от пазара на големи данни през 2020 г., а енергетиката ще бъде най-бързо развиващият се сектор.
Според прогнозите на анализаторите общият обем на пазара ще се увеличи през следващите години. Растежът на пазара ще бъде осигурен чрез въвеждането на технологиите за големи данни в развиващите се страни по света, както се вижда от графиката по-долу.

Прогнозираният размер на пазара ще зависи от това как развиващите се страни възприемат технологиите за големи данни, дали те ще бъдат толкова популярни, колкото в развитите страни. През 2014 г. развиващите се страни по света представляват 40% от натрупаната информация. Според прогнозата на EMC сегашната пазарна структура, доминирана от развитите страни, ще се промени още през 2017 г. Според анализите на EMC през 2020 г. делът на развиващите се страни ще бъде повече от 60%.
Според Cisco и EMC, развиващите се страни по света ще работят активно с Big Data, в много отношения това ще се дължи на наличието на технологии и натрупването на достатъчно информация до нивото на Big Data. Картата на света на следващата страница ще покаже прогнозата за растеж и темпа на растеж на Big Data по региони.

АНАЛИЗ НА РУСКИЯ ПАЗАР

Сегашно състояние руски пазар

Според резултатите от проучване на CNews Analytics и Oracle нивото на зрялост на руския пазар на големи данни за Миналата годинароза. Анкетираните, представляващи 108 големи предприятия от различни индустрии, показват повече висока степенинформираност за тези технологии, както и съществуващото разбиране за потенциала на подобни решения за техния бизнес.
Към 2014 г., според IDC, Русия е натрупала 155 екзабайта информация, което е само 1,8% от данните в света. Обемът на информацията до 2020 г. ще достигне 980 екзабайта и ще заема 2,2%. Така средният темп на нарастване на обема на информацията ще бъде 36% годишно.
IDC оценява руския пазар на 340 милиона долара, от които 100 милиона долара са решения на SAP, приблизително 240 милиона долара са подобни решения на Oracle, IBM, SAS, Microsoft и др.
Темпът на растеж на руския пазар на големи данни е най-малко 50% годишно.
Прогнозите са, че положителната динамика в този сектор на руския ИТ пазар ще продължи, дори в контекста на обща стагнация на икономиката. Това се дължи на факта, че бизнесът продължава да изисква решения, които могат да подобрят ефективността на работата, както и да оптимизират разходите, да подобрят точността на прогнозиране и да минимизират възможните рискове за компанията.
Основните доставчици на услуги в областта на Big Data на руския пазар са:

• Оракул
• Microsoft
• cloudera
• Hortonworks
• Терадата.

Преглед на пазара по отрасли и опита от използването на Big Data в компаниите

Според CNews само 10% от компаниите в Русия са започнали да използват Big Data технологии, докато делът на такива компании в света е около 30%. Готовността за проекти с големи данни нараства в много сектори на руската икономика, според доклад на CNews Analytics и Oracle. Повече от една трета от анкетираните компании (37%) са започнали работа с Големи технологииДанни, сред които 20% вече използват такива решения, а 17% започват да експериментират с тях. Втората трета от анкетираните в този моментобмислят такава възможност.

В Русия технологиите за големи данни са по-популярни в банковия сектор и телекомуникациите, но се търсят и в минната индустрия, енергетиката, търговията на дребно, логистичните компании и публичния сектор.
След това ще бъдат разгледани примери за използването на Big Data в руската реалност.

Телеком
Телеком операторите разполагат с една от най-големите бази данни, което им позволява да извършват най-задълбочен анализ на натрупаната информация.
Една от областите на приложение на технологията Big Data е управлението на лоялността на абонатите.
Основната цел на анализа на данни е да задържи съществуващите клиенти и да привлече нови. За целта компаниите сегментират клиентите, анализират техния трафик и определят социалната принадлежност на абоната. В допълнение към използването на информация за маркетингови цели, телекомът използва технология за предотвратяване на измамни финансови транзакции.
Vimpelcom е един от най-ярките примери за тази индустрия. Компанията използва Big Data за подобряване на качеството на услугата на ниво всеки абонат, отчитане, анализиране на данни за развитие на мрежата, борба със спама и персонализиране на услугите.

банки
Значителна част от потребителите на Big Data се заемат от специалисти от финансовата индустрия. Един от успешните експерименти беше проведен в Уралската банка за реконструкция и развитие, където информационна базазапочва да се използва за анализ на клиенти, банката започва да предлага специализирани оферти за кредити, депозити и други услуги. През годината на използване на тези технологии кредитният портфейл на дребно на компанията нарасна с 55%.
Alfa-Bank анализира информация от социалните мрежи, обработва заявления за кредит, анализира поведението на потребителите на уебсайта на компанията.
Сбербанк също започна да обработва масив от данни за сегментиране на клиенти, предотвратяване на измами, кръстосани продажби и управление на риска. В бъдеще се планира подобряване на услугата и анализ на действията на клиентите в реално време.
Всеруската банка за регионално развитие анализира поведението на притежателите на пластмасови карти. Това ви позволява да идентифицирате транзакции, които са нетипични за конкретен клиент, като по този начин увеличавате вероятността за откриване на кражба на средства от пластмасови карти.

На дребно
В Русия технологиите за големи данни са внедрени както от онлайн, така и от офлайн търговски компании. Днес, според CNews Analytics, Big Data се използват от 20% от търговците на дребно. 75% от професионалистите в търговията на дребно смятат Big Data за необходими за разработването на конкурентна стратегия за популяризиране на компания. Според статистиката на Hadoop, след въвеждането на технологията Big Data печалбата в търговските организации нараства със 7-10%.
Специалистите на М.Видео говорят за подобряването на логистичното планиране след внедряването на SAP HANA, също така, в резултат на внедряването му, подготовката на годишни отчети беше намалена от 10 дни на 3, скоростта на ежедневно зареждане на данни беше намалена от 3 часа до 30 минути.
Wikimart използва тези технологии, за да генерира препоръки за посетителите на сайта.
Един от първите офлайн магазини, които въведоха анализ на големи данни в Русия, беше Lenta. С помощта на Big Data търговията на дребно започна да изучава информация за клиентите от касовите бележки. Търговецът на дребно събира информация, за да изгради поведенчески модели, които позволяват по-информирано вземане на решения на оперативно и бизнес ниво.

Петролна и газова индустрия
В тази индустрия обхватът на Big Data е доста широк. Big Data технологиите могат да се прилагат при добива на минерали от недрата. С тяхна помощ можете да анализирате самия процес на копаене и най-много ефективни начиниизвличането му, проследяване на процеса на сондиране, анализиране на качеството на суровините и обработка и маркетинг на крайния продукт. В Русия тези технологии вече се използват от Транснефт и Роснефт.

Държавни органи
В страни като Германия, Австралия, Испания, Япония, Бразилия и Пакистан технологиите за големи данни се използват за решаване на национални проблеми. Тези технологии помагат на публичните органи по-ефективно да предоставят услуги на населението, да предоставят целева социална подкрепа.
В Русия тези технологии започнаха да се усвояват от такива държавни агенции като Пенсионен фонд, Федералната данъчна служба и Фондът за задължително медицинско осигуряване. Потенциалът за реализиране на проекти, използващи големи данни, е голям; тези технологии могат да помогнат за подобряване на качеството на услугите и, като резултат, стандарта на живот на населението.

Логистика и транспорт
Големите данни могат да се използват и от транспортни компании. С помощта на технологиите Big Data е възможно да се проследява автопарка, да се вземат предвид разходите за гориво и да се следят заявките на клиентите.
Руските железници внедриха технологиите за големи данни заедно със SAP. Тези технологии помогнаха да се намали времето за отчитане с 43,5 пъти (от 14,5 часа на 20 минути) и да се подобри точността на разпределението на разходите с 40 пъти. Също така Big Data бяха въведени в процесите на планиране и регулиране на тарифите. Общо компаниите използват повече от 300 системи, базирани на решения на SAP, участват 4 центъра за данни, а броят на потребителите е 220 000.

Основни двигатели и ограничения на пазара

Двигатели за развитието на технологиите за големи данни на руския пазар са:

• Повишен потребителски интерес към възможностите на Big Data като начин за повишаване на конкурентоспособността на компанията;
• Разработване на методи за обработка на медийни файлове на глобално ниво;
• Прехвърляне на сървърна обработка лична информацияна територията на Русия, в съответствие с приетия закон за съхранение и обработка на лични данни;
• Изпълнение на индустриалния план за заместване на вноса на софтуер. Този планвключва държавна подкрепа местни производителисофтуер, както и предоставяне на преференции за местни ИТ продукти при закупуване за обществена сметка.
• В новата икономическа ситуация, когато доларът се е удвоил, ще има тенденция към все по-широко използване на услугите на руски доставчици облачни услугиотколкото чуждите.
• Създаване на технологични паркове, които допринасят за развитието на пазара на информационни технологии, включително пазара на големи данни;
• Държавна програма за въвеждане на грид системи, които са базирани на Big Data технологии.

Основните бариери пред развитието на Big Data на руския пазар са:

• Гарантиране на сигурността и поверителността на данните;
• Липса на квалифициран персонал;
• Недостатъчност на натрупаните информационни ресурси до ниво Big Data в повечето случаи руски компании;
• Трудности при въвеждането на нови технологии в утвърдени Информационни системикомпании;
• Високата цена на технологиите за големи данни, което води до ограничен брой предприятия, които имат възможност да внедрят тези технологии;
• Политическа и икономическа несигурност, водеща до изтичане и замразяване на капитали инвестиционни проектина руска територия;
• Нарастващите цени на вносните продукти и скокът на инфлацията, според IDC, възпрепятстват развитието на целия ИТ пазар.

Прогноза за руския пазар

Към днешна дата руският пазар на големи данни не е толкова популярен, колкото в развитите страни. Повечето руски компании проявяват интерес към него, но не смеят да се възползват от възможностите им.
Примери за големи компании, които вече са се възползвали от използването на технологиите за големи данни, повишават информираността за възможностите на тези технологии.
Анализаторите също имат доста оптимистични прогнози за руския пазар. IDC вярва, че делът на руския пазар ще се увеличи през следващите 5 години, за разлика от пазара в Германия и Япония.
До 2020 г. обемът на Big Data в Русия ще нарасне от сегашните 1,8% до 2,2% от глобалния обем данни. Количеството информация ще нарасне, според EMC, от сегашните 155 екзабайта до 980 екзабайта през 2020 г.
В момента Русия продължава да натрупва обем информация до ниво Big Data.
Според проучване на CNews Analytics 44% от анкетираните компании работят с данни, не по-големи от 100 терабайта*, а само 13% работят с обеми над 500 терабайта.

Въпреки това руският пазар, следвайки световните тенденции, ще се увеличава. Към 2014 г. IDC оценява размера на пазара на 340 милиона долара.
Темпът на растеж на пазара за предходните години беше 50% годишно, ако остане на същото ниво, тогава през 2018 г. обемът на пазара ще достигне 1,7 милиарда щатски долара. Делът на руския пазар в световния ще бъде около 3%, като ще се увеличи от сегашните 1,2%.

Най-възприемчивите индустрии към използването на големи данни в Русия включват:

• Търговци на дребно и банки, за тях на първо място е важно да анализират клиентската база, да оценят ефекта от маркетинговите кампании;
• Телеком - сегментиране на клиентската база и монетизация на трафика;
• Обществен сектор – отчетност, анализ на заявления от населението и др.;
• Петролни компании - наблюдение на работата и планиране на производство и маркетинг;
• Енергийни компании - създаване на интелигентни електроенергийни системи, оперативен мониторинг и прогнозиране.

В развитите страни Big Data са широко разпространени в областта на здравеопазването, застраховането, металургията, интернет компаниите и производствените предприятия, най-вероятно в близко бъдеще руските компании от тези области също ще оценят ефекта от прилагането на Big Data и ще ги адаптират технологии в техните индустрии.
В Русия, както и в света, в близко бъдеще ще има тенденция към визуализация на данни, анализ на медийни файлове и развитие на интернет на нещата.
Въпреки общата стагнация на икономиката през следващите години анализаторите прогнозират по-нататъшен растеж на пазара на големи данни, главно поради факта, че използването на технологиите за големи данни дава на своите потребители конкурентно предимство по отношение на повишаване на оперативната ефективност на бизнес, привличане на допълнителен поток от клиенти, минимизиране на рисковете и внедряване на технологии за прогнозиране на данни.
По този начин можем да заключим, че сегментът на Big Data в Русия е в етап на формиране, но търсенето на тези технологии нараства всяка година.

Основни резултати от анализа на пазара

Световен пазар

В края на 2014 г. пазарът на Big Data се характеризира със следните параметри:

• пазарният обем възлиза на 28,5 милиарда щатски долара, което е увеличение от 45% в сравнение с предходната година;
• по-голямата част от приходите на пазара на големи данни се състоят от услуги, техният дял е равен на 40% от общите приходи;
• 36% от приходите идват от приложения и анализи на големи данни, 17% от компютърен хардуер и 15% от технологии за съхранение;
• Платформите in-memory на компании като SAP, HANA и Oracle са най-популярните за решаване на проблеми с големи данни.
• броят на компаниите с реализирани проекти в областта на управлението на големи данни нараства със 125%;

Пазарната прогноза за следващите години е следната:

• през 2015 г. обемът на пазара ще достигне 38,4 млрд. щатски долара, през 2020 г. - 68,7 млрд. щатски долара;
• средният темп на растеж ще бъде 16% годишно;
• средните разходи на компанията за технологии за големи данни ще бъдат 13,8 милиона долара за големи компании и 1,6 милиона долара за малки и средни предприятия;
• технологиите ще имат най-голямо разпространение в областта на обслужването на клиенти и целевия маркетинг;
• през 2017 г. световната пазарна структура ще се промени към преобладаване на потребителски компании от развиващите се страни.

руски пазар

Руският пазар на големи данни е в етап на формиране, резултатите от 2014 г. са както следва:

• обемът на пазара достигна 340 милиона щатски долара;
• средният темп на растеж на пазара през предходните години беше 50% годишно;
• общият обем на натрупаната информация е 155 екзабайта;
• 10% от руските компании са започнали да използват Big Data технологии;
• Технологиите за големи данни бяха по-популярни в банковия сектор, телекомуникациите, интернет компаниите и търговията на дребно.

Прогнозата за руския пазар за следващите години е следната:

• обемът на руския пазар през 2015 г. ще достигне 500 милиона щатски долара, а през 2018 г. - 1,7 милиарда щатски долара;
• делът на руския пазар в световния ще бъде около 3% през 2018 г.;
• обемът на натрупаните данни през 2020 г. ще бъде 980 екзабайта;
• данните ще нараснат до 2,2% от глобалните данни през 2020 г.;
• технологиите за визуализация на данни, анализ на медийни файлове и интернет на нещата ще придобият най-голяма популярност.

Въз основа на резултатите от анализа можем да заключим, че пазарът на големи данни все още е в начален етап на развитие и в близко бъдеще ще наблюдаваме неговия растеж и разширяване на възможностите на тези технологии.

Благодарим ви, че отделихте време да прочетете тази обемна работа, абонирайте се за нашия блог - обещаваме много нови интересни публикации!

Лектор: Филип Кац

Интервю: Алексей Карлински

Много пъти вярвахме на обещанията на научната фантастика за невероятно бъдеще и всеки път надеждите ни бяха разбивани от скучно настояще. Все още живеем на земята и колите ни не летят във въздуха. „Отново бяхме измамени!“ - мислим си и зад всички тези фантазии отново пропускаме момента, в който бъдещето наистина идва.

Този път това се случи с появата на Big Data. Можем да ги игнорираме, но вече не можем да отричаме влиянието им върху живота ни. Филип Кац, архитект и специалист по големи данни, разказва как големите данни тихо промениха нашите градове и начина, по който живеем в тях.

Мултидисциплинарен специалист, архитект по образование, Филип е Big Data специалист. Завършил Казанския университет по архитектура, Института по медии, архитектура и дизайн Стрелка, един от основателите на проекта Branch Point. Преподава в Санкт Петербургския национален изследователски университет по информационни технологии, механика и оптика и се занимава с анализ на данни за Rambler&Co.

близо

Филип, моля, кажете ни как технологиите за големи данни се използват в архитектурния дизайн и градоустройството днес?

Да започнем с факта, че преди четири години, когато учих в Стрелка, поне в Русия никой не знаеше за Големите данни. Светът само говори за тях. Година по-късно в Русия всички знаеха за тях и бяха болни от тях. Струва ми се, че това е до голяма степен традиционна динамика – кога нова технологиясе издига на пиедестал, възхвалявана е и след това доста бързо се появява скептицизъм срещу нея. Технологията е съборена от пиедестала си и след това те се интегрират в обществото по по-спокоен начин.

Ако говорим за архитектурен или градоустройствен анализ, тогава ми се струва, че днес това е един вид компромис между модерни технологиии традиционен анализ. Например, преди година помагах на мой приятел да участва в архитектурен конкурс за студенти в Съединените щати. За тях градският управител предостави GIS файлове с доста добро описаниеданни: транспортни маршрути, обемът на тези маршрути, където всяка година се появяват локви, където се наводнява на всеки пет години, където има блокове с високо ниво на данъци, където има блокове с висок процент чернокожи. В Съединените щати детайлността на статистиката е висока и данните са обобщени доста добре, така че дори на ниво състезателен проект можем да получим някои неща готови. Не е трябвало да бъдат събирани или анализирани.

Повечето от най-полезните анализи според мен се свеждат до факта, че приемате някои данни като факти и проектирате въз основа на тях. И въпреки че данните може да са еднакви за всички, те все още се четат и разбират по напълно различни начини.

Google твърди, че техните самоуправляващи се автомобили могат да намалят броя на автомобилните произшествия и да помогнат за по-ефективното използване на горивото и пространството по пътищата / снимка: Google.com

Как сте използвали Big Data технологиите във вашата практика?

Ние за дълго временаправих проекта "Branch Point" с моите колеги Едик Хайман и Саша Болдирева - те се опитаха по някакъв начин да обсъдят и развият дигитален дизайн и, разбира се, тогава нашата обща постулирана мечта и крайна цел беше дизайн, базиран на параметри. В същото време нашата крайна мечта беше именно да намерим нови формални решения, базирани на някакъв хитър код, който да отговаря на нашите изисквания, но формата на резултата да не е тази, която сме заложили, а някаква неочаквана - красива.

Анализът е вид изкуство, където във всеки случай алгоритъмът за работа с данни е картина

В зрялата възраст на проекта всички ние разбирахме, че тази мечта е не само непостижима, но по-скоро идеята, че една сграда трябва да бъде изцяло проектирана въз основа на данни, беше противоречива. По-скоро е нещо, към което трябва да се стремите, но разберете, че никога няма да стигнете до там.

Тук за мен възниква важен диалектически момент. Да предположим, че създаваме алгоритъм и разбираме, че на първо място, поради генетични изисквания, той изисква доста прости, но все пак формални параметри. И в една сложна система, а една сграда или квартал е сложна система, веднага се появяват много такива параметри, които трябва да бъдат приведени към общ знаменател. Винаги се нуждаете от първичен формален жест, някаква форма: цилиндър или паралелепипед, пирамиди и така нататък.

Ако погледнем работата на Заха Хадид, винаги има някакъв елегантен формален жест в основата на проекта. След това може да се модифицира цифрово, но винаги остава в основата на всичко и принадлежи на писалката на автора. След това генетичният алгоритъм може да избере най-добрата от получените опции, но никога няма да може да ги измисли.

Тоест в основата на дизайна винаги ще стои човешката воля. Как в този случай ще се промени степента на човешко участие в дизайна с развитието на Big Data?

В бъдеще виждам някакъв аналитичен двигател - голям и сложен квантов компютър, например, или телепати и парапсихолози, потънали в стаи за лишения, които предсказват нещо или предлагат нещо, на което си струва да се обърне внимание.

Мисля, че човек никога няма да бъде изтръгнат от процеса. Всички тези неща (методи за анализ на големи данни) се наричат ​​алгоритми за подпомагане на вземането на решения и същността им се свежда до възможно най-ефективно изваждане на аномалии в динамиката на процесите и минимизиране на процента технически труд на човек. Един анализатор трябва да е експерт в работата с тях и алгоритмите могат да му донесат всичко на сребърен поднос, освен всъщност решението. Разбира се, има технически праг за навлизане в тази дисциплина, но самият анализ е форма на изкуство, където алгоритъмът за работа с данни е картина. Шедьовър.

Дроновете, оборудвани с камера, могат независимо да патрулират в даден район и да прехвърлят изображения в информационния център в реално време / снимка: Kevin Baird / Flickr.com

Големите данни не могат да покрият цялата информация. Как да се справим с това, което не се взема предвид при анализа на Big Data?

Наистина, анализаторите често са критикувани, че описват само тези, които са свързани с интернет, а тези, които не са свързани с интернет, са изхвърлени от анализа. Това е абсолютно вярно, но има своя логика на защита. Казано цинично, ако не познаваме проблемите на една баба, която се притеснява да пише в интернет, защото не е свикнала, тогава можем да пренебрегнем нейните проблеми, просто защото ако използваме този подход, тогава или бабата, или тя внук ще я издържа, евентуално да пише.

Друг проблем се крие във факта, че всяка технология за събиране или съхраняване на данни винаги е първият фактор за грешка. В същото време е невъзможно по принцип да се проследи цялата многофакторност - защо хората играят по този начин, а не по друг начин. Първоначално Big Data не дава отговор. Те ви позволяват да задавате сериозни въпроси.

Как възможността да задаваме въпроси по нови начини променя представата ни за града?

Едуард Хайман веднъж измисли термина „плагополис“. Идеята е съвременният град да става все по-инициативен и динамичен. Днес това е някаква среда със свои потоци, движения, където течността, която прелива в съдовете, се саморегулира през цялото време. В същото време можете да хванете точка и да я оправите много условно. Той незабавно ще промени себе си и ще промени други точки около себе си. За мен тази идея е доста практично нещо за работа. Сега става ясно, че вече не можем да възприемаме града като нещо механично.

Приема ли се тази идея в руското градоустройство?

На ниво градоустройство в този руски смисъл това не е очевидно. Така или иначе започваме с чертане на пътеки, улици и вярваме, че накрая ще стане така. В най-добрия случай започваме да мислим, че трябва да проверим как да го направим правилно и тогава или ще бъде начинът, по който рисуваме, или хората сами ще преработят всичко по-късно.

Големите данни не дават отговор. Те ви позволяват да задавате сериозни въпроси.

Като цяло обвиненията, базирани на стереотипи и абстрактни идеи, днес са много досадни. Освен това архитектите и урбанистите, на първо място, ме побъркват. Те просто казват, че "пешеходците са по-добри от шофьорите" или че "креативният бизнес ще превърне един индустриален парк в рая на земята". Бих искал да има основно изчисление зад което и да е от тези неща, защото може да е така, но може и да не е така и в повечето случаи някак си е грешно.

Как тогава Големите данни могат да ни помогнат да разберем по-добре града?

Градът винаги е слон от приказка за слепите, които се опитват да го опишат с допир. Винаги работим по един и същи начин - някой хваща за дупето, някой за ухото, някой за багажника. И всеки в същото време казва, че вижда слон. В нашия случай всички също вярваме, че сме зрящи и знаем какво е град.

Big Data ни предпазва от докосване само на едно място, дава ни възможност грубо да си представим общата форма на слон и да разберем, че докосваме приблизително това място, но има и други. Получавам огромни отчети за града и винаги мога да вляза в някои конкретни десет реда данни, да погледна и да попитам: защо е така? Обикновено това става началото на някакво разследване, проучване, история.

ГИС данните, комбинирани с алгоритми за пространствено моделиране, помагат да се предвиди нивото на изолация в избрана област / снимка: Trevor Patt / Flickr.com

Дали тези отражения, вдъхновени от Big Data, са изразени по някакъв начин в реални проекти по-късно?

Има т. нар. метод "градска акупунктура". Същността му се състои в това, че възлите на болката се търсят в града и в тези малки възли - в пространства от максимум блок и за предпочитане в една сграда или дори на някаква малка площ между сградите - някаква промяна е направен. Поради размера на бюджета той е напълно микроскопичен, а промените за града като цяло, ако тези възли са правилно изчислени, са огромни.

Макар че "Градската акупунктура" днес е по-скоро спекулативен проект, вече има умни пространствени решения, например със светофари в единна система. Те, съчетани с интелигентни пътища, ви позволяват да промените пространството и това може да доведе до неочаквани изпускателни газове. Дори днес се извършва роботизация на индустриите и това също добавя стойност. Ако сегаДроноветеще започне да транспортира стоки, след това градска логистикасмерджица (от английски за сливане — "сливане"— А.К.)- и има числа, и тук има числа. Определено ще бъде много по-лесно да работите с това, отколкото с живи шофьори на камиони.

Технологията, от която в момента съм вдъхновен и се надявам да излезе нещо архитектурно от нея, е нов проект Amazon, когато си струва интелигентен говорителв центъра на къщата, който изслушва всичките ви въпроси и отговаря на тях. Нещо като Siri, само че в къщата. Тази технология вероятно ще промени усещането на града за пространство повече от всеки алгоритъм.

Значи градът ще разчита все повече на софтуер?

Точно. Сега I / O и различните интерфейси за получаване на информация от човек се променят много институционално. От моя гледна точка услугата за повикване на евтино такси променя живота ми много повече от 90 процента от градоустройствените решения. Такситата много променят представата ми за града. Въпреки целия предишен опит, с появата на Yandex. Таксито и конкуренцията на таксиметровите услуги се оказа, че таксиметровите ни шофьори са учтиви, а парите са специфични и реагират бързо - изобщо не като в някой Ню Йорк.

Евтините таксиметрови услуги променят живота ми много повече от 90 процента от градоустройствените решения

Мисля, че най-важната услуга, която може да направи огромни печалби от uberification, е проституцията. Хипотетичният потребител е срамежлив и може би затова много хора не използват услугите на проститутки - това им се струва нещо опасно, страшно и неразбираемо. Ако седят на телефона си - със сигурност би им било много по-лесно. Разбира се, това веднага ще отнеме хляба на сводниците и ще промени напълно бизнеса. Просто колосално! Мисля, че скоро това ще се случи в някоя либерална държава.

Смятате ли, че хората ще могат лично да работят с технологиите за големи данни в бъдеще?

Мисля, че всичко води до това. Технологичната сложност ще се увеличи и това е разбираемо, но на практика ще се научим как да го опаковаме правилно. Гладки интерфейси(от английски елегантен— тънък, грациозен— А.К.)днес, до известна степен, опростете нашето възприятие за това как се случва всичко. Ето копче, ето пипка и това е. Днес колкото повече можете да скриете от обикновения човек, без да губите функция, толкова по-добре, защото хората са малко уплашени от цялата тази сложност. Въпреки че известната технология, както в Minority Report, не се появи, но чувствено филмът много правилно описва какво ще се случи сега.

Какво ще бъде? С какво според вас ще се сблъскат големите данни в близко бъдеще?

Те се появиха като някаква модна тема и сега бавно отшумяват, защото най-очевидните неща вече са направени. По-нататък ще е необходимо да се разработят техническите механизми в методиката - не в романтична, а в утилитарна форма. Сигурен съм, че след пет години ще има доста добре платена и може би доста скучна позиция на някакъв дигитален анализатор в кметството, в министерствата и бизнеса.

В същото време Big Data има известно заболяване. Има хора, които разбират какво правят, и има хора, които се хранят с това, които всъщност не разбират как работят големите данни. Дупка между професионални технолози и хора, които разбират защо всичко това може да се случи, винаги съществува във всеки бизнес, във всяка наука и това със сигурност е проблем. Хората, които познават технологичната страна и експериментират с нови решения, рядко правят наистина полезни неща, а хората, които знаят как да прилагат тези разработки, също не могат да създадат качествен продукт сами. Затова единственият начин за развитие при работа с големи данни е намирането на нови начини за взаимодействие между специалистите.

MegaFon разработи и предостави за използване от дъщерните дружества на руските железници тестова версия на услугата за анализ на пътническия трафик въз основа на големи данни, съобщава RBC, цитирайки представител на оператора Максим Мотин. Инструментът помага за определяне на размера и подробни спецификациитранспортен пазар, както и дела на транспортната фирма в него в режим близък до реалното време.

Сега се извършва подготвителна работа за внедряване на система за анализ на големи данни, потвърди Олег Емченко, ръководител на отдела за ERP системи (система за планиране на ресурсите на предприятието) на отдела за информационни технологии на FPC RZD. „Това може да се реализира само в конкретен проект през 2016 г.“, каза Йемченко.

Услугата за геоаналитика Megafon стартира през 2013 г., като първоначалната цел беше да се предвидят натоварванията на мрежата. С негова помощ можете да оцените точния обем на пътническия трафик, да получите информация за маршрутите (кой, кога, къде и къде отива), оформление по вид транспорт. Услугата също така оценява платежоспособността на пътниците и естеството на пътуването (командировки, туризъм, лични нужди). Всички данни са анонимни.

Възможно е да се анализират повече от 10 000 събития в секунда, като се използват повече от хиляда параметъра, каза Роман Постников, директор сегментен маркетинг и клиентски анализи в MegaFon. През последните три години са натрупани повече от 5 петабайта информация - обем, сравним с повече от 30 милиарда снимки във Facebook. Постников уверява, че всеки клиент има свой собствен списък с параметри за анализ, т.е. всъщност говорим за универсален облачно решение, който може да се използва от напълно различни типове клиенти, които трябва да анализират големи количества данни.

Мегафон изчисли това транспортни фирмиВ Русия повече от 1,2 милиарда рубли се харчат годишно за изследване на пътническия трафик. „В същото време самите компании могат да събират само част от данните, с които разполагат, а нашата услуга позволява да се види цялата картина на пазара като цяло“, казва Постников. Дори ако благодарение на въвеждането на услугата превозвачът успее да увеличи дела си в общия пазар на пътнически превози с 1,5-2%, тогава това са милиарди рубли, казва той.

Решенията за големи данни могат да се използват и за управление на градската инфраструктура. Експертният център на електронната държава, правителството на Москва ще сключи договор, според който градът ще получи обобщени деперсонализирани геопространствени данни на потребителите на местни телекомуникационни оператори в 11 различни секции в рамките на две години. Потребителите на тази информация ще бъдат Държавното унитарно предприятие „НИ и ПИ на Генералния план на Москва“, Министерството на транспорта и развитието на пътната инфраструктура, Министерството на културата и други столични ведомства.

В Башкирия за първи път бяха използвани „големи данни“ при анализа на туристическия поток. Държавният комитет по туризъм на Република Беларус поръча проучване на Уралския център за мониторинг и анализ, което беше извършено въз основа на динамиката на движението на абонатите на мобилни телефони.

Според проучванията от януари до ноември 2018 г. републиката е посетена от 1,656 милиона туристи, 60% от които са мъже на възраст от 30 до 45 години, като правило, служители на търговски организации с висше образование, с доход от 40 хиляди рубли на година. месец. Средната продължителност на престоя е 3,8 дни.

Пикът на туристическия поток пада през лятото. През юни 2018 г. влезлите са 179 хил. души, през юли - 215 хил. души. Минималната цифра е наблюдавана през февруари - 118 хиляди души.

Гости бяха от различни региони на Русия. Най-голям дял посетители - Москва, Московска област, Татарстан - по 11%. Жителите на Оренбургска област, Челябинска и Самарска области представляват делът на туристическия поток от 9%, 7%, 6%. По-нататък Свердловска области KhMAO - по 3,8%, Тюменска област - 3%, Пермска територия и Удмуртия - всяка малко повече от 2%.

Чуждестранни туристи са от съседни страни, както и от Индия, Испания, Италия, Йемен, Германия, Турция, Египет, Нигерия, Израел, САЩ, Чехия, Саудитска Арабия, България, Иран, Китай и Финландия.

Проведено е и социологическо проучване под формата на анкети сред туристи. 37% от анкетираните са избрали хотел или хотел за престой. 17% са отседнали при приятели или роднини, 11% са предпочели хостели. Според целите на пътуването туристическият поток се разпределя както следва: пътувания до роднини (30%), бизнес туризъм (28%), здравен туризъм (18%), разглеждане на забележителности (12%), активен (8%), поклоннически туризъм (0,2%) .

40% от туристите идват в Башкирия не за първи път. 20% дойдоха по препоръка на приятели (колеги, роднини). 24% печалба при командировка. Най-малко използваните източници на информация при избора на посоката на пътуване за анкетираните са интернет порталите (3,4%), социалните мрежи (1,2%), медийната реклама (0,5%).

През настоящата 2019 г. ще бъде анализирана и туристическата привлекателност на определени региони на републиката, съобщиха от държавната комисия.

„Геоаналитика, използваща възможностите мобилни операторие усъвършенстван метод за отчитане на туристическия поток. В момента само Москва има такъв опит и нека ви напомня, че последната заема първо място в националния туристически рейтинг в Приволжския федерален окръг, Башкортостан - второто ”, каза Азамат Галин, заместник-ръководител на Държавния комитет по туризъм и Предприемачеството на Република Беларус.

Според портала Turstat в края на 2018 г. Башкирия влезе в Топ 15 на рейтинга на вътрешния и входящия туризъм, заемайки 13-то място с брой туристи над 2,5 милиона души (+13% спрямо 2017 г.).

Тези инициативи на правителството на Башкирия са много интересни и полезни за изучаване на туристическия поток и планиране на техните дейности с цел популяризиране на туристическите продукти на региона чрез цялостно предоставяне на услуги на туристите, включително с помощта на ИТ технологии.

Между другото, в новината се споменава Нижни Ногород. По-рано съобщихме, че този град е реализирал проекта „Карта за гости“, който ще ви позволи да проследявате движението на туристите, посещаващи забележителностите на града, техните интереси, туристите ще могат да получават различни отстъпки, както и безплатно използване обществен транспорт.

Всички тези инициативи се реализират в регионите изолирани и изолирани, без федерално участие.

ЗА КАКВО ГОВОРИШ?

Основното е, че в момента се решава въпросът за прилагането на електронни визи за чуждестранни граждани, пристигащи в Руската федерация. Според Асоциация „Безопасност на туризма“ използването на такива визи с помощта на специални цифрови технологии без интегриране на системата за миграция и регистрация на туристи в хотелите и посочените по-горе услуги с помощта на „карта за гости“ няма смисъл. Това не е държавен подход.

Според нас системният, държавническият подход трябва да включва отчитането на всички тези елементи. Туристът трябва да се регистрира на границата веднъж, след като е получил електронен етикет, след което да се движи из страната, да се регистрира в хотели (вече без миграционна регистрация), да посещава музеи без проблеми, да получава различни отстъпки, да използва обществения транспорт безплатно или с отстъпки. И в същото време този подход ще позволи както да се гарантира националната сигурност чрез записване на движението на чужденците, така и да освободи хотелиерите от главоболието на регистрацията и миграционното отчитане, а органите за управление на туризма в съставните образувания на Руската федерация да получават информация за най-популярните обекти в региона (града) и въз основа на това формирайте туристически оферти, като по този начин получавате максимална полза.

И ВСИЧКО Е ЗА ТОВА!

А именно постановлението на правителството Руска федерация 6 август 2015 г. № 813, с който е одобрен Правилник за държавно устройствомиграционни и регистрационни записи, прилагането на които може значително да повлияе на гостоприемството и да увеличи входящия туристически поток като цяло. Именно за това говори председателят на УС на Асоциация „Безопасност на туризма“ на 06 декември 2018 г. в Съвета на федерацията Сергей Груздучастници в кръглата маса на тема „Актуални въпроси за използването на електронни визи за чуждестранни граждани, пристигащи в Руската федерация, и подобряване на законодателството на Руската федерация в тази област“

Припомняме, че въпросите за подобряване на регистрите за миграция и регистрация, опростяване на визовия режим, разработване и прилагане на единен биометричен идентификатор за пътуване ще бъдат предмет на обсъждане в рамките на Международен форум „Безопасност в туризма“ – TSIF – 2019г.Форумът е ключово професионално събитие, на което на една платформа представители на властта, професионалната общност и бизнеса обсъждат актуални въпроси за осигуряване на безопасността в туризма.Форматът на форума предвижда 4 сесии.

2,5 милиарда гигабайта данни. Анализаторските компании прогнозират, че количеството данни, генерирани годишно, ще достигне 43 трилиона гигабайта до 2020 г. Сред цялата тази информация: туитове, повторни публикации и видеоклипове, има една, която много компании използват за разработване на услуги. Хората вече са намерили използването на големи данни в маркетинга, за да оценят желанията на клиентите. Големите данни се използват и в медицината за подобряване на диагностиката и в банковата среда за създаване на персонализирани оферти. Големите данни се използват и в автомобилния сектор, като помагат на шофьорите да стигнат по-бързо до местоназначението си. как? За това ще говорим днес.

Помогнете да избегнете задръстванията

Данните помагат на шофьорите да стигнат до местоназначението си в истинския смисъл на думата. Говорим за навигатори - те изграждат най-краткия маршрут без задръствания и пътни работи.

Навигаторите изпращат своите координати до системата на доставчика на приложението на всеки няколко секунди. Въз основа на получените данни алгоритъмът изгражда следа, тоест маршрут с информация за скоростта на движение. Въз основа на сумата от следи, получени от много шофьори, се откриват задръствания.

Автомобилите са част от мрежата и формират стабилен поток от информация. В същото време те могат да обменят данни със заобикалящата инфраструктура. Камери за наблюдение, монтирани на кръстовища в града, също могат да се използват за откриване на задръствания. Изследователите работят върху различни варианти за прилагане на подобни решения.

Например, за създаване на комуникации от кола до кола и от кола до инфраструктура учените предлагат използването на OBU модули (бордови устройства), които определят позицията на автомобила и скоростта в ограничени интервали от време. Тази информация ще отиде в RSU (крайпътно звено) и след това в клъстерите, отговорни за агрегирането и обработката на данни.

Клъстерите получават данни чрез API и интерпретират. Например, ако няколко потребители на навигационното приложение се движат с ниска скорост в една зона, системата разбира, че движението в нея е трудно. Можете да прочетете повече за един от предложените алгоритми.

Потребителите също могат сами да изпращат данни към услугата: информация за аварии, ремонти, дупки и т.н. Агрегаторът събира част по част получената информация в една картина и, сравнявайки данните с GPS координати, поставя точки на задръствания по пътя. Въз основа на тези данни се изграждат навигационни маршрути.

Когато е изграден маршрут, приложението го следи, за да бъде в крак със ситуацията по пътя. Алгоритъмът е отговорен за изграждането на маршрут, който няма да има задръствания. Ако по маршрута има задръстване, тогава алгоритъмът търси друг начин. Ако алтернативни варианти(дори и при задръствания, но по-бързи) не се намира, тогава маршрутът остава същият. Опростена форма на този алгоритъм е показана по-долу:

Блокова схема на вариант на алгоритъма за следене на маршрута

Учените са уверени, че точността на такива системи ще се увеличи значително, когато всички или почти всички автомобили започнат да комуникират помежду си и да обменят данни. В бъдеще те ще променят правилата за поведение на пътя. Това мнение споделя и Тим Ломакс, анализатор в Texas A&M Transportation Institute.

„Ако колите започнат да си говорят, няма да имаме нужда от светофари“, казва Тим. „Колата, приближавайки се до кръстовището, ще съобщи за намерението си да го пресече, а околните превозни средства ще знаят как да избегнат сблъсък.“ Lomax казва, че това ще бъде стъпка към широкото използване на самоуправляващите се автомобили.

Те ще ви отведат до мястото

Самоуправляващите се автомобили са друга област, в която големите данни могат да имат значително въздействие. Самоуправляващите се автомобили са част от Интернет на нещата и водят до увеличаване на количеството генерирани данни. За да изгради маршрут, автопилотът трябва да разбере по какви пътища ще трябва да пътува и какво ще срещне по пътя. За да направят това, автомобилите, в допълнение към собствените си сензори, черпят информация от така наречените карти на околната среда. В бъдеще този списък ще бъде попълнен с други участници в движението и инфраструктурни елементи: светофари, сгради, дори дървета.