"빅 데이터"- 기술 회사에서 활발히 논의되는 주제. 그들 중 일부는 빅 데이터에 환멸을 느꼈고, 다른 일부는 반대로 비즈니스에 최대한 활용했습니다.... . 정보가 흥미롭고 유용하기를 바랍니다.

빅 데이터란 무엇입니까?

주요 특징들
빅 데이터는 현재 개발의 핵심 동인 중 하나입니다. 정보 기술. 러시아 비즈니스에 비교적 새로운 이 방향은 서구 국가에서 널리 퍼졌습니다. 정보화 시대, 특히 소셜 네트워크의 붐 이후 인터넷 사용자 1인당 엄청난 양의 정보가 축적되기 시작했고, 이는 결국 빅데이터의 방향성을 낳았기 때문입니다.

빅데이터라는 용어는 많은 논란을 불러일으키고 있으며 많은 사람들은 그것이 축적된 정보의 양만을 의미한다고 생각하지만 기술적인 측면을 잊지 마십시오. 이 영역에는 스토리지 기술, 컴퓨팅 및 서비스가 포함됩니다.

이 영역은 기존의 방법으로 처리하기 어려운 대용량 정보 처리를 포함한다는 점에 유의해야 합니다*.

아래는 기존의 빅데이터 기반과 빅데이터 기반의 비교표입니다.

빅 데이터 영역은 다음과 같은 특징이 있습니다.
용량 - 기존의 방식으로 처리하고 저장하기 힘든 방대한 양의 정보, 축적된 데이터베이스가 필요하며, 새로운 접근 방식및 고급 도구.
속도 - 속도는 데이터 축적 속도(최근 2년간 90%의 정보 수집)와 데이터 처리 속도를 모두 나타내는 것으로, 최근에는 실시간 데이터 처리 기술에 대한 수요가 증가하고 있습니다.
다양성 – 다양성, 즉 다양한 형식의 정형 및 비정형 정보의 동시 처리 가능성. 구조화된 정보의 주요 차이점은 분류할 수 있다는 것입니다. 이러한 정보의 예로는 클라이언트 트랜잭션에 대한 정보가 있습니다.
비정형 정보에는 비디오, 오디오 파일, 자유 텍스트, 소셜 네트워크에서 제공되는 정보가 포함됩니다. 현재까지 정보의 80%가 비정형 그룹에 포함됩니다. 이 정보추가 처리에 유용하려면 복잡한 분석이 필요합니다.
정확성 – 데이터의 신뢰성, 사용자는 사용 가능한 데이터의 신뢰성에 중요성을 부여하기 시작했습니다. 그래서 인터넷 기업들은 기업 웹사이트에서 로봇과 사람이 하는 행동을 구분하는 문제가 있어 결국 데이터 분석에 어려움을 겪는다.
값 - 축적된 정보의 가치. 빅 데이터는 회사에 유용해야 하고 약간의 가치를 가져와야 합니다. 예를 들어, 비즈니스 프로세스 개선, 보고 또는 비용 최적화를 돕습니다.

위의 5가지 조건을 만족하면 누적된 데이터의 양이 많은 것으로 분류될 수 있다.

빅 데이터의 응용

빅 데이터 기술의 범위는 광범위합니다. 따라서 빅 데이터의 도움으로 고객 선호도, 마케팅 캠페인의 효과에 대해 배우거나 위험 분석을 수행할 수 있습니다. 다음은 기업에서 빅데이터를 활용하는 방향에 대한 IBM 연구소 설문조사 결과입니다.

다이어그램에서 볼 수 있듯이 대부분의 회사는 고객 서비스 분야에서 빅 데이터를 사용하고 두 번째로 인기있는 방향은 운영 효율성이며 위험 관리 분야에서는 빅 데이터가 현재 덜 일반적입니다.

빅데이터는 통계에 따르면 정보 기술에서 가장 빠르게 성장하는 분야 중 하나이며, 수신 및 저장되는 데이터의 총량이 1.2년마다 두 배로 증가한다는 점에 유의해야 합니다.
2012년에서 2014년 사이 월간 데이터 전송량 모바일 네트워크, 81% 증가했습니다. Cisco는 2014년에 모바일 트래픽한 달에 2.5엑사바이트(10 ^ 18 표준 바이트에 해당하는 정보량의 측정 단위)에 달했으며 이미 2019년에는 24.3엑사바이트에 해당합니다.
이처럼 빅데이터는 비교적 어린 나이에도 불구하고 이미 정립된 기술 분야로, 많은 비즈니스 영역에서 보편화되어 기업의 발전에 중요한 역할을 하고 있습니다.

빅 데이터 기술
빅 데이터를 수집하고 처리하는 데 사용되는 기술은 3가지 그룹으로 나눌 수 있습니다.
  • 소프트웨어;
  • 장비;
  • 서비스.

가장 일반적인 데이터 처리(PD) 접근 방식은 다음과 같습니다.
SQL - 데이터베이스로 작업할 수 있는 구조화된 쿼리 언어입니다. SQL을 사용하여 데이터를 생성하고 수정할 수 있으며 데이터 배열은 적절한 데이터베이스 관리 시스템에 의해 관리됩니다.
NoSQL - 이 용어는 Not Only SQL(SQL만이 아님)을 나타냅니다. 여기에는 기존의 관계형 DBMS에서 사용되는 모델과 다른 데이터베이스 구현을 목표로 하는 여러 접근 방식이 포함됩니다. 끊임없이 변화하는 데이터 구조와 함께 사용하는 것이 편리합니다. 예를 들어, 소셜 네트워크에서 정보를 수집하고 저장합니다.
맵리듀스 – 계산 분포 모델. 병렬 컴퓨팅에 사용 큰 세트데이터(페타바이트* 이상). 프로그래밍 인터페이스에서 데이터는 처리를 위해 프로그램으로 전송되지 않지만 프로그램은 데이터로 전송됩니다. 따라서 쿼리는 별도의 프로그램입니다. 동작 원리는 Map과 Reduce 두 가지 방식으로 데이터를 순차적으로 처리하는 것이다. Map은 예비 데이터를 선택하고 Reduce는 이를 집계합니다.
하둡 - Facebook, eBay, Amazon 등 로드가 많은 사이트에 대한 검색 및 컨텍스트 메커니즘을 구현하는 데 사용됩니다. 구별되는 특징각 블록에는 다른 노드에 있는 데이터 복사본이 하나 이상 있기 때문에 시스템이 클러스터 노드 중 하나의 오류로부터 보호된다는 것입니다.
SAP HANA 데이터 저장 및 처리를 위한 고성능 NewSQL 플랫폼입니다. 제공 고속요청 처리. 또 다른 차별화 요소는 SAP HANA가 분석 시스템 지원 비용을 줄여 시스템 환경을 단순화한다는 것입니다.

기술 장비에는 다음이 포함됩니다.

  • 서버;
  • 인프라 장비.
서버에는 데이터 저장소가 포함됩니다.
인프라 장비에는 플랫폼 가속 도구, 소스가 포함됩니다. 무정전 전원 공급 장치, 서버 콘솔 세트 등

서비스.
서비스에는 데이터베이스 시스템 아키텍처, 인프라 개발 및 최적화, 데이터 스토리지 보안이 포함됩니다.

소프트웨어, 하드웨어 및 서비스가 결합하여 데이터 저장 및 분석을 위한 종단 간 플랫폼을 형성합니다. Microsoft, HP, EMC와 같은 회사는 빅 데이터 솔루션의 개발, 배포 및 관리를 위한 서비스를 제공합니다.

산업 분야에서의 적용
빅 데이터는 많은 비즈니스 분야에서 보편화되었습니다. 의료, 통신, 무역, 물류, 금융 회사 및 공공 행정 분야에서 사용됩니다.
다음은 일부 산업에서 빅 데이터 애플리케이션의 몇 가지 예입니다.

소매
소매점의 데이터베이스는 고객, 재고 관리 시스템, 시장성 있는 제품 공급에 대한 많은 정보를 축적할 수 있습니다. 이 정보는 매장 활동의 모든 영역에서 유용할 수 있습니다.

따라서 축적된 정보의 도움으로 상품의 공급, 보관 및 판매를 관리할 수 있습니다. 축적된 정보를 바탕으로 재화의 수요와 공급을 예측할 수 있습니다. 또한 데이터 처리 및 분석 시스템은 비용 최적화 또는 보고서 작성과 같은 소매업체의 다른 문제를 해결할 수 있습니다.

금융 서비스
빅 데이터를 사용하면 차용인의 신용도를 분석할 수 있으며 신용 평가* 및 인수**에도 유용합니다. 빅데이터 기술의 도입으로 대출 신청 심사 시간이 단축됩니다. 빅 데이터의 도움으로 특정 고객의 운영을 분석하고 그에 적합한 은행 서비스를 제공할 수 있습니다.

통신
통신 산업에서 빅 데이터는 이동 통신사에서 널리 사용됩니다.
연산자 셀룰러 통신금융 기관과 함께 가장 큰 데이터베이스 중 하나를 보유하고 있어 축적된 정보를 가장 심층적으로 분석할 수 있습니다.
데이터 분석의 주요 목표는 기존 고객을 유지하고 새로운 고객을 유치하는 것입니다. 이를 위해 기업은 고객을 세분화하고 트래픽을 분석하여 가입자의 사회적 관계를 파악합니다.

마케팅 목적으로 빅 데이터를 사용하는 것 외에도 사기 금융 거래를 방지하기 위해 기술이 사용됩니다.

광업 및 석유 산업
빅 데이터는 광물 추출, 가공 및 마케팅 모두에 사용됩니다. 수신된 정보를 기반으로 기업은 현장 개발의 효율성에 대한 결론을 도출하고 정밀 검사 일정 및 장비 상태를 추적하며 제품 수요 및 가격을 예측할 수 있습니다.

Tech Pro Research의 설문 조사에 따르면 빅 데이터는 통신 산업뿐만 아니라 엔지니어링, IT, 금융 및 정부 기업에서 가장 널리 퍼져 있습니다. 설문조사 결과에 따르면 빅데이터는 교육 및 의료 분야에서 덜 인기가 있습니다. 설문조사 결과는 아래와 같습니다.

기업에서 빅데이터 활용 사례
오늘날 빅데이터는 외국 기업에서 활발히 시행되고 있다. Nasdaq, Facebook, Google, IBM, VISA, Master Card, Bank of America, HSBC, AT&T, Coca Cola, Starbucks 및 Netflix와 같은 회사는 이미 빅 데이터 리소스를 사용하고 있습니다.

처리된 정보의 적용 분야는 산업 및 수행하는 업무에 따라 다양하고 다양합니다.
다음으로 빅데이터 기술의 실제 적용 사례를 제시한다.

HSBC 빅 데이터 기술을 사용하여 플라스틱 카드로 사기 거래에 대응합니다. 빅데이터의 도움으로 보안 서비스의 효율성을 3배, 사기 사건 인식을 10배 높였습니다. 이러한 기술의 도입으로 인한 경제적 효과는 천만 달러를 넘어섰습니다.

사기 방지* 비자 허용 자동 모드사기성 거래 계산, 시스템 이 순간매년 20억 달러 상당의 사기성 지불을 방지하는 데 도움이 됩니다.

슈퍼컴퓨터 왓슨 회사 IBM 금전거래 데이터의 흐름을 실시간으로 분석합니다. IBM에 따르면 Watson은 탐지된 사기 거래 수를 15% 늘렸고 시스템 오탐을 50% 줄였으며 이러한 유형의 거래로부터 보호되는 자금의 양을 60% 늘렸습니다.

프록터 앤 갬블 빅 데이터의 도움으로 신제품을 디자인하고 글로벌 마케팅 캠페인을 만듭니다. P&G는 실시간 정보를 볼 수 있는 전용 Business Sphere 사무실을 만들었습니다.
따라서 회사 경영진은 즉시 가설을 테스트하고 실험을 수행할 수 있습니다. P&G는 빅 데이터가 회사의 성과를 예측하는 데 도움이 된다고 믿습니다.

사무용품 소매업체 오피스맥스 빅 데이터 기술의 도움으로 고객의 행동을 분석합니다. 빅 데이터 분석을 통해 B2B 수익을 13% 늘리고 비용을 연간 $400,000 줄일 수 있었습니다.

에 따르면 무한 궤도 , 유통업체는 빅 데이터 기술을 구현하지 않는다는 이유로 연간 90억~180억 달러의 매출을 놓치고 있습니다. 빅 데이터를 통해 고객은 기계에 설치된 센서의 정보를 분석하여 차량을 보다 효율적으로 관리할 수 있습니다.

오늘날 이미 상태를 분석하는 것이 가능합니다. 키 노드, 마모 정도, 연료 및 유지 보수 비용을 관리합니다.

룩소티카 그룹 Ray-Ban, Persol 및 Oakley와 같은 브랜드와 함께 스포츠 안경 제조업체입니다. 회사는 빅 데이터 기술을 사용하여 행동을 분석합니다. 잠재 고객및 "스마트" SMS 마케팅. 그 결과 Big Data Luxottica 그룹은 1억 명 이상의 가장 가치 있는 고객을 식별하고 마케팅 캠페인의 효율성을 10% 높였습니다.

Yandex Data Factory의 도움으로 게임 개발자 탱크의 세계 플레이어의 행동을 분석합니다. 빅 데이터 기술을 통해 100개 이상의 매개변수(구매, 게임, 경험 등에 대한 정보)를 사용하여 10만 World of Tanks 플레이어의 행동을 분석할 수 있었습니다. 분석 결과 사용자 이탈 예측이 나왔다. 이 정보를 통해 사용자 관리를 줄이고 목표 방식으로 게임 참가자와 작업할 수 있습니다. 개발된 모델은 표준 게임 산업 분석 도구보다 20-30% 더 효율적인 것으로 나타났습니다.

독일 노동부 빅 데이터를 사용하여 들어오는 실업 청구를 분석합니다. 그래서 정보를 분석한 결과, 급여의 20%가 부당하게 지급된 것이 분명해졌습니다. 노동부는 빅 데이터의 도움으로 비용을 100억 유로 절감했습니다.

토론토 아동 병원 프로젝트 Artemis 프로젝트를 구현했습니다. 아기에 대한 데이터를 실시간으로 수집하고 분석하는 정보시스템입니다. 시스템은 1초마다 각 아동의 상태를 나타내는 1,260개의 지표를 모니터링합니다. Project Artemis를 사용하면 어린이의 불안정한 상태를 예측하고 어린이의 질병 예방을 시작할 수 있습니다.

글로벌 빅 데이터 시장 개요

글로벌 시장의 현황
Data Collective에 따르면 2014년에 빅 데이터는 벤처 산업 투자의 우선 순위 영역 중 하나가 되었습니다. 데이터에 따르면 정보 포털 Computerra, 이것은 이 분야의 개발이 사용자에게 중요한 결과를 가져오기 시작했기 때문입니다. 지난 1년 동안 빅 데이터 관리 분야에서 프로젝트를 구현한 기업의 수는 2013년에 비해 125% 증가했으며 시장 규모는 45% 증가했습니다.

Wikibon에 따르면 빅 데이터 시장 수익의 대부분은 2014년에 서비스로 구성되었으며 해당 점유율은 총 수익의 40%에 해당했습니다(아래 다이어그램 참조).

2014년 빅 데이터를 하위 유형별로 고려하면 시장은 다음과 같습니다.

Wikibon에 따르면 앱 및 분석은 2014년 빅 데이터 앱 및 분석에서 빅 데이터 수익의 36%, 컴퓨팅 하드웨어에서 17%, 스토리지 기술에서 15%를 차지했습니다. 모든 수익 중 가장 적은 수익은 NoSQL 기술, 인프라 장비 및 기업 네트워크(기업 네트워크) 제공에서 발생했습니다.

가장 인기 있는 빅데이터 기술은 SAP, HANA, Oracle 등의 인메모리 플랫폼이다. T-Systems 설문조사 결과, 설문조사 기업의 30%가 빅데이터를 선택한 것으로 나타났다. 두 번째로 인기 있는 NoSQL 플랫폼은 NoSQL 플랫폼(사용자의 18%)이었고, 회사도 Splunk 및 Dell의 분석 플랫폼을 사용했으며 회사의 15%가 선택했습니다. 설문조사 결과 빅데이터 문제 해결에 가장 유용하지 않은 제품은 Hadoop/MapReduce 제품이었습니다.

Accenture 조사에 따르면 빅 데이터 기술을 사용하는 기업의 50% 이상이 빅 데이터 비용 범위는 21%에서 30%입니다.
다음 Accenture 분석에 따르면 기업의 76%는 이러한 비용이 2015년에 증가할 것이라고 생각하고 기업의 24%는 빅 데이터 기술에 대한 예산을 변경하지 않을 것이라고 생각합니다. 이는 이들 기업에서 빅 데이터가 이미 IT의 확립된 영역이 되었으며, 이는 회사 발전의 필수적인 부분이 되었음을 시사합니다.

이코노미스트 인텔리전스 유닛(Economist Intelligence Unit) 설문조사 결과는 빅 데이터 구현의 긍정적인 영향을 확인시켜줍니다. 기업의 46%는 빅 데이터 기술을 사용하여 고객 서비스를 10% 이상 개선했다고 주장하고, 기업의 33%는 재고 최적화 및 주요 자산의 생산성 향상, 32%의 기업은 계획 프로세스를 개선했다고 주장합니다.

빅 데이터 다른 나라평화
지금까지 빅데이터 기술은 미국 기업에서 가장 많이 구현됐지만, 이제는 다른 나라에서도 관심을 보이기 시작했다. 2014년 IDC에 따르면 유럽, 중동, 아시아(일본 제외) 및 아프리카 국가는 빅 데이터 소프트웨어, 서비스 및 장비 시장의 45%를 차지했습니다.

또한 CIO 설문 조사에 따르면 아시아 태평양 지역의 기업은 빅 데이터 분석, 보안 스토리지 및 클라우드 기술 분야에서 새로운 솔루션을 빠르게 마스터하고 있습니다. 중남미는 빅데이터 기술 개발 투자액에서 유럽과 미국을 앞서 2위를 기록하고 있다.
다음으로 여러 국가에서 빅 데이터 시장의 발전에 대한 설명과 예측이 제시됩니다.

중국
중국의 정보량은 909엑사바이트로 세계 전체 정보량의 10%에 해당하며, 2020년에는 정보량이 8060엑사바이트에 이르고 세계 통계에서 정보의 비중도 증가할 것이다. 5년 후에는 18%가 됩니다. 중국 빅 데이터의 잠재적 성장은 가장 빠르게 성장하는 역학 중 하나입니다.

브라질
2014년 말까지 브라질은 전 세계 볼륨의 3%에 해당하는 212엑사바이트의 정보를 축적했습니다. 2020년까지 정보의 양은 1600엑사바이트로 증가할 것이며 이는 전 세계 정보의 4%에 해당합니다.

인도
EMC에 따르면 2014년 인도의 누적 데이터 양은 326엑사바이트로 전체 정보량의 5%에 해당한다. 2020년까지 정보의 양은 2800엑사바이트로 증가할 것이며 이는 전 세계 정보의 6%에 해당합니다.

일본
2014년 말 일본의 누적 데이터 양은 495엑사바이트로 전체 정보량의 8%에 해당한다. 2020년까지 정보의 양은 2200엑사바이트로 증가하지만 일본의 시장 점유율은 감소하여 전 세계 정보 총량의 5%에 이를 것입니다.
따라서 일본 시장의 규모는 30% 이상 감소할 것입니다.

독일
EMC에 따르면 2014년 독일의 누적 데이터 양은 230엑사바이트로 전 세계 정보량의 4%에 해당한다. 2020년까지 정보의 양은 1100엑사바이트로 증가하고 2%가 될 것입니다.
Experton Group 예측에 따르면 독일 시장에서 수익의 상당 부분이 서비스 부문에서 창출될 것이며 이 부문의 점유율은 2015년에 54%, 2019년에는 59%로 증가할 것입니다. 소프트웨어반대로 장비는 감소합니다.

일반적으로 시장 규모는 2015년 13억 4500만 유로에서 2019년 31억 9800만 유로로 평균 성장률 24%로 성장할 것입니다.
따라서 CIO 및 EMC 분석을 기반으로 우리는 세계의 개발 도상국이 향후 몇 년 동안 빅 데이터 기술의 적극적인 개발을 위한 시장이 될 것이라고 결론을 내릴 수 있습니다.

주요 시장 동향
IDG Enterprise에 따르면 2015년 기업은 빅데이터에 평균 740만 달러, 대기업은 약 1380만 달러, 중소기업은 160만 달러를 지출할 예정입니다.
투자의 대부분은 데이터 분석, 시각화 및 데이터 수집과 같은 영역에 있을 것입니다.
현재 동향 및 시장 수요에 따라 2015년 투자는 데이터 품질을 개선하고 계획 및 예측을 개선하며 데이터 처리 속도를 높이는 데 사용될 것입니다.
Bain Company의 Insights Analysis에 따르면 금융 부문 기업은 상당한 투자를 할 것이므로 2015년에는 빅 데이터 기술에 64억 달러를 지출할 계획이며 2020년까지 평균 투자 성장률은 22%가 될 것입니다. 인터넷 기업은 빅데이터 지출이 평균 26% 증가하면서 28억 달러를 지출할 계획입니다.
이코노미스트 인텔리전스 유닛 설문조사에서 2014년과 향후 3년 동안 빅데이터 발전의 우선순위 영역을 파악한 결과, 응답 분포는 다음과 같다.

IDC 예측에 따르면 시장 동향은 다음과 같습니다.

  • 향후 5년 동안 클라우드 기반 빅 데이터 솔루션의 비용은 온프레미스 솔루션의 비용보다 3배 빠르게 증가할 것입니다. 하이브리드 스토리지 플랫폼이 대중화될 것입니다.
  • 2015년에는 기계 학습을 포함하여 정교하고 예측 분석을 사용하는 애플리케이션의 성장이 가속화될 것이며 이러한 애플리케이션의 시장은 예측 분석이 없는 애플리케이션보다 65% 더 빠르게 성장할 것입니다.
  • 미디어 분석은 2015년에 3배가 될 것이며 빅 데이터 기술 시장의 핵심 성장 동력이 될 것입니다.
  • 사물 인터넷에 적용할 수 있는 정보의 끊임없는 흐름을 분석하는 솔루션을 구현하는 추세는 가속화될 것입니다.
  • 2018년까지 사용자의 50%가 코그너티브 컴퓨팅 기반 서비스와 상호 작용할 것입니다.
시장 동인 및 제한자
IDC 전문가들은 2015년 빅 데이터 시장의 3가지 동인을 확인했습니다.

Accenture 설문 조사에 따르면 데이터 보안 문제는 이제 빅 데이터 기술 채택의 주요 장벽이며 응답자의 51% 이상이 데이터 보호 및 개인 정보 보호에 대해 우려한다고 답했습니다. 47%의 기업이 한정된 예산으로 빅데이터 구현이 불가능하다고 답했고, 41%의 기업은 적격인력 부족을 문제로 꼽았다.

Wikibon은 빅 데이터 시장이 2015년에 전년 대비 36% 증가한 384억 달러로 성장할 것으로 예측합니다. 향후 몇 년 동안 2017년에는 성장률이 10%로 감소할 것입니다. 이러한 예측을 고려하면 2020년 시장 규모는 687억 달러에 달할 것입니다.

비즈니스 범주별 글로벌 빅 데이터 시장의 분포는 다음과 같습니다.

다이어그램에서 볼 수 있듯이 대부분의 시장은 고객 서비스 개선 분야의 기술이 차지할 것입니다. Heavy Reading에 따르면 스팟 마케팅은 2019년까지 기업에게 두 번째로 높은 우선 순위가 될 것이며, 2020년에는 운영 효율성을 개선하기 위한 솔루션이 제공될 것입니다.
"고객 서비스 개선" 부문도 연간 49%의 성장률로 가장 높은 성장률을 보일 것입니다.
빅 데이터 하위 유형에 대한 시장 예측은 다음과 같습니다.

차트에서 볼 수 있듯이 시장 점유율은 전문 서비스가 차지하고 분석 기능이 있는 애플리케이션은 가장 높은 성장률을 보일 것이며 점유율은 현재 12%에서 2020년에는 18%로 증가할 것입니다. 이 세그먼트 2020년에는 123억 달러, 컴퓨팅 장비의 점유율은 20%에서 14%로 감소하고 2020년에는 약 93억 달러가 될 것이며 클라우드 기술 시장은 점차 증가하고 2020년에는 6,300억 달러에 도달하면 데이터 저장 솔루션 시장의 점유율은 2014년 15%에서 2020년 13%로 감소하고 돈으로 환산하면 89억 달러에 이를 것입니다.
Bain & Company의 Insights Analysis 예측에 따르면 2020년 산업별 빅 데이터 시장 분포는 다음과 같습니다.

  • 금융 산업은 연간 평균 성장률 22%로 빅 데이터에 64억 달러를 지출할 것입니다.
  • 인터넷 기업은 향후 5년 동안 28억 달러를 지출하고 평균 비용 성장률은 26%를 기록할 것입니다.
  • 공공 부문의 비용은 인터넷 회사의 비용에 비례하지만 성장률은 22%로 낮아질 것입니다.
  • 통신 부문은 평균 40%의 성장률로 2020년에는 12억 달러에 이를 것입니다.

에너지 회사는 이러한 기술에 상대적으로 적은 금액(8억 달러)을 투자하지만 성장률은 연간 54%로 가장 높은 것 중 하나가 될 것입니다.
따라서 2020년에는 금융 산업의 기업이 빅 데이터 시장의 큰 점유율을 차지할 것이며 에너지는 가장 빠르게 성장하는 부문이 될 것입니다.
애널리스트들의 예측에 따르면 총 시장 규모는 향후 몇 년 동안 증가할 것입니다. 시장의 성장은 아래 그래프에서 볼 수 있듯이 전 세계 개발 도상국에서 빅 데이터 기술의 도입으로 보장됩니다.

예측된 시장 규모는 개발도상국에서 빅 데이터 기술이 선진국만큼 인기를 끌 것인지 여부에 따라 빅 데이터 기술을 인식하는 방식에 따라 달라집니다. 2014년에는 세계 개발도상국이 축적된 정보의 40%를 차지했습니다. EMC의 예측에 따르면 선진국이 지배하는 현재의 시장 구조는 빠르면 2017년에 바뀔 것입니다. EMC Analytics에 따르면 2020년에는 개발도상국의 점유율이 60% 이상이 될 것입니다.
Cisco와 EMC에 따르면 전 세계 개발 도상국이 빅 데이터와 적극적으로 협력할 것이라고 합니다. 이는 여러 측면에서 기술의 가용성과 빅 데이터 수준에 대한 충분한 정보의 축적 때문일 것입니다. 다음 페이지의 세계지도는 지역별 빅데이터의 성장률 전망과 성장률을 보여줍니다.

러시아 시장 분석

현재 상태 러시아 시장

씨뉴스 애널리틱스와 오라클의 연구 결과에 따르면 러시아 빅데이터 시장의 성숙도는 작년장미. 서로 다른 산업의 108개 대기업을 대표하는 응답자가 더 많이 나타났습니다. 높은 학위이러한 기술에 대한 인식과 비즈니스에 대한 그러한 솔루션의 잠재력에 대한 기존의 이해.
IDC에 따르면 2014년 기준 러시아는 155엑사바이트의 정보를 축적했으며 이는 전 세계 데이터의 1.8%에 불과하다. 2020년까지 정보의 양은 980엑사바이트에 도달하고 2.2%를 차지할 것입니다. 따라서 정보량의 평균 성장률은 연간 36%가 될 것입니다.
IDC는 러시아 시장을 3억 4000만 달러로 추산하며 이 중 1억 달러는 SAP 솔루션이고 약 2억 4000만 달러는 Oracle, IBM, SAS, Microsoft 등의 유사한 솔루션입니다.
러시아 빅데이터 시장의 성장률은 연간 50% 이상입니다.
러시아 IT 시장의 이 부문에서 긍정적인 역동성은 경제의 전반적인 침체 상황에서도 계속될 것으로 예상됩니다. 이는 기업이 작업 효율성을 개선하고 비용을 최적화하고 예측 정확도를 개선하며 회사의 가능한 위험을 최소화하는 솔루션을 계속 요구하고 있기 때문입니다.
러시아 시장에서 빅 데이터 분야의 주요 서비스 제공업체는 다음과 같습니다.
  • 신탁
  • 마이크로소프트
  • 클라우데라
  • 호튼웍스
  • 테라데이타.
산업별 시장개요 및 기업에서 빅데이터 활용 경험
CNews에 따르면 러시아 기업의 10%만이 빅 데이터 기술을 사용하기 시작했으며 전 세계에서 이러한 기업의 점유율은 약 30%입니다. CNews Analytics 및 Oracle의 보고서에 따르면 빅 데이터 프로젝트에 대한 준비가 러시아 경제의 많은 부문에서 증가하고 있습니다. 조사에 응한 기업의 3분의 1 이상(37%)이 큰 기술데이터 중 20%는 이미 이러한 솔루션을 사용하고 있으며 17%는 실험을 시작하고 있습니다. 응답자의 두 번째 3분의 1은 이 순간그러한 가능성을 고려하고 있습니다.

러시아에서 빅 데이터 기술은 은행 부문과 통신 부문에서 더 인기가 있지만 광업, 에너지, 소매, 물류 회사 및 공공 부문에서도 수요가 있습니다.
다음으로 러시아 현실에서 빅 데이터를 사용하는 예를 고려할 것입니다.

통신
통신 사업자는 가장 큰 데이터베이스 중 하나를 보유하고 있어 축적된 정보를 가장 심층적으로 분석할 수 있습니다.
빅데이터 기술의 적용 분야 중 하나는 가입자 충성도 관리입니다.
데이터 분석의 주요 목표는 기존 고객을 유지하고 새로운 고객을 유치하는 것입니다. 이를 위해 기업은 고객을 세분화하고 트래픽을 분석하여 가입자의 사회적 관계를 파악합니다. 통신은 마케팅 목적으로 정보를 사용하는 것 외에도 사기성 금융 거래를 방지하는 기술을 사용합니다.
Vimpelcom은 이 산업에서 가장 빛나는 사례 중 하나입니다. 회사는 빅 데이터를 사용하여 각 가입자 수준의 서비스 품질을 개선하고보고, 네트워크 개발을위한 데이터 분석, 스팸 방지 및 개인화 서비스를 제공합니다.

은행
빅 데이터 사용자의 상당 부분은 금융 업계의 전문가에 의해 점유되고 있습니다. 성공적인 실험 중 하나는 Ural Bank for Reconstruction and Development에서 수행되었습니다. 정보 기반고객을 분석하는 데 사용되기 시작한 은행은 전문 대출 제안, 예금 및 기타 서비스를 제공하기 시작했습니다. 이러한 기술을 사용하는 한 해 동안 회사의 소매 대출 포트폴리오는 55% 성장했습니다.
Alfa-Bank는 소셜 네트워크의 정보를 분석하고 대출 신청을 처리하며 회사 웹 사이트 사용자의 행동을 분석합니다.
Sberbank는 또한 고객 세분화, 사기 방지, 교차 판매 및 위험 관리를 위해 데이터 어레이를 처리하기 시작했습니다. 향후 서비스를 개선하고 고객의 행동을 실시간으로 분석할 예정이다.
All-Russian Regional Development Bank는 플라스틱 카드 소지자의 행동을 분석합니다. 이를 통해 특정 고객에 대해 비정형적인 거래를 식별할 수 있으므로 플라스틱 카드에서 자금 도난을 감지할 가능성이 높아집니다.

소매
러시아에서는 빅 데이터 기술이 온라인 및 오프라인 무역 회사 모두에서 구현되었습니다. 오늘날 CNews Analytics에 따르면 빅 데이터는 소매업체의 20%에서 사용됩니다. 소매 전문가의 75%는 회사 홍보를 위한 경쟁 전략을 개발하는 데 빅 데이터가 필요하다고 생각합니다. Hadoop 통계에 따르면 빅 데이터 기술 도입 후 무역 조직의 이익이 7-10% 증가합니다.
M.Video 전문가들은 SAP HANA 구현 후 물류 계획 개선에 대해 이야기합니다. 또한 구현 결과 연간 보고서 작성이 10일에서 3일로 단축되었으며 일일 데이터 로딩 속도가 3일에서 3일로 감소했습니다. 시간에서 30분.
Wikimart는 이러한 기술을 사용하여 사이트 방문자를 위한 추천을 생성합니다.
러시아에서 빅데이터 분석을 도입한 최초의 오프라인 매장 중 하나는 Lenta였습니다. 빅 데이터의 도움으로 소매업은 현금 영수증에서 고객에 대한 정보를 연구하기 시작했습니다. 소매업체는 정보를 수집하여 운영 및 비즈니스 수준에서 보다 정보에 입각한 의사 결정을 가능하게 하는 행동 모델을 구축합니다.

석유 및 가스 산업
이 산업에서 빅데이터의 범위는 상당히 넓습니다. 빅데이터 기술은 장에서 미네랄을 추출하는 데 적용될 수 있습니다. 그들의 도움으로 마이닝 프로세스 자체를 분석할 수 있으며 효과적인 방법추출, 드릴링 공정 추적, 원자재 품질 분석, 최종 제품 가공 및 마케팅. 러시아에서는 이러한 기술이 이미 Transneft와 Rosneft에서 사용되고 있습니다.

국가 기관
독일, 호주, 스페인, 일본, 브라질 및 파키스탄과 같은 국가에서는 빅 데이터 기술을 사용하여 국가 문제를 해결합니다. 이러한 기술은 공공 기관이 보다 효과적으로 대중에게 서비스를 제공하고 목표에 맞는 사회적 지원을 제공하는 데 도움이 됩니다.
러시아에서는 이러한 기술을 다음과 같은 정부 기관에서 마스터하기 시작했습니다. 연기금, 연방 세금 서비스 및 의무 의료 보험 기금. 빅 데이터를 사용하여 프로젝트를 구현할 수 있는 잠재력은 크며 이러한 기술은 서비스 품질을 개선하고 결과적으로 인구의 생활 수준을 개선하는 데 도움이 될 수 있습니다.

물류 및 운송
빅 데이터는 운송 회사에서도 사용할 수 있습니다. 빅 데이터 기술의 도움으로 차량을 추적하고 연료 비용을 고려하며 고객 요청을 모니터링할 수 있습니다.
러시아 철도는 SAP와 함께 빅 데이터 기술을 구현했습니다. 이러한 기술은 보고 시간을 43.5배(14.5시간에서 20분으로) 단축하고 비용 할당 정확도를 40배 향상시키는 데 도움이 되었습니다. 또한 기획 및 관세 규제 과정에 빅데이터를 도입했다. 총 300개 이상의 SAP 솔루션 기반 시스템을 사용하고 4개의 데이터 센터가 관련되어 있으며 사용자 수는 220,000명입니다.

주요 시장 동인 및 제약
러시아 시장에서 빅 데이터 기술 개발의 동인은 다음과 같습니다.
  • 회사의 경쟁력을 높이는 방법으로 빅 데이터의 가능성에 대한 사용자의 관심 증가;
  • 글로벌 수준에서 미디어 파일을 처리하는 방법 개발
  • 서버 이전 처리 개인 정보개인 데이터의 저장 및 처리에 관한 채택된 법률에 따라 러시아 영토로;
  • 소프트웨어 수입 대체를 위한 산업 계획의 구현. 이 계획정부 지원 포함 국내 제조사공비로 구매 시 국내 IT 제품에 대한 우대 제공.
  • 새로운 경제 상황에서 달러가 거의 두 배가되면 러시아 공급자의 서비스 사용이 증가하는 경향이 있습니다. 클라우드 서비스외국보다.
  • 빅데이터 시장을 포함한 정보기술 시장의 발전에 기여하는 기술단지 조성
  • 빅데이터 기술을 기반으로 하는 그리드 시스템 도입을 위한 국가 프로그램.

러시아 시장에서 빅 데이터 개발의 주요 장벽은 다음과 같습니다.

  • 데이터의 보안 및 기밀성 보장
  • 자격을 갖춘 인력 부족;
  • 대부분의 경우 빅데이터 수준까지 축적된 정보자원 부족 러시아 기업;
  • 기존 기술에 새로운 기술 도입의 어려움 정보 시스템회사;
  • 빅 데이터 기술의 높은 비용은 이러한 기술을 구현할 기회가 있는 제한된 수의 기업으로 이어집니다.
  • 자본 도피 및 동결로 이어지는 정치적, 경제적 불확실성 투자 프로젝트러시아 영토에서;
  • IDC에 따르면 수입 제품의 가격 상승과 인플레이션의 급증은 전체 IT 시장의 발전을 저해합니다.
러시아 시장 전망
오늘날 러시아 빅 데이터 시장은 선진국만큼 인기가 없습니다. 대부분의 러시아 회사는 그것에 관심을 보이지만 감히 기회를 이용하지 않습니다.
빅 데이터 기술의 사용으로 이미 혜택을 받은 대기업의 예는 이러한 기술의 가능성에 대한 인식을 높이고 있습니다.
분석가들은 또한 러시아 시장에 대해 상당히 낙관적인 예측을 합니다. IDC는 독일과 일본의 시장과 달리 러시아 시장의 점유율이 향후 5년 동안 증가할 것으로 보고 있습니다.
2020년까지 러시아의 빅 데이터 양은 현재의 1.8%에서 전 세계 데이터 양의 2.2%로 증가할 것입니다. EMC에 따르면 정보의 양은 현재 155엑사바이트에서 2020년에는 980엑사바이트로 증가할 것입니다.
현재 러시아는 빅데이터 수준의 정보량을 계속 축적하고 있다.
CNews Analytics 설문조사에 따르면 조사 대상 기업의 44%가 100테라바이트* 이하의 데이터로 작업하고 13%만이 500테라바이트 이상의 볼륨으로 작업합니다.

그럼에도 불구하고 러시아 시장은 글로벌 트렌드에 따라 성장할 것입니다. 2014년 현재 IDC는 시장 규모를 3억 4천만 달러로 추정합니다.
이전 연도의 시장 성장률은 연간 50%였으며 동일한 수준을 유지하면 2018년 시장 규모는 17억 달러에 달할 것입니다. 세계 시장에서 러시아 시장의 점유율은 현재 1.2%에서 증가한 약 3%가 될 것입니다.

러시아에서 빅 데이터 사용을 가장 잘 수용하는 산업은 다음과 같습니다.

  • 소매 및 은행은 우선 고객 기반을 분석하고 마케팅 캠페인의 효과를 평가하는 것이 중요합니다.
  • 통신 - 고객 기반 세분화 및 트래픽 수익화
  • 공공 부문 - 보고, 대중의 응용 프로그램 분석 등
  • 석유 회사 - 작업 모니터링 및 생산 및 마케팅 계획;
  • 에너지 회사 - 지능형 전력 시스템 생성, 운영 모니터링 및 예측.
선진국에서 빅 데이터는 의료, 보험, 야금, 인터넷 회사 및 제조 기업 분야에서 널리 보급되었으며 가까운 장래에 이 분야의 러시아 기업도 빅 데이터 구현의 효과를 인식하고 이를 조정할 것입니다. 그들의 산업에서 기술.
러시아뿐만 아니라 세계에서도 가까운 장래에 데이터 시각화, 미디어 파일 분석 및 사물 인터넷의 발전에 대한 경향이 있을 것입니다.
경제의 전반적인 침체에도 불구하고 분석가들은 주로 빅 데이터 기술을 사용하여 사용자에게 운영 효율성을 높이는 측면에서 경쟁 우위를 제공한다는 사실 때문에 빅 데이터 시장의 추가 성장을 예측합니다. 비즈니스, 추가 고객 유입, 위험 최소화 및 데이터 예측 기술 구현.
따라서 러시아의 빅 데이터 부문은 형성 단계에 있지만 이러한 기술에 대한 수요는 매년 증가하고 있다고 결론지을 수 있습니다.

시장 분석의 주요 결과

세계 시장
2014년 말에 빅 데이터 시장은 다음과 같은 매개변수가 특징입니다.
  • 시장 규모는 285억 달러로 전년 대비 45% 증가했습니다.
  • 빅 데이터 시장 수익의 대부분은 서비스로 구성되어 있으며 전체 수익의 40%에 해당하는 몫을 차지했습니다.
  • 매출의 36%는 빅 데이터 애플리케이션 및 분석에서, 17%는 컴퓨팅 하드웨어, 15%는 스토리지 기술에서 발생했습니다.
  • SAP, HANA, Oracle과 같은 기업의 인메모리 플랫폼은 빅데이터 문제를 해결하는 데 가장 널리 사용됩니다.
  • 빅 데이터 관리 분야에서 프로젝트를 구현한 회사의 수는 125% 증가했습니다.
향후 몇 년간 시장 전망은 다음과 같습니다.
  • 2015년 시장 규모는 384억 달러, 2020년에는 687억 달러에 이를 것입니다.
  • 평균 성장률은 연간 16%입니다.
  • 빅 데이터 기술에 대한 기업의 평균 지출은 대기업의 경우 1,380만 달러, 중소기업의 경우 160만 달러입니다.
  • 기술은 고객 서비스 및 표적 마케팅 분야에서 가장 널리 보급될 것입니다.
  • 2017년에는 글로벌 시장 구조가 개도국 사용자 기업 중심으로 변화할 것입니다.
러시아 시장
러시아 빅데이터 시장은 형성 단계에 있으며 2014년 결과는 다음과 같다.
  • 시장 규모는 3억 4천만 달러에 달했습니다.
  • 전년도의 평균 시장 성장률은 연간 50%였습니다.
  • 누적 정보의 총량은 155엑사바이트였습니다.
  • 러시아 기업의 10%가 빅 데이터 기술을 사용하기 시작했습니다.
  • 빅 데이터 기술은 은행 부문, 통신, 인터넷 회사 및 소매 부문에서 더 인기가 있었습니다.
향후 몇 년 동안 러시아 시장에 대한 예측은 다음과 같습니다.
  • 2015년 러시아 시장 규모는 5억 달러, 2018년에는 17억 달러에 이를 것입니다.
  • 세계 시장에서 러시아 시장의 점유율은 2018년에 약 3%가 될 것입니다.
  • 2020년 누적 데이터 양은 980엑사바이트입니다.
  • 데이터는 2020년에 전 세계 데이터의 2.2%로 증가할 것입니다.
  • 데이터 시각화, 미디어 파일 분석 및 사물 인터넷 기술이 가장 큰 인기를 끌 것입니다.
분석 결과를 바탕으로 빅데이터 시장은 아직 초기 단계에 있으며 가까운 시일 내에 이러한 기술의 성장과 확장을 관찰할 수 있을 것입니다.

이 방대한 작품을 읽는 데 시간을 할애해 주셔서 감사합니다. 블로그를 구독하십시오. 새롭고 흥미로운 출판물이 많이 나올 것을 약속합니다!

연사: 필립 카츠


면접관: 알렉세이 칼린스키

여러 번 우리는 믿을 수 없는 미래에 대한 공상과학 소설의 약속을 믿었고, 매번 우리의 희망은 둔한 현재로 인해 산산조각이 났습니다. 우리는 여전히 지구에 살고 있고 우리의 자동차는 하늘을 날지 않습니다. "우리는 또 속았다!" - 우리는 생각하고 이 모든 환상 뒤에 미래가 실제로 도래하는 순간을 다시 한 번 그리워합니다.

이번에는 빅데이터의 등장과 함께 일어났다. 우리는 그것들을 무시할 수 있지만 더 이상 그것이 우리 삶에 미치는 영향을 부정할 수 없습니다. 건축가이자 빅 데이터 전문가인 필립 카츠(Phillip Katz)는 빅 데이터가 어떻게 우리의 도시와 우리가 사는 방식을 조용히 변화시켰는지 이야기합니다.

다학문 전문가이자 교육 전문가인 Philip은 빅 데이터 전문가입니다. Branch Point 프로젝트의 창시자 중 한 명인 Strelka 미디어, 건축 및 디자인 연구소의 Kazan University of Architecture를 졸업했습니다. 그는 St. Petersburg National Research University of Information Technologies, Mechanics and Optics에서 가르치고 Rambler&Co에서 데이터 분석에 종사하고 있습니다.

닫다

Philip, 오늘날 건축 설계 및 도시 계획에서 빅 데이터 기술이 어떻게 사용되는지 알려주십시오.

4년 전 제가 러시아의 Strelka에서 공부했을 때 적어도 빅 데이터에 대해 아는 사람이 없었다는 사실부터 시작하겠습니다. 세상은 그들에 대해 이야기하고 있습니다. 1년 후, 러시아에서는 모두가 그들에 대해 알고 있었고 그들에 대해 아팠습니다. 이것은 대체로 전통적인 역동성인 것 같습니다. 새로운 기술그녀는 받침대에 올라가 칭찬을 받고 곧 그녀에 대한 회의론이 나타납니다. 기술은 받침대에서 떨어져 나간 후 더 편안한 모드로 사회에 통합됩니다.

우리가 건축 또는 도시 계획 분석에 대해 이야기한다면 오늘날 이것은 다음 사이의 일종의 타협이라고 생각합니다. 현대 기술그리고 전통적인 분석. 예를 들어, 1년 전에 저는 제 친구가 미국 학생들을 위한 건축 경연 대회에 참가하는 것을 도왔습니다. 그들에게 도시 관리자는 GIS 파일에 상당히 많은 정보를 제공했습니다. 좋은 설명데이터: 운송 경로, 이러한 경로의 양, 웅덩이가 매년 나타나는 곳, 5년마다 범람하는 곳, 세금이 높은 블록이 있는 곳, 흑인 비율이 높은 블록이 있는 곳. 미국은 통계의 상세도가 높고 데이터 요약이 잘 되어 있어서 경쟁 프로젝트 수준에서도 어느정도 기성품을 얻을 수 있다. 수집하거나 분석할 필요가 없었습니다.

제 생각에 가장 유용한 분석의 대부분은 일부 데이터를 사실로 받아들이고 이를 기반으로 설계한다는 사실로 귀결됩니다. 그리고 데이터는 모든 사람에게 동일할 수 있지만 여전히 완전히 다른 방식으로 읽고 이해됩니다.

구글은 자율주행차가 교통사고를 줄이고 도로에서 연료와 공간을 더 효율적으로 사용하는 데 도움이 될 수 있다고 주장한다. / 사진: Google.com

실무에서 빅 데이터 기술을 어떻게 활용했습니까?

우리 오랫동안동료 Edik Khaiman 및 Sasha Boldyreva와 함께 "Branch Point" 프로젝트를 수행했습니다. 그들은 어떻게든 디지털 디자인에 대해 논의하고 개발하려고 시도했으며, 물론 우리의 공통된 꿈이자 궁극적인 목표는 매개변수를 기반으로 한 디자인이었습니다. 동시에 우리의 궁극적인 꿈은 우리의 요구 사항을 충족하는 까다로운 코드를 기반으로 하는 새로운 형식 솔루션을 찾는 것이지만 결과의 형식은 우리가 설정한 형식이 아니라 예상치 못한 아름다운 .

분석은 일종의 예술이며, 각각의 경우 데이터 작업을 위한 알고리즘은 그림입니다.

프로젝트의 성숙기에 우리 모두는 이 꿈이 실현 불가능할 뿐만 아니라 데이터를 기반으로 건물을 완전히 설계해야 한다는 아이디어가 논란의 여지가 있다는 것을 이해했습니다. 그것은 오히려 노력해야 할 것이지만 결코 거기에 도달할 수 없다는 것을 이해하십시오.

여기서 중요한 변증법적 순간이 발생합니다. 알고리즘을 만들고 있으며 우선 유전적 요구 사항으로 인해 상당히 단순하지만 여전히 형식적인 매개변수가 필요하다는 것을 이해한다고 가정합니다. 그리고 복잡한 시스템에서 건물이나 구역은 복잡한 시스템이므로 공통 분모로 가져와야 하는 많은 매개변수가 즉시 나타납니다. 원기둥이나 평행육면체, 피라미드 등의 기본 형식 제스처가 항상 필요합니다.

Zaha Hadid의 작업을 보면 프로젝트의 핵심에는 항상 우아한 형식의 제스처가 있습니다. 그런 다음 디지털 방식으로 수정할 수 있지만 항상 모든 것의 중심에 있으며 작성자의 펜에 속합니다. 그런 다음 유전 알고리즘은 결과 옵션 중에서 가장 좋은 것을 선택할 수 있지만 결코 발명할 수 없습니다.

즉, 디자인의 중심에는 항상 인간의 의지가 있습니다. 그렇다면 빅데이터의 발전과 함께 디자인에 대한 인간의 개입 정도는 어떻게 변화할 것인가?

미래에는 크고 복잡한 일종의 분석 엔진이 보입니다. 양자 컴퓨터예를 들어, 텔레파시와 초심리학자들은 결핍의 방에 들어가 주의를 기울일 만한 가치가 있는 것을 예측하거나 제안합니다.

나는 사람이 그 과정에서 결코 짜내지 않을 것이라고 생각합니다. 이 모든 것(빅 데이터 분석 방법)을 의사 결정 지원 알고리즘이라고 하며, 그 본질은 프로세스 역학의 이상을 가능한 한 효율적으로 끌어내고 1인당 기술 노동의 비율을 최소화하는 데 있습니다. 분석가는 그들과 함께 작업하는 전문가여야 하며 알고리즘은 실제로 솔루션을 제외하고는 모든 것을 은색 접시에 담아낼 수 있습니다. 물론 이 분야에 진입하기 위한 기술적 한계가 있지만 분석 자체는 데이터 작업을 위한 알고리즘이 그림인 예술 형식입니다. 걸작.

카메라가 장착된 드론은 특정 지역을 독립적으로 순찰하고 실시간으로 정보 센터에 이미지를 전송할 수 있습니다. / 사진: Kevin Baird / Flickr.com

빅데이터가 모든 정보를 다룰 수는 없습니다. 빅데이터 분석 시 고려하지 않는 사항은 어떻게 처리하나요?

실제로 분석가는 인터넷에 연결된 사람만 설명한다는 비판을 받고 인터넷에 연결되지 않은 사람은 분석에서 제외됩니다. 이것은 절대적으로 사실이지만 자체 방어 논리가 있습니다. 냉소적으로 말하면 익숙하지 않아서 인터넷에 글을 쓰는 것을 부끄러워하는 할머니의 문제를 모른다면 우리는 그녀의 문제를 무시할 수 있습니다. 손자는 그녀를 지원하고 결국 쓸 것입니다.

또 다른 문제는 데이터를 수집하거나 저장하는 모든 기술이 항상 첫 번째 오류 요인이라는 사실에 있습니다. 동시에 모든 다인자를 추적하는 것은 원칙적으로 불가능합니다. 처음에는 빅데이터가 답을 주지 않습니다. 그들은 당신이 심각한 질문을 할 수 있습니다.

새로운 방식으로 질문할 수 있는 기회는 도시에 대한 우리의 인식을 어떻게 변화시키는가?

Edward Hyman은 한때 "plagopolis"라는 용어를 만들었습니다. 아이디어는 현대 도시가 점점 더 능동적이고 역동적으로 변하고 있다는 것입니다. 오늘날 그것은 자체 흐름, 움직임이 있는 일종의 환경으로, 용기에 넘쳐 흐르는 액체가 항상 자체 조절되는 환경입니다. 동시에 점을 잡고 매우 조건부로 수정할 수 있습니다. 그것은 즉시 자신을 변경하고 주변의 다른 포인트를 변경합니다. 저에게 이 아이디어는 작업하기에 꽤 실용적인 것입니다. 이제 더 이상 도시를 기계적인 것으로 인식할 수 없다는 것이 분명해졌습니다.

이 아이디어가 러시아 도시 계획에서 허용됩니까?

이러한 러시아적 의미의 도시 계획 수준에서 이것은 분명하지 않습니다. 어떤 식 으로든 우리는 길, 거리를 그리는 것으로 시작하고 결국에는 그렇게 될 것이라고 믿습니다. 기껏해야 우리는 그것을 올바르게 수행하는 방법을 확인해야 한다고 생각하기 시작합니다. 그러면 우리가 그리는 방식이 되거나 사람들이 나중에 모든 것을 다시 할 것입니다.

빅데이터는 답을 주지 않습니다. 그들은 당신이 심각한 질문을 할 수 있습니다.

일반적으로 고정 관념과 추상적 아이디어에 근거한 주장은 오늘날 매우 성가시다. 게다가 건축가와 도시계획가들은 무엇보다 나를 미치게 만든다. 그들은 단순히 "보행자가 운전자보다 낫다"거나 "창의적 인 사업이 산업 단지를 지상 천국으로 만들 것입니다."라고 말합니다. 나는 이러한 것들의 이면에 기본적인 계산을 하고 싶습니다. 왜냐하면 그럴 수도 있지만 그렇지 않을 수도 있고 대부분의 경우 어떻게든 잘못되기 때문입니다.

그렇다면 빅 데이터는 우리가 도시를 더 잘 이해하는 데 어떻게 도움이 될 수 있습니까?

도시는 항상 촉각으로 묘사하려고 하는 맹인에 관한 동화에 나오는 코끼리입니다. 우리는 항상 같은 방식으로 일합니다. 누군가는 엉덩이를, 누군가는 귀를, 누군가는 트렁크를 잡습니다. 그리고 동시에 모두는 그가 코끼리를 본다고 말합니다. 우리의 경우 우리 모두는 우리가 목격하고 도시가 무엇인지 알고 있다고 믿습니다.

빅 데이터는 우리가 한 곳만 만지지 않도록 보호하고, 코끼리의 일반적인 모양을 대략적으로 상상할 수 있는 기회를 제공하고, 우리가 대략 이 곳을 만지고 있지만 다른 곳도 있다는 것을 이해할 수 있는 기회를 제공합니다. 나는 도시에 대한 엄청난 보고서를 받고 항상 특정 10줄의 데이터를 보고 물어볼 수 있습니다. 왜 그런가요? 일반적으로 이것은 일종의 조사, 연구, 역사의 시작이 됩니다.

공간 모델링 알고리즘과 결합된 GIS 데이터는 선택된 영역의 격리 수준을 예측하는 데 도움이 됩니다. / 사진: Trevor Patt / Flickr.com

빅 데이터에서 영감을 받은 이러한 반영이 나중에 실제 프로젝트에서 어떻게든 표현되나요?

소위 "도시 침술"방법이 있습니다. 그 본질은 도시가 말하자면 통증 노드와 이러한 작은 매듭에서 - 최대 블록의 공간, 바람직하게는 한 건물, 또는 건물 사이의 작은 영역 -을 찾고 있다는 사실에 있습니다. 어떤 종류의 변경이 이루어집니다. 예산의 크기로 인해 완전히 미시적이며 이러한 노드가 올바르게 계산되면 도시 전체의 변화가 엄청납니다.

하지만 "도시 침술"은 오늘날 오히려 투기적인 프로젝트입니다. 예를 들어 단일 시스템에 신호등이 있는 공간 솔루션. 스마트 도로와 결합하여 공간을 변경할 수 있으며 예기치 않은 배기 가스가 발생할 수 있습니다. 오늘날에도 산업의 로봇화가 진행되고 있으며 이는 또한 가치를 더합니다. 지금이라면드론상품 운송을 시작한 다음 도시 물류smerdzhitsya (영어에서 병합으로 — "병합"— 일명)- 그리고 숫자가 있고 여기에 숫자가 있습니다. 이것은 라이브 트럭 운전사보다 확실히 훨씬 더 쉬울 것입니다.

내가 현재 영감을 받은 기술, 그리고 그 기술에서 뭔가 건축적인 것이 나오기를 바랍니다. 새로운 과제가치가 있을 때 아마존 스마트 스피커당신의 모든 질문을 듣고 대답하는 집의 중심. 집에서만 시리처럼. 이 기술은 그 어떤 알고리즘보다 도시의 공간 감각을 변화시킬 가능성이 높습니다.

그렇다면 도시는 소프트웨어에 점점 더 의존하게 될까요?

정확히. 이제 개인이 정보를 얻기 위한 I/O와 다양한 인터페이스가 제도적으로 많이 변화하고 있습니다. 제 생각에는 싼 택시를 불러주는 서비스가 도시계획 결정의 90% 이상을 제 인생을 바꿉니다. 택시는 도시에 대한 나의 인식을 많이 바꿉니다. 이전의 모든 경험에도 불구하고 Yandex의 출현으로. 택시와 택시 서비스의 경쟁은 우리 택시 기사들이 예의 바르고 돈이 구체적이며 신속하게 반응한다는 것이 밝혀졌습니다. 뉴욕에서는 전혀 그렇지 않습니다.

싼 택시 서비스는 도시 계획 결정의 90% 이상을 훨씬 더 내 인생을 바꿉니다

우버피케이션으로 큰 수익을 낼 수 있는 가장 중요한 서비스는 성매매라고 생각합니다. 가상의 사용자는 수줍음이 많고 많은 사람들이 매춘부 서비스를 사용하지 않는 이유 일 수 있습니다. 위험하고 무섭고 이해할 수없는 것 같습니다. 그들의 전화에 앉아 - 확실히 훨씬 쉬울 것입니다. 물론 이것은 즉시 포주에게서 빵을 빼앗아 사업을 완전히 바꿀 것입니다. 그냥 엄청난! 나는 이것이 곧 일부 자유주의 국가에서 일어날 것이라고 생각합니다.

미래에 사람들이 빅 데이터 기술을 개인적으로 사용할 수 있다고 생각합니까?

나는 그것이 모두 이것으로 이어진다고 생각합니다. 기술적 복잡성이 증가하고 이는 이해할 수 있지만 실제로는 적절하게 포장하는 방법을 배웁니다. 매끄러운 인터페이스(영어 매끄러운— 얇은, 우아한— 일명)오늘날 모든 일이 어떻게 일어나는지에 대한 우리의 인식을 어느 정도 단순화합니다. 여기 버튼이 있습니다. 여기 pipka가 있습니다. 그게 전부입니다. 오늘날 사람들은 이 모든 복잡성에 약간 겁을 먹기 때문에 기능을 잃지 않고 평범한 사람에게서 더 많이 숨길 수 있습니다. 마이너리티 리포트에서와 같이 알려진 기술은 나타나지 않았지만 영화는 지금 일어날 일을 관능적으로 매우 정확하게 묘사합니다.

그것은 무엇입니까? 가까운 미래에 빅 데이터가 직면하게 될 문제는 무엇이라고 생각하십니까?

그들은 일종의 패셔너블한 주제로 나타났고 이제 가장 분명한 일들이 이미 끝났기 때문에 서서히 사라지고 있습니다. 또한 방법론의 기술적 메커니즘을 낭만적이 아니라 실용적인 형태로 해결해야합니다. 5년 안에 나는 시장 사무실, 부처 및 기업에서 일종의 디지털 분석가라는 꽤 높은 급여를 받고 아마도 다소 지루한 자리가 될 것이라고 확신합니다.

동시에 빅 데이터에는 특정 질병이 있습니다. 자신이 하는 일을 이해하는 사람들이 있고 빅 데이터가 작동하는 방식을 실제로 이해하지 못하는 사람들이 있습니다. 전문 기술자와 이 모든 일이 일어날 수 있는 이유를 이해하는 사람들 사이의 구멍은 모든 비즈니스, 모든 과학 분야에 항상 존재하며 이는 확실히 문제입니다. 기술적인 면을 알고 새로운 솔루션을 실험하는 사람들은 실제로 유용한 일을 하는 경우가 거의 없으며 이러한 개발을 적용하는 방법을 아는 사람들도 혼자 좋은 제품을 만들 수 없습니다. 따라서 빅 데이터로 작업할 때 개발할 수 있는 유일한 방법은 전문가 간의 새로운 상호 작용 방법을 찾는 것입니다.

MegaFon은 러시아 철도 자회사가 사용할 수 있도록 빅 데이터를 기반으로 승객 교통을 분석하기 위한 서비스의 테스트 버전을 개발하고 제공했다고 RBC는 운영자 대표인 Maxim Motin을 인용하여 보고합니다. 이 도구는 크기와 세부 사양운송 시장뿐만 아니라 실시간에 가까운 모드에서 운송 회사의 점유율.

FPC RZD 정보 기술 부서의 ERP 시스템 부서(전사적 자원 관리 시스템) 책임자인 Oleg Yemchenko는 현재 빅 데이터 분석 시스템을 구현하기 위한 준비 작업이 진행 중이라고 확인했습니다. Yemchenko는 "이는 2016년 특정 프로젝트에서만 실현될 수 있습니다.

Megafon 지리 분석 서비스는 2013년에 시작되었으며 초기 목표는 네트워크 부하를 예측하는 것이었습니다. 도움을 받아 정확한 승객 교통량을 추정하고 경로에 대한 정보(누가, 언제, 어디로, 어디로 가는지), 교통 유형별 레이아웃을 얻을 수 있습니다. 이 서비스는 또한 승객의 지불 능력과 여행의 성격(출장, 관광, 개인적 필요)을 평가합니다. 모든 데이터는 익명으로 처리됩니다.

MegaFon의 세그먼트 마케팅 및 고객 분석 이사인 Roman Postnikov는 1000개 이상의 매개변수를 사용하여 초당 10,000개 이상의 이벤트를 분석할 수 있다고 말했습니다. 지난 3년 동안 5페타바이트 이상의 정보가 축적되었습니다. 이는 Facebook에 있는 300억 개 이상의 사진과 맞먹는 양입니다. Postnikov는 각 클라이언트가 분석을 위한 자체 매개변수 목록을 가지고 있음을 보장합니다. 클라우드 솔루션, 많은 양의 데이터를 분석해야 하는 완전히 다른 유형의 고객이 사용할 수 있습니다.

Megafon은 다음과 같이 계산했습니다. 운송 회사러시아에서는 연간 12억 루블 이상이 승객 교통 연구에 사용됩니다. Postnikov는 "동시에 회사 자체는 사용 가능한 데이터의 일부만 수집할 수 있으며 우리 서비스를 통해 시장의 전체 그림을 볼 수 있습니다."라고 말합니다. 서비스 도입 덕분에 항공사가 전체 여객 운송 시장에서 점유율을 1.5-2% 증가시킬 수 있다고 해도 수십억 루블이라고 그는 말합니다.

빅 데이터 솔루션은 도시 인프라를 관리하는 데에도 사용할 수 있습니다. 모스크바 정부의 전자 국가 전문가 센터(Expert Center of the Electronic State)는 모스크바 시가 2년 이내에 11개의 다른 섹션에서 지역 통신 사업자 사용자의 집계된 비개인화된 지리 공간 데이터를 수신하는 계약을 체결할 예정입니다. 이 정보의 소비자는 국가 단일 기업 "모스크바 일반 계획의 NI 및 PI", 교통 및 도로 인프라 개발부, 문화부 및 기타 대도시 부서입니다.

Bashkiria에서는 처음으로 관광객 흐름 분석에 "빅 데이터"가 사용되었습니다. 벨로루시 공화국 관광청은 우랄 모니터링 및 분석 센터에서 휴대전화 가입자 이동의 역학을 기반으로 한 연구를 주문했습니다.

연구에 따르면 2018년 1월부터 11월까지 165만 6000명의 관광객이 공화국을 방문했으며 그 중 60%는 30~45세 남성이며 일반적으로 한 달에 4만 루블의 수입을 올리는 고등 교육을 받은 상업 조직의 직원입니다. 평균 체류 기간은 3.8일입니다.

관광객 흐름의 절정은 여름에 떨어집니다. 2018년 6월 입장객 수는 17만9000명, 7월 입장객은 21만5000명이었다. 최소 수치는 2 월에 118,000 명으로 관찰되었습니다.

러시아의 여러 지역에서 손님이 왔습니다. 방문자의 가장 큰 비율 - 모스크바, 모스크바 지역, 타타르스탄 - 각각 11%. Orenburg 지역, Chelyabinsk 및 Samara 지역의 거주자는 관광객 흐름의 9%, 7%, 6%를 차지했습니다. 더 나아가 스베르들로프스크 지역및 KhMAO - 각각 3.8%, Tyumen 지역 - 3%, Perm Territory 및 Udmurtia - 각각 2%보다 약간 높습니다.

인도, 스페인, 이탈리아, 예멘, 독일, 터키, 이집트, 나이지리아, 이스라엘, 미국, 체코, 사우디아라비아, 불가리아, 이란, 중국, 핀란드 등 인근 국가에서 외국인 관광객이 찾아왔다.

관광객을 대상으로 한 설문조사 형태의 사회학적 연구도 이루어졌다. 응답자의 37%는 머물고 싶은 호텔이나 호텔을 선택했습니다. 17%는 친구나 친척과 함께 머물렀고 11%는 호스텔을 선호했습니다. 여행 목적에 따라 관광객 흐름은 친지여행(30%), 출장(28%), 건강관광(18%), 관광(12%), 활동(8%), 순례(8%) 순으로 분포했다. 관광(0.2%) .

관광객의 40 %가 처음이 아닌 Bashkiria에 왔습니다. 20%는 친구(동료, 친척)의 추천으로 왔습니다. 출장시 24% 이익. 응답자가 여행 방향을 선택할 때 가장 적게 사용하는 정보 출처는 인터넷 포털(3.4%), 소셜 네트워크(1.2%), 미디어 광고(0.5%)였습니다.

현재 2019년에는 공화국의 특정 지역의 관광 매력도 분석될 것이라고 국가 위원회가 알렸습니다.

"기능을 사용하는 지역 분석 이동통신사관광객 흐름을 계산하는 고급 방법입니다. 현재 모스크바에만 그러한 경험이 있으며 후자는 Bashkortostan의 Volga 연방 지구에서 국가 관광 등급에서 1 위를 차지한다는 것을 상기시켜 드리겠습니다. 벨로루시 공화국의 기업가 정신.

Turstat 포털에 따르면 2018년 말 Bashkiria는 국내 및 인바운드 관광 순위에서 상위 15위 안에 들어 250만 명 이상의 관광객 수(2017년 대비 +13%)로 13위를 차지했습니다.

Bashkiria 정부의 이러한 이니셔티브는 IT 기술 사용을 포함하여 관광객에게 포괄적인 서비스 제공을 통해 지역 관광 상품을 홍보하기 위해 관광객 흐름을 연구하고 활동을 계획하는 데 매우 흥미롭고 유용합니다.

그건 그렇고, 뉴스는 Nizhny Nogorod를 언급합니다. 우리는 이전에 이 도시가 "게스트 카드" 프로젝트를 구현했다고 보고했습니다. 이 프로젝트를 통해 도시의 명소를 방문하는 관광객의 움직임, 관심사, 관광객은 다양한 할인을 받을 수 있을 뿐만 아니라 무료로 사용할 수 있습니다. 대중 교통.

이 모든 이니셔티브는 지역에서 구현되고 있습니다. 연방의 참여 없이 고립되고 고립되었습니다.

무슨 얘기를 하는 건가요?

결론은 러시아 연방에 도착하는 외국인의 전자 비자 신청 문제가 현재 해결되고 있다는 것입니다. 협회 "관광 안전"에 따르면 호텔의 관광객 마이그레이션 및 등록 시스템과 "게스트 카드"를 사용하여 위에서 언급한 서비스를 통합하지 않고 특수 디지털 기술을 사용하여 이러한 비자를 사용하는 것은 의미가 없습니다. 이것은 정부의 접근 방식이 아닙니다.

우리의 의견으로는 체계적이고 국가적인 접근은 이러한 모든 요소를 ​​고려하는 것을 포함해야 합니다. 관광객은 전자라벨을 받은 후 국경에서 1회 등록을 한 후 전국을 이동하고, 호텔에 등록(이미 이주등록 없이)하고, 문제 없이 박물관을 방문하고, 다양한 할인을 받고, 대중교통을 무료 또는 할인으로 이용해야 합니다. 동시에 이 접근 방식을 통해 외국인의 움직임을 기록하여 국가 안보를 보장하고 등록 및 이주 회계의 골칫거리에서 호텔리어를 자유롭게 할 수 있으며 러시아 연방 구성 기관의 관광 관리 기관이 지역(도시)의 가장 인기 있는 대상에 대한 정보를 제공하고 이를 기반으로 관광 상품을 구성하여 최대의 혜택을 얻습니다.

그리고 모든 것이 이것을 위한 것입니다!

즉, 정부령 러시아 연방 2015년 8월 6일 제813호, 국가 시스템이민 및 등록 기록, 그 구현은 환대에 상당한 영향을 미치고 일반적으로 인바운드 관광객 흐름을 증가시킬 수 있습니다. 이것이 바로 2018년 12월 6일 연맹 이사회에서 "관광 안전"협회 회장이 말한 내용입니다. 세르게이 그루즈드"러시아 연방에 도착하는 외국인을 위한 전자 비자 사용 및 이 분야에서 러시아 연방 법률 개선의 실제 문제"라는 주제에 대한 원탁 회의 참가자

이민 및 등록 기록 개선, 비자 제도 간소화, 여행을 위한 단일 생체 인식 식별자 개발 및 구현 문제가 국제 포럼 "관광 안전" - TSIF - 2019.이 포럼은 당국, 전문가 커뮤니티 및 기업 대표가 하나의 플랫폼에서 관광 안전을 보장하는 주제에 대해 토론하는 핵심 전문 행사입니다.포럼 형식은 4개의 세부 세션을 제공합니다.

25억 기가바이트의 데이터. 분석가들은 2020년까지 연간 생성되는 데이터 양이 43조 기가바이트에 이를 것으로 예측합니다. 이 모든 정보(트윗, 재게시, 동영상) 중 많은 기업이 서비스 개발에 사용하는 정보가 있습니다. 사람들은 이미 마케팅에서 빅 데이터를 사용하여 고객의 욕구를 평가하는 것을 발견했습니다. 빅 데이터는 또한 진단을 개선하기 위해 의학에서 사용되며 개인화된 제안을 생성하기 위해 은행 환경에서 사용됩니다. 빅 데이터는 자동차 부문에서도 사용되어 운전자가 목적지에 더 빨리 도달할 수 있도록 돕습니다. 어떻게? 이것이 우리가 오늘 이야기할 내용입니다.

교통 체증을 피하는 데 도움

데이터는 운전자가 진정한 의미에서 목적지에 도착하는 데 도움이 됩니다. 우리는 네비게이터에 대해 이야기하고 있습니다. 교통 체증과 도로 공사 없이 최단 경로를 구축합니다.

내비게이터는 몇 초마다 좌표를 앱 제공업체의 시스템으로 보냅니다. 수신된 데이터를 기반으로 알고리즘은 트랙, 즉 이동 속도에 대한 정보가 포함된 경로를 구축합니다. 많은 운전자들로부터 수신된 트랙의 합을 기반으로 교통 체증을 감지합니다.

자동차는 네트워크의 일부이며 안정적인 정보 흐름을 형성합니다. 동시에 주변 인프라와 데이터를 교환할 수 있습니다. 도시의 교차로에 설치된 감시 카메라는 교통 정체를 감지하는 데에도 사용할 수 있습니다. 연구원들은 이러한 솔루션을 구현하기 위한 다양한 옵션을 연구하고 있습니다.

예를 들어, 자동차 대 자동차 및 자동차 대 인프라 통신을 생성하기 위해 과학자들은 제한된 시간 간격으로 자동차의 위치와 속도를 결정하는 OBU(On-Board Units) 모듈을 사용할 것을 제안합니다. 이 정보는 RSU(Roadside Unit)로 이동한 다음 데이터 집계 및 처리를 담당하는 클러스터로 이동합니다.

클러스터는 API를 통해 데이터를 수신하고 해석합니다. 예를 들어, 내비게이터 애플리케이션의 여러 사용자가 한 영역에서 저속으로 이동하는 경우 시스템은 그 영역에서 이동이 어렵다는 것을 이해합니다. 제안된 알고리즘 중 하나에 대해 자세히 알아볼 수 있습니다.

사용자는 사고, 수리, 움푹 들어간 곳 등에 대한 정보를 서비스에 직접 보낼 수도 있습니다. 수집기는 수신된 정보를 하나의 그림으로 수집하고 데이터를 비교합니다. GPS 좌표, 도로 정체 지점을 지정합니다. 이러한 데이터를 기반으로 항법 경로를 구축하고 있습니다.

경로가 구축되면 앱이 경로를 모니터링하여 도중에 상황을 최신 상태로 유지합니다. 알고리즘은 교통 체증이 없는 경로를 구축하는 역할을 합니다. 경로에 교통 체증이 있으면 알고리즘은 다른 방법을 찾습니다. 만약 대안(교통 체증이 있어도 더 빠른 것)이 발견되지 않으면 경로가 동일하게 유지됩니다. 이 알고리즘의 단순화된 형태는 다음과 같습니다.

경로 모니터링을 위한 알고리즘 변형의 블록 다이어그램

과학자들은 모든 또는 거의 모든 자동차가 서로 통신하고 데이터를 교환하기 시작할 때 이러한 시스템의 정확도가 크게 증가할 것이라고 확신합니다. 앞으로 그들은 도로에서의 행동 규칙을 바꿀 것입니다. 이 의견은 Texas A&M Transportation Institute의 분석가인 Tim Lomax가 공유합니다.

"자동차가 서로 대화하기 시작하면 신호등이 필요하지 않습니다."라고 Tim은 말합니다. “교차로에 접근하는 차량이 교차로를 건너려는 의도를 보고하고 주변 차량이 충돌을 피하는 방법을 알게 됩니다.” Lomax는 이것이 자율 주행 자동차의 광범위한 사용을 향한 한 걸음이 될 것이라고 말합니다.

그들은 당신을 그 장소로 데려갈 것입니다.

자율 주행 자동차는 빅 데이터가 상당한 영향을 미칠 수 있는 또 다른 영역입니다. 자율 주행 자동차는 사물 인터넷의 일부이며 생성되는 데이터의 양을 증가시키고 있습니다. 경로를 구축하기 위해 자동 조종 장치는 이동해야 하는 도로와 도중에 만나는 경로를 이해해야 합니다. 이를 위해 자동차는 자체 센서 외에도 소위 환경 지도에서 정보를 끌어옵니다. 앞으로 이 목록은 신호등, 건물, 심지어 나무와 같은 다른 교통 참가자 및 기반 시설 요소로 채워질 것입니다.