빅데이터라는 개념은 다음과 같은 출현배경을 가집니다.
① 산업계: 고객 데이터를 축적하여 보유하여 데이터의 숨어있는 가치를 발굴하고 출현
② 학 계: 거대 데이터를 다루는 학문 분야가 늘어나면서 기술 아키텍처 및 통계 도구 발전
③ 기술발전: 디지털화, 저장 기술의 발달, 인터넷의 보급 등의 기술 발전
그러면 현대의 빅데이터란 무엇인가?
단지 큰 양을 가지는 데이터를 말하는 것일까요?
빅데이터의 정의를 살펴보기 위하여 가트너 그룹(Gartner Group)의 더그 래니(Doug Laney)의 3V를 알아보도록 하겠습니다.
가트너 그룹(Gartner Group)의 더그 래니(Doug Laney)의 3V
3V |
||
양(Volume) |
다양성(Variety) |
속도(Velocity) |
센싱데이터, 비정형데이터 |
영상, 사진 등 |
원하는 데이터의 추출 및 분석속도 |
이제 빅데이터에 대한 정의를 살펴보도록 하겠습니다. 정의를 관점에 따라서 다양하게 정의하고 있습니다.
빅데이터의 정의
- 3V로 요약되는 데이터 자체 (좁은 의미)
- 데이터 자체뿐 아니라 처리, 분석 기술적 변화 또한 빅데이터로 정의(중간 의미)
- 인재, 조직 변화까지 포함하여 빅데이터를 정의(넓은 의미)
그러면 이제 이러한 빅데이터의 기능을 살펴보도록하겠습니다.
빅데이터의 기능
필요한 정보만 수집하는 형태에서 가능한 다양한 많은 데이터를 모으고 데이터를 다양한 방식으로 조합해 주요한 정보를 찾는 것 |
사전처리 ▶ 사후처리 |
표본을 조사하여 모집단을 추정하는 형태에서 전수조사 형태로 변화 |
표본조사 ▶ 전수조사 |
데이터가 추가될 경우 양질의 정보가 오류 정보보다 많아져서 좋은 결과 도출 |
질 ▶ 양 |
상관관계를 통하여 특정 현상에 대한 분석 |
인과관계 ▶ 상관관계 |
오늘은 여기까지 빅데이터에 대해서 공부하고 다음시간에는 빅데이터 분석에 대해서 알아보도록 하겠습니다.
데이터 사이언스의 개념과 역량 (0) | 2020.02.29 |
---|---|
데이터베이스란 무엇인가? (0) | 2020.02.23 |
통계 : 데이터란 무엇인가? (0) | 2020.02.19 |
스튜던트 t-분포 (0) | 2020.02.15 |
정규분포란 무엇일까? (0) | 2020.02.12 |
댓글 영역