요즘은 데이터의 시대입니다. 스마트폰의 이동으로 인한 실시간 기록, 지하철과 버스 안 등의 요금 정산 기록, 네이버나 다음, 구글에서의 검색, 페이스북이나 트위터에서 남긴 글 등 위치정보, 취향이나 습관, 검색패턴, 구매기록, 그날의 기분까지 알아낼 수 있는 막대한 양의 데이터, 즉 빅데이터들이 쌓이고 있는 거지요. 빅데이터는 생산자 중심에서 소비자 중심으로 패러다임의 전환, 기업 전산화에 따른 데이터의 축적, 분석에 기반한 의사결정의 과학화 등의 조건에 힘입어 등장한 개념입니다. 그러면 빅데이터 기술에 대해 좀 더 알아볼까요?
 

1. 용어의 정의
디지털 환경에서 생성되는 데이터로 그 규모가 방대하고, 생성 주기도 짧고, 형태도 수치 데이터뿐 아니라 문자와 영상 데이터를 포함하는 대규모 데이터를 말함

2. 용어의 사용
▪ 3V : Volume(양), Velocity(속도), Variety(다양성)으로 IT 자문기관 가트너(Gartner)가 정의
▪ 4V : 3V+Value(가치) or Veracity(정확성)
▪ 5V : 3V+Value(가치)+Veracity(정확성)

3. 빅데이터의 플랫폼이란?
▪ 빅데이터 기술의 집합체이자 기술을 잘 사용할 수 있도록 준비된 환경을 말하며 빅데이터를 분석하거나 활용하는 데 필요한 필수 인프라(Infra structure)
 

4. 데이터 분석기술
▪ 대용량 데이터 처리 기술 : 아파치 하둡(Apache Hadoop)과 같은 Map-Reduce 방식의 분산 데이터 처리 프레임워크와 다양한 통계처리, 데이터 마이닝, 텍스트 마이닝, 오피니언 마이닝, 그래프 마이닝 등 다양한 분석 방법 및 기계학습, 인공지능 기법을 적용

- 아파치 하둡(Hadoop, High-Availability Distributed Object-Oriented Platform) : 대량 컴퓨터 클러스터에서 동작하는 분산 응용 프로그램을 지원하는 프리웨어 자바 소프트웨어 프레임워크

- 텍스트 마이닝：인간의 언어로 쓰인 비정형 텍스트에서 자연어처리 기술을 이용하여 유용한 정보를 추출하거나, 연계성 파악, 분류 혹은 군집화, 요약 등 빅데이터에 숨겨진 의미 있는 정보를 발견하는 것

- 오피니언 마이닝：소셜미디어의 텍스트 문장을 대상으로 자연어처리 기반 감성분석 기술을 적용하여 사용자의 의견을 분석하는 것을 말하는데, 버즈(Buzz, 입소문) 분석이라고도 함

- 소셜 네트워크 분석：그래프 이론을 바탕으로 소셜 네트워크 서비스에서 네트워크 연결구조와 연결강도를 분석하는 것으로, 소셜 네트워크상의 영향력 행사자(Influencer)를 찾아서 모니터링하고 관리하여 마케팅에 활용

- 분류：미리 알려진 클래스들로 구분되는 훈련 데이터군(Group)을 학습시켜 새롭게 추가되는 데이터가 속할만한 데이터군을 찾는 학습방법, 지도학습(Supervised learning) 방법이라고도 함

- 군집화：비슷한 특성이 있는 데이터들을 합쳐가면서 유사 특성 군으로 분류하는 학습방법, 비지도 학습(Unsupervised learning)이라고도 함

- 기계 학습：인공지능 분야에서 인간의 학습(learning)을 모델링한 것으로, 빅데이터 분석을 포함한 패턴 인식 등 다양한 분야에서 기본적으로 많이 활용되는 기법

- 회귀 분석：통계학에서 많이 사용하는 통계기반 분석기법으로, 어떠한 현상에 영향을 주는 원인에 해당하는 독립변수와 영향을 받는 종속변수가 있을 때, 이러한 변수들 사이의 상관관계를 규명하고자 이용하는 분석 방법

- 감성 분석：자연어처리(NLP：Natural Language Processing) 기법을 이용하여 인간의 언어로 쓰인 텍스트 문장을 분석할 때, 문장에서 주관적인 감성을 나타내는 정보를 찾아내어 긍정, 부정, 중립의 성향을 분석하는 것

변황우 순천제일대 교수