순천광장신문
> 기획연재
4차 산업혁명시대의 원석 빅데이터(Big Data), 그것이 궁금하다!Industry 4.0
변황우  |  byunhwoo@suncheon.ac.kr
폰트키우기 폰트줄이기 프린트하기 메일보내기 신고하기
[0호] 승인 2018.07.20  13:44:26
트위터 페이스북 미투데이 요즘 네이버 구글 msn
요즘, 세상의 변화와 관련해 자주 접하는 말이 있다. ‘4차 산업혁명시대를 살고 있다.’는  것이다. 기술분야의 급격한 변화가 사회적 변화를 동반하고 있다는 뜻을 내포하고 있는 말이다. 그렇다면, 4차 산업혁명의 근간이 되는 기술들은 무엇일까? 학생들에게 전기공학을 가르치고 있는 변황우 교수가 이 궁금증에 답하는 글을 연재한다. <편집자 주>


요즘은 데이터의 시대입니다. 스마트폰의 이동으로 인한 실시간 기록, 지하철과 버스 안 등의 요금 정산 기록, 네이버나 다음, 구글에서의 검색, 페이스북이나 트위터에서 남긴 글 등 위치정보, 취향이나 습관, 검색패턴, 구매기록, 그날의 기분까지 알아낼 수 있는 막대한 양의 데이터, 즉 빅데이터들이 쌓이고 있는 거지요. 빅데이터는 생산자 중심에서 소비자 중심으로 패러다임의 전환, 기업 전산화에 따른 데이터의 축적, 분석에 기반한 의사결정의 과학화 등의 조건에 힘입어 등장한 개념입니다. 그러면 빅데이터 기술에 대해 좀 더 알아볼까요?
 

1. 용어의 정의
디지털 환경에서 생성되는 데이터로 그 규모가 방대하고, 생성 주기도 짧고, 형태도 수치 데이터뿐 아니라 문자와 영상 데이터를 포함하는 대규모 데이터를 말함

2. 용어의 사용
▪ 3V : Volume(양), Velocity(속도), Variety(다양성)으로 IT 자문기관 가트너(Gartner)가 정의
▪ 4V : 3V+Value(가치) or Veracity(정확성)
▪ 5V : 3V+Value(가치)+Veracity(정확성)

3. 빅데이터의 플랫폼이란?
▪ 빅데이터 기술의 집합체이자 기술을 잘 사용할 수 있도록 준비된 환경을 말하며 빅데이터를 분석하거나 활용하는 데 필요한 필수 인프라(Infra structure)
 

   
▲ 데이터의 시각화 (출처 : 네이버)

4. 데이터 분석기술
▪ 대용량 데이터 처리 기술 : 아파치 하둡(Apache Hadoop)과 같은 Map-Reduce 방식의 분산 데이터 처리 프레임워크와 다양한 통계처리, 데이터 마이닝, 텍스트 마이닝, 오피니언 마이닝, 그래프 마이닝 등 다양한 분석 방법 및 기계학습, 인공지능 기법을 적용

- 아파치 하둡(Hadoop, High-Availability Distributed Object-Oriented Platform) : 대량 컴퓨터 클러스터에서 동작하는 분산 응용 프로그램을 지원하는 프리웨어 자바 소프트웨어 프레임워크

- 텍스트 마이닝:인간의 언어로 쓰인 비정형 텍스트에서 자연어처리 기술을 이용하여 유용한 정보를 추출하거나, 연계성 파악, 분류 혹은 군집화, 요약 등 빅데이터에 숨겨진 의미 있는 정보를 발견하는 것

- 오피니언 마이닝:소셜미디어의 텍스트 문장을 대상으로 자연어처리 기반 감성분석 기술을 적용하여 사용자의 의견을 분석하는 것을 말하는데, 버즈(Buzz, 입소문) 분석이라고도 함

   
▲ 1분 동안 인터넷에서 생성되는 데이터의 양 (출처 : 네이버)

- 소셜 네트워크 분석:그래프 이론을 바탕으로 소셜 네트워크 서비스에서 네트워크 연결구조와 연결강도를 분석하는 것으로, 소셜 네트워크상의 영향력 행사자(Influencer)를 찾아서 모니터링하고 관리하여 마케팅에 활용

- 분류:미리 알려진 클래스들로 구분되는 훈련 데이터군(Group)을 학습시켜 새롭게 추가되는 데이터가 속할만한 데이터군을 찾는 학습방법, 지도학습(Supervised learning) 방법이라고도 함

- 군집화:비슷한 특성이 있는 데이터들을 합쳐가면서 유사 특성 군으로 분류하는 학습방법, 비지도 학습(Unsupervised learning)이라고도 함

- 기계 학습:인공지능 분야에서 인간의 학습(learning)을 모델링한 것으로, 빅데이터 분석을 포함한 패턴 인식 등 다양한 분야에서 기본적으로 많이 활용되는 기법

- 회귀 분석:통계학에서 많이 사용하는 통계기반 분석기법으로, 어떠한 현상에 영향을 주는 원인에 해당하는 독립변수와 영향을 받는 종속변수가 있을 때, 이러한 변수들 사이의 상관관계를 규명하고자 이용하는 분석 방법

- 감성 분석:자연어처리(NLP:Natural Language Processing) 기법을 이용하여 인간의 언어로 쓰인 텍스트 문장을 분석할 때, 문장에서 주관적인 감성을 나타내는 정보를 찾아내어 긍정, 부정, 중립의 성향을 분석하는 것

변황우 순천제일대 교수
 

폰트키우기 폰트줄이기 프린트하기 메일보내기 신고하기
트위터 페이스북 미투데이 요즘 네이버 구글 msn 뒤로가기 위로가기
이 기사에 대한 댓글 이야기 (0)
자동등록방지용 코드를 입력하세요!   
확인
- 200자까지 쓰실 수 있습니다. (현재 0 byte / 최대 400byte)
- 욕설등 인신공격성 글은 삭제 합니다. [운영원칙]
이 기사에 대한 댓글 이야기 (0)
신문사소개기사제보광고문의불편신고개인정보취급방침청소년보호정책이메일무단수집거부
57956 전남 순천시 중앙3길 3, 3층(장천동)  |  대표전화 : 061)721-0900  |  팩스 : 061)721-1141
정기간행물ㆍ등록번호 : 전남아 00196(주간)  |  발행일자 : 2013년 4월 5일  |  발행/편집인 : 이정우  |  청소년보호책임자 : 이정우
Copyright © 2013 순천광장신문. All rights reserved. mail to webmaster@agoranews.kr