[Biomedical Data Science] - 1. 빅데이터 개요

 

빅데이터의 등장 배경

• 기업의 고객 데이터 트래킹/수집행위 증가
• 미디어 콘텐츠와 콘텐츠 사용에 관한 정보 증가(대용량 멀티미디어 콘텐츠)
• SNS의 비정형 확산과 비정형 데이터의 폭증(비정형 데이터->데이터의 복잡성 증가)
• M2M 확산에 따른 센서 저변 확대 

=> 빅데이터 필요성 증가

빅데이터 현상은 없었던 것이 새로 등장한 것이 아님

기존의 데이터 처리 방식, 다루는 사람과 조직 차원에서 일어나는 변화임.

• 산업계: 고객 데이터 축척 양이 증가
• 학계: 거대 데이터를 활용한 연구 확산
• 기술업계: 디지털화, 저장기술, 인터넷보급, 모바일 혁명, 클라우드컴퓨팅 관련 기술 발전

 

빅데이터 관련 주요 이슈

빅데이터 가치에 대한 실증적 접근, 프라이버시 침해 점증, 인력수급 불균형 심화, 빅데이터의 실시간성과 빅데이터 처리과정의 업그레이드

=> 빅데이터 활용의 수준이 미래 경쟁력 좌우

 

빅데이터의 정의 및 특징

빅데이터

: 기존 데이터베이스 시스템으로 처리할 수 있는 용량을 넘어선 데이터

=> 가치를 이끌어내려면 데이터를 원활하게 처리하기 위한 대안이 필요

물리적 하드웨어로부터 시작해 애플리케이션과 소프트웨어로 확장되는 플랫폼

데이터 크기와 데이터 증가 속도 등은 컴퓨팅 기술의 발전, 센싱 인프라 확산에 따라 꾸준히 확장되고 있으며, 빅데이터의 규모 자체도 지속적으로 증가

 

빅데이터의 기본적인 특성 '5V'

• Volume 규모
• Variety 다양성 (정형+비정형)
• Velocity 속도
• Veracity 정확성 (신뢰 수준)
• Value 가치

 

빅데이터 유형

• 비정형데이터: 고정된 필드 x (텍스트, 이미지, 동영상, 음성)
• 반정형데이터: 고정된 필드 x, 메타데이터/스키마 등을 포함한 데이터(XML, HTML)
• 정형데이터: 고정된 필드에 저장된 데이터(RDB, 스프레드시트)

 

빅데이터 사례

• 의료/건강: 실시간 국민관심 질병예측 서비스, MediLatte(병원 방문 기록)
• 경제/경영: 아마존닷컴 추천상품, 베스타스(풍력 터빈 제조 설비업체), 서울시 우리 마을 가게 상권 분석 서비스
• 농업: 후지쯔의 농업용 빅데이터 분석 솔루션
• 치안: CompStat(뉴욕시의 과거지향적 범죄분석서비스), 실시간 범죄분석센터 RTCC(Real Time Crime Center)
• 환경: 영국 환경청 실시간 홍수 경고 지도 서비스, 파리의 스마트폰 소음 지도
• 문화: 영화 추천서비스 '왓챠피디아', TEXTAT(카카오톡 대화 감정 분석)
• 교통: 워싱턴의 SpotHero 앱(주차 부족 문제 해결), 서울시 심야버스 노선 최적화 빅데이터 솔루션, 단골 택시

+ 교육, 공공 분야 등