1장. 빅데이터의 이해
1절. 빅데이터 개요 및 활용
1. 데이터의 이해
- 정의: 1646년 영국 문헌 / dare의 과거형 / 기술적, 사실적 의미로 변화 / 타 객체와의 상호작용
- 특성: 존재적 특성(객관적 사실) / 당위적 특성(근거)
- 유형: 정성적(=비정형, 주관적) / 정량적(=정형, 객관적)
- 지식경영의 핵심 이슈: 암묵지(센스, 공통화, 내면화) + 형식지(매뉴얼, 표출화, 연결화)의 상호작용
- DIKW 피라미드:
Wisdom: "다른 것도 알리가 더 싸겠군!" (창의적 아이디어)
Knowledge: "그러면 알리에서 사야겠네!" (패턴을 구조화하여 고유의 지식으로 내재화)
Information: '알리가 1$이기 때문에 더 저렴함' (패턴을 인식하고 의미 도출)
Data: '알리 - 1$ / 네이버 - 10,000원' (형식 불문, 가공 전의 순수한 수치나 기호)
2. DB의 이해
- 정의:
1차 개념 확대 - 정형데이터 관리
2차 개념 확대 - 빅데이터의 출현, 비정형데이터 포함 - 일반적 특징:
통합(integrated)된 데이터: 중복되지 않음
저장(stored)된 데이터: 컴퓨터가 접근할 수 있는 저장매체에 저장됨
공용(shared) 데이터: 다양한 사용자가 다양한 목적으로 이용. 대용량화, 복잡
변화(changable)하는 데이터: 변화하면서도 현재의 정확한 데이터를 유지 - 다양한 측면에서의 특징:
정보의 축척 및 전달: 기계가독성 / 검색가독성 / 원격조작성
정보 이용: 이용자의 요구에 따라 정확하고 신속하게 찾아낼 수 있음, 경제적
정보 관리: 정보를 규칙에 따라 체계적으로 축적, 수정, 갱신 용이
정보기술 발전: 관련 소프트웨어, 하드웨어의 기술 발전을 견인
경제/산업: 인프라로 활용, 국민의 편의 증진 - 비즈니스에서의 DB
1) 1980년대
· OLTP: 데이터 갱신, 구조 복잡, Transaction - 주문입력, 재고관리...
· OLAP: 데이터 조회, 구조 단순, Analytical - 판매 추이 분석, 재무 회계 분석...
2) 2000년대
· 제조: ERP, BI, CRM, RTE(Real-Time Enterprise, 전사시스템 통합관리)...
· 금융: EAI(Ent. App Integration), ESB(Ent. Service Bus), EDW(전사적 DW)...
· 유통: KMS(Knowledge Management System), RFID... - 사회기반구조의 DB
EDI(Elec. Data Interchange, 표준화된 서류 양식), VAN, CALS(Commerce at Light Speed)...
3. 빅데이터의 이해
- ★3V: Volume, Variety, Velocity
- ★4V: Value, Veracity(진실성), Validity, Volatility(휘발 정도)
- 전통적 데이터 분석과 빅데이터 분석의 차이: 데이터의 확장 / 다양화 / 대규모화
- 빅데이터의 출현 배경: 고객 데이터 축적 및 비정형 데이터의 증가, 빅데이터 과학 확산, 관련 기술의 발달
- ★빅데이터가 만들어낸 본질적인 변화
사전처리 → 사후처리: 일단 데이터를 최대한 모으고 다양한 방식으로 조합하여 의미 도출
표본조사 → 전수조사: 기술의 발전으로 데이터 수집 및 처리 비용의 감소, 표본조사의 한계 극복
질 → 양: 데이터가 많으면 많을 수록 양질의 정보가 오류보다 많다는 전제
인과관계 → 상관관계: 상관분석을 통한 미래 예측이 지배적일 것
이미 알고있는 내용에 대한 학문적 정리를 한 느낌
무슨 피라미드인가 그거랑 여러 엔터프라이즈 DB 종류에 대해서는 처음 본 내용.
아 4V도!
내일은 좀 더 많은 내용을 다뤄봐야지.
반응형