빅데이터분석기사 DB수집기 자격증 필기 시험을 준비하면서 두음법칙을 정리하고 있다.두음법칙을 이용하면 자격증 공부를 비롯하여 수능이나 공무원 시험 등 다양한 시험을 준비할 때, 많은 도움이 된다.빅데이터분석기사 자격증 필기 시험을 준비하면서 이기적 교재와 수제비 교재 두 권을 함께 보고 있다.이기적 교재를 먼저 보면서 두음법칙을 만들었고, 수제비교재를 보면서 수제비 교재에 나와 있는 두음법칙을 참고하면서 보완을 하였다.수제비교재와 겹치지 않는 두음법칙을 중심으로 하여 블로그에 정보를 공유한다.수제비교재를 가지고 계신 분들은 수제비교재의 두음법칙을 참고하면 도움이 될 것이다.필자가 만든 두음법칙과 수제비교재의 두음법칙이 우연히 겹치는 경우도 있는데 이 경우는 개재를 하였다.두음법칙에는 한 가지 방법만 있는 것은 아니다.여러 가지 방법이 나올 수 있다.물론 DB수집기 짧은 내용은 같은 두음이 나오는 경우도 존재한다.두음법칙은 첫 글자를 딸 수도 있고, 중간 글자를 딸 수도 있고, 아니면 영어 알파벳을 활용할 수도 있다.(알파벳 두음의 경우 중복 글자가 나오는 경우가 많으므로 구별할 수 있는 방안을 생각해 둘 것)도움되시길 바라며, 공부하다가 더 나은 방안이 나오면 수정해서 개재하도록 할 것이다.빅데이터분석기사 자격증을 준비하고 계신 다른 블로거님들에게도 도움이 되면 좋을 것 같다.​빅데이터 분석기사 필기 두음법칙 정리 Part01. 빅데이터분석기획Chapter01. 빅데이터의 이해 1. 빅데이터의 개요 및 활용· 지식창조 매커니즘공표연내 → 공통화, 표준화, 연결화, 내면화· 지식의 피라미드데정식혜 → 데이터, 정보, 지식, 지혜· 데이터베이스 관리시스템(DBMS)관객네계 → 관계형DBMS, 객체지향DBMS, 네트워크DBMS, DB수집기 계층형DBMS· 데이터베이스의 특징통저공변 → 통합된 데이터, 저장된 데이터, 공용 데이터, 변화되는 데이터· 데이터웨어하우스(DW)주통시비 → 주제지향성, 통합성, 시계열성, 비휘발성· 데이터의 크기킬메기테/페엑제요 → 킬로바이트, 메가바이트, 기가바이트, 테라바이트, 페타바이트, 엑사바이트, 제타바이트, 요타바이트(10^3바이트배씩 증가 또는 2^10바이트배씩 증가)· 빅데이터의 특징(7V)규유속/품가/타휘 → 3V(규모, 유형, 속도)/2V(품질, 가치)/2V(타당성, 휘발성)· 데이터 산업의 진화처통분연권 → 데이터처리-통합-분석-연결-권리· 데이터 거버넌스의 주요 관리 대상마메데 → 마스터데이터, 메타데이터, 데이터사전· 데이터 거버넌스의 체계표관저표 → 데이터 표준화 → 데이터관리체계 → 데이터저장소관리 → 표준화활동 (순환)· 데이터 분석 준비도 프레임워크업인기데문아이 → 분석업무파악, 인력 및 조직, 분석기법, 분석데이터, 분석문화, IT인프라· 조직 평가를 위한 성숙도 단계도활확최 → 도입, 활용, 확산, DB수집기 최적화 2. 빅데이터 기술 및 제도· 개인정보보호 관련법령개망신위 → 개인정보보호법/정보통신망법/신용정보법/위치정보법· 빅데이터 플랫폼의 구조소(데데/서사모보) / 플(사작데/프데자/서사모보) / 인(사자노/데네/서사모보)데데: 데이터처리 및 분석엔진, 데이터수집 및 정제모듈사작데: 사용자요청파싱, 작업스케쥴링모듈, 데이터 및 자원할당모듈프데자: 프로파일링모듈, 데이터관리모듈, 자원관리모듈사자노: 사용자요청파싱, 자원배치모듈, 노드관리모듈데네: 데이터관리모듈, 네트워크관리모듈서사모보: 서비스관리모듈, 사용자관리모듈, 모니터링모듈, 보안모듈· 빅데이터 처리 과정과 요소기술생수저/처분시 → 데이터(생성) → 수집 → 저장(공유) → 처리 → 분석 → 시각화· 빅데이터 수집크로센RE → 크롤링, 로그수집기, 센서네트워크, RSS Reader/Open API, ETL 프로세스· 빅데이터 저장노공병분네 → NOSQL, 공유데이터시스템, 병렬DB관리시스템, 분산파일시스템, 네트워크저장시스템· 빅데이터 처리분분HAM→ 분산시스템과병렬시스템, 분산병렬컴퓨팅, 하둡, 아파치스파크, 맵리듀스(SMSR)* SMSR: Input → Spliting → Mapping → Shuffling DB수집기 → Reducing → Final Result· 빅데이터 분석분군기/TW OR SS → 분류, 군집화, 기계학습 / 텍스트마이닝, 웹마이닝, 오피니언마이닝, 리얼리티마이닝, 소셜네트워크분석, 감성분석· 개인정보 비식별화 조치 가이드라인의 단계별 조치사항사비적사 → 사전검토 → 비식별조치 → 적정성평가 → 사후관리 Chapter02. 데이터 분석 계획1. 분석 방안 수립· 데이터 분석 주제 유형OISD → Optimization/Insight/Solution/Discovery· 데이터 분석 유형설례진처 → 설명분석, 예측분석, 진단분석, 처방분석· 하향식 접근 방식탐정해타선 → 문제탐색, 문제정의, 해결방안탐색, 타당성검토, 선택· 상향식 접근 방식분흐식정 → 프로세스 분류, 프로세스 흐름분석, 분석 요건 식별, 분석 요건 정의· 분석 방법론의 구성요건절방도템난→상세한 절차(Procedure), 방법(Methods), 도구와 기법(Tools and Techniques),템플릿과 산출물(Templates and Outputs), DB수집기 어느 정도의 지식만 있으면 활용 가능한 수준의 난이도· 분석 방법론의 생성과정(선순환과정)형체네 → 형식화, 체계화, 내재화· 빅데이터 분석 방법론 계층단태스 → 최상위 계층-단계(Phase) / 중간 계층-태스크(Task) / 최하위 계층-스텝(Step)· 빅데이터 분석 방법론의 개발절차기준분시평 → 분석기획, 데이터준비, 데이터분석, 시스템구현, 평가 및 전개분석기획: 비범정계위 → 비즈니스이해 및 범위설정, 프로젝트 정의 및 계획수립, 프로젝트 위험 계획수립* 프로젝트 위험 계획수립(회전완수 → 회피, 전가, 완화, 수용)데이터준비: 필스수정 → 필요데이터정의, 데이터스토어설계, 데이터수집 및 정합성점검데이터분석: 분텍탐모평 → 분석용데이터준비, 텍스트분석, 탐색적분석, 모델링, 모델평가 및 검증시스템구현: 설구테운 → 설계 및 구현, 시스템 테스트, 시스템 운영평가 및 전개: 계평보 → 모델발전계획수립, DB수집기 프로젝트평가, 프로젝트보고· 데이터 분석 플랫폼의 구성요소EAA(FEL)OH → 분석 서비스 제공엔진(E), 분석 애플리케이션(A), 분석 서비스 제공 API(A), 데이터처리 Framework(F), 분석엔진/분석라이브러리(E/L), 운영체제(OS)(O), 하드웨어(H)· KDD 분석 방법론의 분석 절차SPTDI → Selection, Preprocessing, Transformation, Data Mining, Interpretation· CRISP-DM 분석 방법론의 분석 절차BDDMED → Business Und, Data Und, Data Prepare, Modeling, Evaluation, Deployment· SEMMA 분석 방법론의 분석 절차SEMMA → Sampling, Exploration, Modification, Modeling, Assessment 2. 분석 작업 계획· 데이터 처리 프로세스소수저처(데이터소스 → 데이터수집 → 데이터저장 → 데이터처리) 데이터처리영역분표(데이터분석 → 데이터표현) 데이터분석영역· 데이터 전처리 수행정통축변 → 데이터정제, 데이터통합, 데이터축소, 데이터변환 Chapter03. 데이터 수집 및 저장 계획1. DB수집기 데이터 수집 및 전환· 데이터 수집 기술정형데이터(EFADS) → ETL, FTP, API, DBtoDB, Sqoop비정형데이터(CROCK) → 크롤링, RSS, OpenAPI, Chukwa, Kafka반정형데이터(FS3) → 플럼, 스크라이브, 센싱, 스트리밍· 데이터 비식별화 처리 기법가총삭범마 → 가명처리, 총계처리, 데이터삭제, 데이터범주화, 데이터마스킹· 정형 데이터 품질 기준완유일유정 → 완전성, 유일성, 일관성, 유효성, 정확성· 비정형데이터 품질 기준기신사효이 → 기능성, 신뢰성, 사용성, 효율성, 이식성 2. 데이터 적재 및 저장· NoSQL의 데이터 모델키값 데이터베이스 DR → DynamoDB, Redis열기반 데이터베이스 BCH2 → Bigtable, Cassandra, HBase, HyperTable문서기반 데이터베이스 SCM → SimpleDB, CouchDB, MongoDB(오토샤딩)​이상 Part1. 두음법칙 끝.​* 다음 주 화요일(3월 4일)이 빅데이터 분석기사 필기 원서 DB수집기 접수 시작일이다.잊지 않고 접수하도록 하자.