머물다 간 자리..

Aphache Kafka 카프카는 대용량 메시지 발행-구독 서버이다. 다음 그림과 같이 메시지발행(producer)-구독(consumer) 패턴을 가지고 메시지를 큐(Queue) 자료구조로 관리하며, 빠른 속도로 메시지 데이터를 저장 및 사용할 수 있다. producer가 메시지를 발행하면 Topic이 만들어지고, 다음과 같이 생성된 Queue에 저장되며, 생성된 순서대로 각 consumer가 구독하여 읽을 수 있다. 분산 코디네이션 지원 ZooKeeper 주키퍼는 쓰기 동작시 분산되 카프카 클러스터들 간 동기화 처리를 해준다. 빅데이터 처리를 위한 카프카와 주키퍼 대용량 데이터를 분산 저장 및 관리하기 위해 카프카를 사용하며, 카프카는 주키퍼와 함께 사용한다. 윈도우에서 카프카 설치하기 - Java :..

회귀분석이란 한 변수가 다른 변수들에 의해서 어떻게 설명 또는 예측할 수 있는지를 알아보기 위해 적절한 함수식으로 분석하는 통계적 분석방법입니다. 이때 설명(예측)되는 변수를 종속변수(dependent variable) 또는 반응변수라 하고 종속변수를 설명(예측)하는 데 원인이 되는 변수를 독립변수(independent variable) 또는 독립변수라 합니다. 이러한 회귀분석은 자연과학은 물론 사회과학에서도 다양한 용도로 사용되고 있는데 독립변수와 종속변수 간 회귀 모형의 유효성, 독립변수에 의한 종속변수의 설명력, 특정 독립변수값에 대한 종속변수의 예측 등을 주로 분석합니다. 회귀분석은 모형의 선형성에 따라 선형회귀분석과 비선형회귀 분석으로 나눌 수 있는데 선형회귀분석은 종속변수와 독립변수의 관계가 ..

교차분석과 χ2 검정 개념 교차분석이란 두 개의 범주형 변수 A와 B의 상호 관련성을 파악하고자 사용하는 분석방법으로 범주형 자료의 결합빈도를 작성하고 각 셀의 기대빈도를 구해 비교하여 두 변수 간 독립성 혹은 연관성이 있는지를 분석하는 방법입니다. 이때 두 변수 간 독립성 혹은 연관성 등을 검정하는 방법이 χ2(카이 스퀘어) 검정입니다. 두 개의 범주형 변수가 각각 p개와 k개의 범주를 가지고 있다면 교차표는 다음과 같은 형태를 나타냅니다. p x k 교차표 이러한 교차분석표에 사용되는 검정 방법은 두 변수 간 독립성 검정과 비율의 동질성 검정, 관측빈도수와 예측빈도수의 비교를 통한 모형의 적합성 검정 등에 사용되며, 검정 통계량은 χ2(카이 스퀘어) 검정이 사용됩니다. 이중 적합도 검정은 본 강좌의 ..

상관분석의 개념 몸무게와 신장, 광고비와 매출, 알콜 섭취량과 혈압, 영어성적과 국어성적 등 서로 관련이 있을 것으로 예상되는 두 변수의 관찰값들이 쌍으로 주어졌을 때 두 변수간의 관계에 관심이 있다고 합시다. 이렇게 두 변수 간의 선형적인 연관성을 분석하는 것을 상관분석(correlation analysis)이라 하며, 두 연속형 변수들의 연관성을 측정하는 데 사용되는 통계치를 상관계수(correlation coefficient)라고 합니다. 상관계수는 칼 피어슨(Karl Pearson)에 의해 제안되었기 때문에 피어슨 상관계수라고도 합니다. 이러한 상관계수의 개념을 공부하기 전에 공분산(covariance)이라는 개념에 대해서 먼저 간략하게 살펴보겠습니다. 두 개의 확률변수 (X, Y)의 평균과 분산..