당신은 주제를 찾고 있습니까 “빅 데이터 확률 과 통계 – Ch09_03.빅데이터와 통계분석(통계와 확률)03“? 다음 카테고리의 웹사이트 you.maxfit.vn 에서 귀하의 모든 질문에 답변해 드립니다: you.maxfit.vn/blog. 바로 아래에서 답을 찾을 수 있습니다. 작성자 강서대학교 빅데이터경영학과 이상철 교수 이(가) 작성한 기사에는 조회수 1,961회 및 좋아요 15개 개의 좋아요가 있습니다.
빅 데이터 확률 과 통계 주제에 대한 동영상 보기
여기에서 이 주제에 대한 비디오를 시청하십시오. 주의 깊게 살펴보고 읽고 있는 내용에 대한 피드백을 제공하세요!
d여기에서 Ch09_03.빅데이터와 통계분석(통계와 확률)03 – 빅 데이터 확률 과 통계 주제에 대한 세부정보를 참조하세요
빅 데이터 확률 과 통계 주제에 대한 자세한 내용은 여기를 참조하세요.
빅데이터를 위한 확률과 통계 | K-MOOC
본 강의는 4차 산업혁명시대에 빅데이터 처리의 이론적인 바탕인 확률과 통계의 기본이론 습득을 목표로 한다. 본 강의를 통해 빅데이터 분석을 위한표본조사방법과 …
Source: www.kmooc.kr
Date Published: 2/21/2021
View: 2803
빅데이터와 통계학
특히, 각각의 특징이 통계학적 방법론과 어떻게 연결되는지에 대해서 살펴보고자 한다. 2.1. 관측자료. 통계학적으로 분석자료는 크게 실험자료와 관측자료로 나눌 수 있다 …
Source: www.koreascience.or.kr
Date Published: 4/29/2022
View: 8937
확률과 통계, 빅데이터와 인공지능 기술에 왜 필요할까?
바로 빅데이터 분석에 확률과 통계가 활용되기에 가능했던 것입니다. 수많은 상품의 데이터를 수집하고, 분석해 고객에게 가장 적합한 상품은 무엇 …
Source: post.naver.com
Date Published: 9/10/2022
View: 4720
확률과 통계를 이용한 빅데이터 활용사례 – Prezi
확률과 통계를 이용한 빅데이터 활용사례. Number of times this content has been viewed 1,565 Button to like this content 1 Button to share content Button to …
Source: prezi.com
Date Published: 4/22/2022
View: 1134
빅 데이터 확률 과 통계
확률과 통계 – 순천향대학교 SCH미디어랩스 빅데이터공학과. 빅데이터 처리와 확률통계임종태 | 한티미디어- 교보문고. 고등학교 수학교과서들의 확률 및 통계단원을 …
Source: masturbationhealth.com
Date Published: 2/26/2022
View: 2210
[빅데이터 6] 데이터 통계 분석 (확률/통계, 확률 분포, 모집단의 …
1. 확률과 통계이론 통계 (Statistics) : 표본을 통하여 모집단을 추정하기 위한 학문 빅데이터와 관계 표본(=데이터)을 수집하고 분석하는 고전 과정 …
Source: mingul.tistory.com
Date Published: 5/2/2022
View: 4117
확률과 통계의 관계 – 느닷없이 확률을 배우는 이유
라고 말한다면 빅데이터로 모은 그 모집단이라고 생각되는 집단도 사실은 큰 표본이라고 보는 것이 더 정확한 것 아닐까? – 라고 생각합니다 – 모집단에 가까운 큰 표본 …
Source: recipesds.tistory.com
Date Published: 1/26/2022
View: 4734
인공지능, 조건부 확률 – Contenta M – 콘텐타
이런 상황에서 새로운 돌파구를 다름아닌 확률,통계에서 찾아내게 됩니다. … 그것이 보통 계산 방식으로는 다루기 어려울 정도로 많아질 때 빅데이터라고 부르기도 …
Source: magazine.contenta.co
Date Published: 4/27/2021
View: 3397
8강 데이터 분석의 기초 – 확률과 확률분포 – 데이터온에어
의료 빅데이터 수강생입니다. 좋은 강의 감사합니다. 마지막에 카이제곱, t 분포가 왜, 어디에, 어떻게 사용되는지 설명이 부가적으로 있었으면 좋겠습니다. 감사 …
Source: dataonair.or.kr
Date Published: 1/17/2022
View: 3410
주제와 관련된 이미지 빅 데이터 확률 과 통계
주제와 관련된 더 많은 사진을 참조하십시오 Ch09_03.빅데이터와 통계분석(통계와 확률)03. 댓글에서 더 많은 관련 이미지를 보거나 필요한 경우 더 많은 관련 기사를 볼 수 있습니다.
주제에 대한 기사 평가 빅 데이터 확률 과 통계
- Author: 강서대학교 빅데이터경영학과 이상철 교수
- Views: 조회수 1,961회
- Likes: 좋아요 15개
- Date Published: 2019. 11. 11.
- Video Url link: https://www.youtube.com/watch?v=uRckzgCL08A
빅데이터를 위한 확률과 통계
Share with friends and family!
Tweet that you’ve enrolled in this course
트위터를 이용하여 친구 및 가족과 공유
Post a Facebook message to say you’ve enrolled in this course
페이스북을 이용하여 친구 및 가족과 공유
Email someone to say you’ve enrolled in this course
이메일을 이용하여 친구 및 가족과 공유
네이버를 이용하여 친구 및 가족과 공유
카카오를 이용하여 친구 및 가족과 공유
Email someone to say you’ve enrolled in this course
강좌 주소를 이용하여 친구 및 가족과 공유
[빅데이터 6] 데이터 통계 분석 (확률/통계, 확률 분포, 모집단의 추정)
반응형
1. 확률과 통계이론
통계 (Statistics) : 표본을 통하여 모집단을 추정하기 위한 학문
빅데이터와 관계
표본(=데이터)을 수집하고 분석하는 고전 과정
빅데이터의 기반 학문
모집단Population : 정보를 얻고자 하는 목표 대상의 전체 집단
표본Sample : 모집단의 일부이며, 관찰하여 획득한 데이터
모집단과 표본의 관계
모집단은 전수조사를 통하여 파악 가능 ⇨ 비효율
표본을 통하여 모집단의 정보를 추정
데이터의 유형
수치 데이터 Numerical Data : 측정하여 숫자의 형태로 획득한 데이터 예) 키, 몸무게, 온습도, 물품의 가격
범주 데이터Categorical Data : 데이터의 범주(category)를 사전에 정의하고, 데이터의 특성을 범주에 따라 분류한 데이터 예) 남녀 성별, 직업, 시/군/구 등 거주구역
통계의 분류
기술통계 Descriptive Statistics : 표본을 수집 ⇨ 정리 및 요약 , 목적 : 수집한 데이터로부터 의미있는 정보 를 추출
추측통계Inferential Statistics : 표본을 분석 ⇨ 모집단의 정보를 추측 , 목적 : 모집단의 정보 추측의 품질을 높임
통계 자료의 요약
도수분포표Frequency Distribution Table
구간/범주별로 표본의 출현 빈도수를 표현한 표
구체적인 수치를 통한 분석 가능
히스토그램Histogram
구간/범주별 빈도수를 그림으로 시각화 표현
양(magnitude)을 직관적으로 표현
통계 자료의 분석
산술평균 Mean/Average : 표본의 합을 표본의 수로 나눈 값
중앙값 Median : 표본을 크기의 순서로 나열하였을 때 중앙에 출현하는 값
최빈값 Mode : 표본 중 가장 큰 빈도수로 출현하는 값
범위 Range : 표본의 가장 큰 값과 가장 작은 값의 차이
표준편차 Standard Deviation : 분산의 제곱근으로 표본의 분포를 나타냄
분산 Variance : 산술평균과 표본 간의 차이의 제곱합을 표표본의 수로 나눈 값
확률 (Probability)
모집단의 정보가 있음
모집단 대비 특정 사건이 발생하는 비율의 표현
확률의 필요성
사건의 일반화, 사건의 경향을 알 수 있음 ⇨ 미래에 대비 가능
확률의 유형
단순 확률 Simple Probability : 한 가지의 사건이 발생할 확률
결합 확률 Joint Probability : 두 가지 이상의 사건이 발생할 확률
조건부 확률 Conditional Probability : 특정 사건이 발생하였다는 전제 하에 또다른 사건이 발생할 확률
통계와 확률의 차이점
*통계
모집단의 정보가 없음 ⇨ 표본으로 모집단 추정
*확률
모집단의 정보가 있음 ⇨ 모집단 대비 특정 사건이 발생하는 비율의 표현
2. 확률 분포
확률 변수 (Random Variable) : 2개 이상의 값을 취할 수 있는 변수
종류
이산확률변수 : 값이 범주화 되어 있는 경우
연속확률변수 : 값이 연속적인 경우
확률 분포 데이터가 출현할 확률의 분포
필요성
데이터 출현의 정도를 일반화 ⇨ 미래의 예측 가능
표본 내에서 확률 변수의 출현 확률을 바탕으로 모집단에서의 확률 변수의 출현 확률 추정 가능
확률 분포의 종류
이산 확률 분포Discrete Probability Distribution
이산 확률 변수가 가지는 확률 분포
확률 질량 함수(Prob. Mass Function) 표현
연속 확률 분포Continuous Probability Distribution
연속 확률 변수가 가지는 확률 분포
확률 밀도 함수(Prob. Density Function) 표현
기댓값Expectation : 확률 데이터가 집중되는 경향성을 대표하는 값
분산Variance : 확률변수가 기댓값으로부터 벗어난 정도를 표현
표준편차Standard Deviation : 분산의 제곱근으로, 기댓값 대비 분포 정도 표현
정규 분포Normal Distribution : 평균과 표준편차 기반의 연속 확률 분포
중심 극한정리에 근거⇨ 확률 변수의 평균은 정규 분포에 근접하는 성질
특성
절대근사한다.
평균과 표준편차가 주어지면 ⇨ 엔트로피를 최대화
정규 분포 곡선은 평균 대비 좌우 대칭
중앙값의 확률이 최대
3. 모집단의 추정
추정 이론 : 통계학과 신호처리의 한 분야로, 표본을 바탕으로 인자(parameter)를 추정하는 학문
필요성 : 한정된 데이터(=표본)를 바탕으로 최적의 추정 방법론(=추정량)을 적용 가능
추정 방법론 / 추정량 Estimation Methodology / Estimator
MLE : Maximum Likelihood Estimation : 사전 정보가 없는 상황 에서 성능을 최대화 하는 인자 추정 방법
MAP : Maximum A Posteriori : 사전 정보나 그 가정을 바탕 으로 성능을 최대화 하는 인자 추정 방법
최소제곱법 Least Squares : 사전 정보의 오차 제곱을 최소화 하는 인자 추정 방법
MMSE : Minimum Mean Squared Error : 사전 정보의 평균 제곱근 오차(MSE)를 최소화 하는 인자 추정 방법
칼만 필터 Kalman Filter : 이상 데이터가 포함된 선형 모집단의 인자를 추정하는 방법
모집단의 추정 Estimating Population
표본의 정보를 바탕으로 추정 방법론을 적용하여 모집단의 정보(평균, 비율)를 정확하게 추정
추정 이론(Estimation Theory)의 한 갈래
필요성
모집단을 전수조사하는 경우 ⇨ 분석 경제성 하락↓
표본을 바탕으로 모집단을 정확하게 추정하는 경우⇨ 분석 비용 절약 가능, 분석 효율성 향상
분산의 종류
모 분산Population Variance : 모집단으로부터 구한 분산
표본 분산Sample Variance : 표본으로부터 구한 분산
표준편차의 종류
모 표준편차Population Std. Dev. : 모집단으로부터 구한 표준편차
표본 표준편차Sample Std. Dev. : 표본으로부터 구한 표준편차
모집단 평균 추정Estimating Population Mean
신뢰구간 추정
모집단 비율 추정Estimating Population Ratio
신뢰구간 추정
반응형
느닷없이 확률을 배우는 이유
확률과 통계의 관계 – 느닷없이 확률을 배우는 이유
확률과 통계는 어째서 붙어 다니는 걸까. 고등학교 시절로 거슬러 올라가면, 어느 날 갑자기 – 정말 뜬금없이 – 경우의 수를 배우기 시작하게 되는데, 더욱 당황하게 만든 건 경우의 수 자체를 공식으로 배우게 된다는 사실입니다. 저로서는 매우 곤혹스러운 일이었는데, 수학을 매우 좋아하는 저로서도 갑자기 방금 배운 공식으로 문제를 풀어 재끼는 이 상황에서 네? 뭐라고요? 저기 잠시만요 하고 당황하게 되는 일이 한두 번이 아니었습니다. 이걸 하나하나 따져보지 않고 공식으로 한다는 신선한 문화적 충격이라고나 할까요.
수학 공식으로 접근하는 “경우의 수”가 확률이라는 것을 배우기 위해 필수라고 생각하긴 하지만, 그래도 이건 야 너무한 걸 하고 입이 나오게 중얼거리게 만드는 것임은 틀림없습니다. 이건 어느 수학 선생님이 하신 말인데, 수학을 좋아하는 학생들 중에 확률과 통계 때문에 좌절하는 학생들을 많이 보았다는 증언이 자꾸 제 귀에 맴돌게 되어, 이것 참 곤란한데 라고 생각 중입니다.
그래서 말인데, 확률이라는 것은 그냥 우리가 본능적으로 받아들이듯이 가능성 정도로 이해를 하고 통계를 바라봐야 지치지 않고 더 앞으로 전진할 수 있지 않을까 생각합니다. 경우의 수를 풀다가 쓰러지면 곤란하잖아요. 털썩.
이렇게 당황스러운 경우의 수를 지나가면 순식간에 확률이라는 걸 하게 되고, 곧바로 통계로 넘어가 버리니까, 정말 순식간에 내가 지금 뭘하고 있는 거지? 하고 길을 잃어버렸던 기억이 나버리네요.
대체, 어째서, 왜 확률과 통계가 같이 다니는 걸까요? 사실 확률과 통계가 같이 다니는 이유는 간단합니다. 통계에서 확률을 사용하니까 확률과 통계가 같이 다니는 거예요. 통계에서 확률을 어떻게 사용하는가? 나는 본 적이 없는데? 라는 생각이 드는 것이 당연합니다.
사실 추론통계에서 확률이 사용된다고 생각하면 매우 쉽게 접근할 수 있습니다. 또한 예측에도 사용되니까 이건 쉽게 이해 할 수 있겠습니다. 통계에서 뭔가 추론을 하거나, 예측할 때 확률을 이용하여 추론하거나, 확률을 이용해서 설명하게 됩니다.
무엇을 추론한다는 의미인가? 라는 질문이 또 고개를 드는 게 당연합니다. 통계는 표본을 통해서 모집단을 추론할 때 확률을 이용해서 계산하고, 결과를 표현합니다. 이런 걸 모집단의 특성을 설명하는 수인 모수라고 부르고, 영어로는 parameter라고 합니다. 모평균, 모분산, 모표준편차, 모비율, 모상관관계 등입니다.
여기에서 더 재미있는 사실이 있는데, 일반적으로 확률에서 배우는 알려진 확률분포들이 여러 가지 있는데, 이 분포들이 평균과 분산만 알면 모두 설명되어진다는 재미있는 사실입니다. 그러니까, 이런 것을 Parameter모수라고 부르고, 우리가 표본을 통해서 평균과 분산을 추론할 수 있다면 모집단도 어느 정도 확률분포로 설명할 수 있다는 것이죠.
여기에서 또 더 재미있는 – 자꾸 재미있다고 해서 미안한 생각이 듭니다만 – 사실은 표본평균을 통해 모집단의 평균을 추정할 때 표본평균 역시 모집단의 분포와 상관없이 어떤 특정한 확률분포 – 여기서는 Gaussian – 를 이루더라 하는 사실입니다. 그러니까 결국 모수를 표현할 때도 확률로 표현할 수 있게 되는 것입니다.
어쨌든 결국 모수를 추론하기 위해 표본을 뽑게 되는데 이 표본들에서 나오는 결과를 통계량이라고 부르는데, 이 통계량이 “확률변수”라는 사실인 것입니다.
확률은 알려진 모델이 주어져 있고, Data를 예측하는 것이고, 통계는 Data가 주어져 있고, 모델을 예측하는 것이라니. 정말입니까? 네. 그런 것 같네요. 어느 정도 이해가 되는 말인 것 같습니다만.
어떻게 보면 통계는 귀납적인 접근이라고 보면 좋겠습니다.
결국
① 확률모형은 확률함수로써 불확실성을 계량화하기 위해 사용하는 수학적 표현이고,
② 이런 확률모형에 사용되는 계수들을 모수, 즉 parameter라고 부릅니다.
③ 그러니까, 통계학에서 추론이라는 것은 표본을 이용해서 모수를 추정을 하는 것이고,
④ 그러니까 모수, parameter를 추정한 할 수만 있다면 확률 모형을 추정할 수 있다는 말이고,
⑤ 확률 모형을 안다는 것은 그 분포를 안다는 것과 같은 말이며,
⑥ 분포를 안다는 것은 모집단을 안다는 뜻이며, 어떠한 X값이든 그 X가 발생할 확률을 얻을 수 있다는 말입니다.
그러니까, 결론적으로 얘기하면, 통계는 표본을 가지고 모집단을 확률로 예츠으윽!!!! 이것이 다 입니다. (사실 고백하자면 이 얘기를 백만번 들었던 것 같습니다만, 엣, 진짜요? 또 묻게 되는 뭐 그런 중요한데 시시한 이야기입니다.)
결국 이런 스토리인 것입니다. 아하. 그래서 확률과 통계가 같이 다니는구나. 하고 생각한다면 조금은 마음이 후련해지는 것 같은 느낌입니다.
사실 요즘 세상이 빅데이터 세상이고, 빅데이터가 모집단 그 자체인데 의미가 있나요? 라고 말한다면 빅데이터로 모은 그 모집단이라고 생각되는 집단도 사실은 큰 표본이라고 보는 것이 더 정확한 것 아닐까? – 라고 생각합니다 – 모집단에 가까운 큰 표본이기 때문에 추론통계가 또한 역시 필요한 것 아닌가 생각합니다. 아 물론 어차피 통계가 오차라는 것을 포함하기 때문에 어-엄-청 큰 데이터를 모집단이라고 생각한다고 해서 또 누가 뭐라 할 만큼 큰 문제는 없지 않을까 하는 약간 무책임한 생각도 역시 하고 있습니다.
모수적 비모수적 방법이라는 말이 있는데, 비모수적 방법이라는 것은 표본이 너무 작거나, 모집단의 Parameter 자체에 대한 접근을 하지 않는 경우를 의미하는데 모집단의 분포를 가정할 수 없을 경우 모집단의 분포 유형에 관계없이 적용할 수 있기 때문에 비모수적 방법은 모집단의 분포에 대한 가정을 필요로 하지 않는 경우를 말합니다. 그러니까 분포무관 통계학(distribution free statistic)이라고 불리기도 합니다. 또, 표본의 크기가 작을 때도 비모수적 방법을 사용합니다. 보통 머신러닝을 할 때 이런 방법들이 사용됩니다.
모수통계의 가장 많이 다루는 모형은 정규분포입니다. 2개의 모수로 모든 것이 설명 가능해요. – 그것은 Mean(μ)과 Variance(σ²) 입니다 –
이런 얘기를 또 하게 되면, 너무 흥미진진해져 버리니까 – 라고 하자구요 – 일단은 모르는 척하고 지나가겠습니다.
보통 통계량(Statistics)이라는 말과 모수라는 말이 나오는데 모수(Parameter)라는 말과의 차이는 모수는 모집단이 변하지 않으니까 변하지 않는 값, 통계량은 표본을 어떻게 추출하느냐에 따라 변하는 값입니다. 여기에서 중요한 논리가 있는데 “표본 추출할 때마다 통계량이 달라질 텐데, 이렇게 변하는 값으로 어떻게 모수를 추정하나요?”라는 질문이 당연히 나올 수 있습니다. 그래서 여기에서 중요한 내용이 통계량 자체가 확률변수(Random Variable)라는 것입니다. 이 통계량을 이용해서 모수를 확률로 추정하는 것이죠.
그런 의미에서 확률은 측정 가능한 이벤트가 일어날 가능성을 표현하는 학문이고, 통계는 Sampling(표본추출)을 통해서 관측한 현상에 대한 분석을 하는 학문이라고 보면 조금 더 쉬운 정의가 아닐까 생각합니다. 아까 살펴본 얘기를 다시 쓰는 셈인데,
확률적 계산 → 알려진 모집단에서 주어진 표본이 얻어질 확률 계산
통계적 추론 → 주어진 표본을 가지고 모집단에 대해 예측입니다.
자꾸 첨언해서 미안합니다. 만. 조금 더 실제적인 예를 든다면 다음의 예처럼 비유하면 쉬운 비유가 될 것 같습니다.
1. 서랍 속에 빨간 양말이 8개, 까만 양말이 2개 있다는 사실을 알고 있다고 합시다.
이때 양말을 랜덤을 뽑는다고 했을 때, 빨간 양말을 뽑을 확률은 얼마입니까? 라고 한다면 확률인데
2. 서랍 속에서 양말을 계속 뽑아 봤더니 10번 중에 빨간 양말이 2번, 까만 양말이 8번 나오더라. 이 현상을 보고 빨간 양말과 까만 양말의 개수를 추정하게 되면 이건 또 통계 문제라고 보면 쉬울 것 아닌가 생각합니다. 물론 제 옷장의 서랍에는 빨간 양말과 까만 양말은 없고, 흰 양말만 잔뜩 있습니다. 개인 취향이니까요.
키워드에 대한 정보 빅 데이터 확률 과 통계
다음은 Bing에서 빅 데이터 확률 과 통계 주제에 대한 검색 결과입니다. 필요한 경우 더 읽을 수 있습니다.
이 기사는 인터넷의 다양한 출처에서 편집되었습니다. 이 기사가 유용했기를 바랍니다. 이 기사가 유용하다고 생각되면 공유하십시오. 매우 감사합니다!
사람들이 주제에 대해 자주 검색하는 키워드 Ch09_03.빅데이터와 통계분석(통계와 확률)03
- 동영상
- 공유
- 카메라폰
- 동영상폰
- 무료
- 올리기
Ch09_03.빅데이터와 #통계분석(통계와 #확률)03
YouTube에서 빅 데이터 확률 과 통계 주제의 다른 동영상 보기
주제에 대한 기사를 시청해 주셔서 감사합니다 Ch09_03.빅데이터와 통계분석(통계와 확률)03 | 빅 데이터 확률 과 통계, 이 기사가 유용하다고 생각되면 공유하십시오, 매우 감사합니다.