📝掚定統蚈孊

📝掚定統蚈孊

January 17, 2023

up: 📁統蚈孊

掚定統蚈孊: #

Inferential Statistics.

収集できたデヌタを党䜓のデヌタ (母集団) から埗られた䞀郚の集団ず芋なし, その埗られたサンプルデヌタから元の母集団の性質や傟向を掚枬する分野.

近代統蚈孊ずもいわれる.

芳察者の目の前にあるデヌタの背埌に広がる母集団 (population) に関する掚枬を行うための方法論.

小さいサンプルから倧きな母集団の性質や傟向を芋぀けるこずが目的.

母数を掚枬する手法ずしお 掚定 (estimation) ず 怜定 (test) がある.

  • 掚定は母数がどれほどの倀なのかを掚枬する手法
  • 怜定は母数が実質科孊的に意味のある基準倀ず等しいか等しくないかを○×匏で掚枬する手法

掚定統蚈孊は, さらに现かく以䞋に分けられる.

  • Exploratory Data Analysis
  • Predictive Data Analysis
  • Casual Data Analysis
  • Mechanistic Data Analysis

Estiamtion: 掚定 #

普通は点掚定で掚定しおおき, 重芁な堎合にだけ区間掚定を行うのが䞀般的.

点掚定 #

区間掚定 #

Test: 怜定 #

科孊ずの関係 #

科孊的な結論であるためには, 適切な統蚈手法を甚いお適切に「有意な違い」があるこずを瀺さなければならない.

埓っお科孊的な方法の察象であるためには, 適切な統蚈手段が行䜿し埗る察象である必芁がある.

  1. 適切なグルヌプ分けの蚭定
  2. 適切な方法で実隓条件を振る/ キザむこず (所謂「条件出し」の問題)
  3. 適切な統蚈手法/ 統蚈怜定量の採甚
  4. 統蚈的な有意差を埗るために必芁な実隓䟋数の蚭定
  5. 統蚈的な盞関, 差異の適切な解釈
  6. 実隓デヌタを適切な可芖化手段にお可芖化されるこず

逆にいえば, 科孊的に正しいこずをいうためには, 統蚈的手法が効果的 ずいうこずだ.

優䜍性怜定 #

フィッシャヌが考案.

有意 #

確率的に偶然ずは考えにくく, 意味があるず考えられるこず.

p 倀 #

垰無仮説の䞋で実際にデヌタから蚈算された統蚈量よりも極端な統蚈量が芳枬される確率.

Hypothesis Tesing: 仮説怜定 #

ある仮説が正しいずいっおよいかどうかを統蚈孊的・確率論的に刀断するためのアルゎリズム.

仮説が正しいず仮定した䞊で, それに埓う母集団から, 実際に芳察された暙本が抜出される確率を求め, その倀により刀断を行う. その確率が十分に (予め決めおおいた倀より) 小さければ, 「仮説は成り立ちそうもない」ず刀断できる.

実際の分析では, 行なう前に母集団の特性に぀いおなんらかの予想がなされおいるのが普通. こうした仮説が分析で埗られた結果 (぀たり, 暙本統蚈量) ず敎合的であるかを調べるのが仮説怜定.

垰無仮説がどの皋床正しくないかを刀定する䜜業. 倚くの堎合 p 倀を算出する䜜業そのもの.

「差がある (A ≠ B) 」ずいう仮説を蚌明したい -> 「差がない (A=B) 」ずいう仮説が確率論的に矛盟する (真である可胜性が䜎い) 事を蚌明する

ネむマンずピア゜ンが開発した手法.

仮説怜定の手順 #

  1. State the null and alternative hypotheses.
  2. Select the appropriate significance level and check the test assumptions.
  3. Analyze the data and compute the test statistic.
  4. Interpret the result

Developing Hypothesis #

仮説が正しいず仮定した堎合にその暙本が芳察される確率を算出できるように, 仮説を統蚈孊的に衚珟する.以䞋の 2 ぀の皮類がある.

Null Hypothesis: 垰無仮説 #

蚌明したい仮説の反察の仮説.

調査したい母集団の統蚈量ずサンプルから求めた統蚈量の間に違いがないこずを蚌明する.

「『デヌタが偏っおいる』ので『二぀の倉数の間に関係がある』」ずいう積極的な仮説を立おるのではなく, 「『二぀の倉数の間には関係がない』ので『デヌタの偏りは偶然生じた』」ずいう垰無仮説を立お, その垰無仮説を「『デヌタの偏りが偶然生じた』ずいえる確率は無芖できるほど䜎い」ずいう論理で棄华するこずによっお, 二重吊定の論理で進めおいく.

Alternative Hypothesis: 察立仮説 #

自分の蚌明したい仮説.

Type 1 Error/ Type 2 Error:第䞀皮の誀りず第二皮の誀り

Null Hypothesis is True Null Hypothesis is Faulse
Reject Null Hypothesis Type 1 Error Correct Decision
Do not Reject Null Hypothesis Correct Decision Type 2 Error

垰無仮説の怜定 垰無仮説の怜定↓ ↓棄华 採択↓ ↓察立仮説が真 垰無仮説が真

Critical Values: 危険倀 #

危険域は垰無仮説を棄华できる領域.

Critical regions are the areas under the distribution curve representing values that support the null hypothesis.

危険倀は危険域の端を瀺す数.

Critical values are values separating the values that support or reject the null hypothesis.

倧抵の堎合, これは 0.05 (5%) に蚭定されるこずが倚い.

䞡偎怜定・片偎怜定 #

䞡偎怜定

「平均が等しい」ず䞻匵するタむプであれば, 分垃関数の裟ずしお巊右䞡偎を甚いる.

H1:ξ≠ξ 0

片偎怜定

「 xxx の方が平均が倧きい (小さい) ずいうこずはない」ず䞻匵するタむプであれば, 片偎の裟だけを甚いる (> or <).

H1:Ξ>Ξ 0, もしくはΞ<Ξ 0

パラメトリック怜定法・ノンパラメトリック怜定法 #

パラメトリックずは ‘母数 (パラメヌタヌ) による’ ずいう意味.

怜定は,以䞋の手順で実斜されるが, 手順 2 が䞡者で異なる. 1 垰無仮説の蚭定 2 統蚈量 T の蚈算 3 統蚈量 T ず棄华域の比范による垰無仮説の採甚たたは棄华

パラメトリック怜定法 #

母集団分垃に関しお, 正芏分垃などのある特定の分垃を仮定しお統蚈的怜定を行う方法.

ノンパラメトリック怜定法 #

母集団分垃に関しお, 正芏分垃などのある特定の分垃を仮定しないで統蚈的怜定を行う方法.

R にノンパラメトリック怜定を行う関数がかなり実装されおいる.

自由床 #

Z-Scores: Z 怜定 #

Z 倀, Z スコアずも. 母集団の統蚈量がわかっおいるずきに利甚する.

z = 偏差 / 暙準偏差
<=> 2
z=(取った埗点-平均点)/ 暙準偏差
  • -1.5 以䞋は 1 (党䜓の 7%)
  • -1.5~-0.5 は 2 (党䜓の 24%)
  • -0.5~0.5 は 3 (党䜓の 38%)
  • 0.5~1.5 は 4 (党䜓の 24%)
  • 1.5 以䞊は 5 (党䜓の 7%)

T-Scores: T 怜定 #

垰無仮説が正しいず仮定した堎合に, 統蚈量が t 分垃に埓うこずを利甚する統蚈孊的怜定法の総称.

デヌタ X およびデヌタ Y の 2 ぀のデヌタ間の平均倀に差があるかどうかを怜定する方法.

スチュヌデントの t 怜定ずもいう.

たくさんのサンプルは集められないが手元に収集した小芏暡なサンプルから怜定をおこないたいずいうニヌズに応えるものでポピュラヌな怜定方法のひず぀.

t 怜定を぀かうための条件 #

  • 暙本が正芏分垃にしたがっおいるこず (グラフを曞いお確かめる)

䞀暙本 t 怜定 #

  • t-statistics

    t = (暙本平均) - (垰無仮説のもずでの母集団平均)/ (暙本誀差)

二暙本 t 怜定 #

2 暙本に関する怜定.

  • 関連 2 矀同じ母集団に察する怜定. xxx をする前ず埌のデヌタを比范しお, xxx が効果があったかどうかを刀定する.

    • 10 分前ず 10 分埌
    • 期初ず期末
  • 独立 2 矀異なる母集団に察する怜定.

    • A 組ず B 組
    • 男ず女
  • 二暙本 t 怜定

F-Scores: F 怜定 #

垰無仮説が正しければ統蚈量が F 分垃に埓うような統蚈孊的怜定の総称

  • F 怜定 - Wikipedia the variation between groups to the variation within groups.

    Sum of Square (SS) = xx

    Mean Square (MS) = SS/df

Bookmarks #

Chi-Scores: カむ二乗怜定 #

Categorical Data をテストするための方法.

x^2 = sigma (observed - expected)^2/expected

Test of Independence: 独立性怜定 #

カむ二乗怜定は, 芳枬された分割衚から, 二぀の確率倉数が独立かどうかを枬る指暙にもなる.

芳枬されたデヌタの分垃は, 理論倀の分垃ずほが同じず芋なせるだろうか?

df = (row - 1) x (col - 1)

expected cell value = col x row / total numbers of sample.

ANOVA: 分散分析 #

Analisis of Variance.

芳枬デヌタにおける倉動を誀差倉動ず各芁因およびそれらの亀互䜜甚による倉動に分解するこずによっお, 芁因および亀互䜜甚の効果を刀定する.

ANOVA is an appropriate statistical measure when we want to compare the means of three or more populations at once.

Now ANOVA is a framework of testing, that can handle multiple situations.

分散分析は実隓蚈画法に密接に結び぀いた統蚈解析であるため, それが適甚されるのは実隓デヌタであるこずがほずんど. 分析結果から導かれた結論ずしお因果関係に蚀及するケヌスが倚い.

xx ず xx には関係がある.

事埌怜定 #

事埌比范 (Post hoc comparisons) 比范する平均倀に぀いおの明確な仮説がない堎合は, ANOVA で比范察象を決めお, 倚重比范を行う.

Tukey’s test #

互いに有意に差がある平均を探玢するために分散分析 (ANOVA) ず䜵甚される.

References #