プログラミング
 Computer >> コンピューター >  >> プログラミング >> プログラミング

不一致検定(ディスコーダンシー・テスト)はどのように機能するのか?

不一致検定の基本的な考え方

統計学における不一致検定(discordancy test)は、2つの仮説,作業仮説と対立仮説,を用いて分析を行います。作業仮説Hとは、「n個のオブジェクトからなるデータセット全体が、初期の分布モデルFに従う」という主張です。数式で表すと、H: oi ∈ F(i = 1, 2, ..., n)となります。

この仮説は、棄却を裏付ける統計的に有意な証拠が存在しない限り保持されます。不一致検定は、あるオブジェクトoiが分布Fに対して著しく大きい(または小さい)かどうかを判定するものです。利用可能なデータに関する知識に基づいて、さまざまな検定統計量が不一致検定のために提案されてきました。

有意確率による判定プロセス

不一致検定のためにある統計量Tが選択され、オブジェクトoiに対するその値がviであるとします。このとき、Tの分布が構築され、有意確率SP(vi) = Prob(T > vi)が評価されます。

SP(vi)が十分に小さい場合、oiは不一致(discordant)であると判断され、作業仮説は棄却されます。代わりに、「oiは別の分布モデルGから生じている」という対立仮説が採用されます。この結果は、どのFモデルを選ぶかに大きく依存します。なぜなら、同じoiでも、あるモデルの下では外れ値となり、別のモデルの下では完全に有効な値となる可能性があるからです。

対立分布と検定の検出力

対立分布は、検定の検出力,すなわち、oiが外れ値である場合に作業仮説が棄却される確率,を決める上で非常に重要です。対立分布には、以下のようないくつかの種類があります。

固有対立分布(Inherent Alternative Distribution)

この場合、「すべてのオブジェクトが分布Fから生じる」という作業仮説は棄却され、代わりに「すべてのオブジェクトが別の分布Gから生じる」という対立仮説が採用されます。

H: oi ∈ G, i = 1, 2, ..., n

FとGは異なる分布であってもよいし、同一分布でパラメータのみが異なっていても構いません。ただし、Gの分布の形には制約があり、外れ値を生み出しうるものでなければなりません。例えば、平均や分散が異なる、あるいは長い裾(ヘビーテイル)を持つ分布などが該当します。

混合対立分布(Mixture Alternative Distribution)

混合対立分布では、不一致な値はF母集団における外れ値ではなく、他の母集団からの混入物(コンタミナント)であると考えます。この場合、対立仮説は次のようになります。

H: oi ∈ (1 – λ)F + λG, i = 1, 2, ..., n

スリッページ対立分布(Slippage Alternative Distribution)

この対立仮説では、あらかじめ規定された少数のオブジェクトを除き、すべてのオブジェクトがパラメータμおよびσ2を持つ元のモデルFから独立に生じるとされます。一方、残りのオブジェクトは、パラメータが変更されたFの修正版からの独立な観測値とみなされます。

  1. Microsoft Edgeのパスワードモニターとは?仕組みと使い方を徹底解説

    ```html Microsoft Edgeのパスワードモニター(Password Monitor)は、Edgeブラウザーに搭載されているセキュリティ機能の一つです。保存済みのパスワードがデータ漏洩によって危険にさらされていないかを常時監視し、オプトイン(有効化)しておけば、既知のデータ漏洩情報と照合して定期的にチェックを行い、危険が検知されたときに通知してくれます。 Edgeパスワードモニターを有効にすべき理由 強力なパスワードを作成し、定期的に変更することは、オンラインセキュリティにおいて最も重要な対策です。Microsoft Edgeは強力なパスワードジェネレーターを備えており、総当た

  2. YouTubeアルゴリズムの仕組みを徹底解説!おすすめ欄と検索結果に表示される方法

    YouTubeのおすすめ欄は、多くのユーザーが新しい動画を探すときに最初に目を向ける場所です。ここに表示される動画は、一人ひとりの視聴傾向に合わせてカスタマイズされており、ユーザーがクリックしたくなるような動画が並んでいます。では、これらの動画は一体どのように選ばれているのでしょうか。 この仕組みは一般的に「YouTubeアルゴリズム」と呼ばれています。これは、どの動画をユーザーのおすすめ欄に表示するかを計算するシステムであり、検索結果にも大きな影響を与えます。そのため、より多くのオーディエンスへリーチしたいクリエイターにとって、アルゴリズムの仕組みを理解することは非常に価値のあることだと言