アンサンブル手法は、単一のモデルを使用するのではなく、複数のモデルを組み合わせることにより、モデルの結果の精度を向上させることを目的とした手法です。組み合わせたモデルにより、結果の精度が大幅に向上します。これにより、機械学習におけるアンサンブル手法の人気が高まりました。
クイックサマリー
- アンサンブル手法は、複数のモデルを組み合わせて1つの非常に信頼性の高いモデルを作成することにより、モデルの予測可能性を向上させることを目的としています。
- 最も人気のあるアンサンブル手法は、ブースティング、バギング、スタッキングです。
- アンサンブル法は、モデルの精度を高めるためにバイアスと分散を減らす回帰と分類に理想的です。
アンサンブルメソッドのカテゴリ
アンサンブル手法は、シーケンシャルアンサンブル手法とパラレルアンサンブル手法の2つの大きなカテゴリに分類されます。シーケンシャルアンサンブル手法は、基本学習者をシーケンスで生成します（例：Adaptive Boosting（AdaBoost））。基本学習者の順次生成は、基本学習者間の依存関係を促進します。次に、以前に不当表示された学習者により高い重みを割り当てることにより、モデルのパフォーマンスが向上します。
で並列アンサンブル技術、基礎学習を並列形式で生成され、例えば、ランダムフォレストランダムフォレストランダムの森は、予測と行動分析のモデル化に使用される技術であると決定木の上に構築されています。ランダムフォレストには、多くの決定木が含まれています。並列メソッドは、基本学習者の並列生成を利用して、基本学習者間の独立性を促進します。基本学習者の独立性により、平均の適用によるエラーが大幅に減少します。
アンサンブル手法の大部分は、基本学習に単一のアルゴリズムを適用します。これにより、すべての基本学習者が均一になります。同種の基本学習者とは、同じタイプで、質が似ている基本学習者を指します。他の方法は、異種の基本学習者を適用し、異種のアンサンブルを生成します。異種の基本学習者は、異なるタイプの学習者です。
アンサンブル手法の主なタイプ
1.バギング
バギング（ブートストラップ集約の短縮形）は、主に分類と回帰に適用されます。回帰分析回帰分析は、従属変数と1つ以上の独立変数の間の関係の推定に使用される統計手法のセットです。これは、変数間の関係の強さを評価し、変数間の将来の関係をモデル化するために利用できます。 。デシジョンツリーを使用することでモデルの精度が向上し、分散が大幅に減少します。分散を減らすと精度が向上するため、多くの予測モデルで課題となる過剰適合がなくなります。
バギングは、ブートストラップと集約の2つのタイプに分類されます。ブートストラップは、置換手順を使用して母集団全体（セット）からサンプルを取得するサンプリング手法です。置換法によるサンプリングは、選択手順をランダム化するのに役立ちます。基本学習アルゴリズムは、手順を完了するためにサンプルで実行されます。
バギングの集計は、予測のすべての可能な結果を組み込み、結果をランダム化するために行われます。集計がないと、すべての結果が考慮されないため、予測は正確になりません。したがって、集計は、確率ブートストラップ手順に基づいているか、予測モデルのすべての結果に基づいています。
弱塩基学習者が組み合わされて、単一の学習者よりも安定した単一の強い学習者を形成するため、バギングは有利です。また、分散を排除し、それによってモデルの過剰適合を減らします。バギングの制限の1つは、計算コストが高いことです。したがって、バギングの適切な手順を無視すると、モデルのバイアスが大きくなる可能性があります。
2.ブースト
ブースティングは、以前の予測子の間違いから学習して、将来のより良い予測を行うためのアンサンブル手法です。この手法は、複数の弱塩基学習者を組み合わせて1つの強力な学習者を形成するため、モデルの予測可能性が大幅に向上します。ブーストは、弱い学習者をシーケンス内に配置することによって機能します。これにより、弱い学習者はシーケンス内の次の学習者から学習して、より良い予測モデルを作成します。
ブースティングには、勾配ブースティング、適応ブースティング（AdaBoost）、XGBoost（極端な勾配ブースティング）など、さまざまな形式があります。 AdaBoostは、意思決定ツリーの形式である弱い学習者を利用します。これには、一般に意思決定の切り株として知られている1つの分割が含まれます。 AdaBoostの主な決定の切り株は、同様の重みを持つ観測値で構成されています。
勾配ブースティング勾配ブースティング勾配ブースティングは、予測用のモデルを作成する際に使用される手法です。この手法は、主に回帰および分類手順で使用されます。アンサンブルに予測子を順番に追加します。先行する予測子は後続の予測子を修正し、それによってモデルの精度を高めます。新しい予測子は、以前の予測子のエラーの影響に対抗するのに適しています。最急降下法は、学習者の予測における問題を特定し、それに応じてそれらに対抗する際に勾配ブースターを支援します。
XGBoostは、勾配が強化された決定木を利用して、速度とパフォーマンスを向上させます。これは、計算速度とターゲットモデルのパフォーマンスに大きく依存します。モデルのトレーニングはシーケンスに従う必要があるため、勾配ブーストされたマシンの実装は遅くなります。
3.スタッキング
別のアンサンブル手法であるスタッキングは、スタック一般化と呼ばれることがよくあります。この手法は、トレーニングアルゴリズムが他のいくつかの同様の学習アルゴリズム予測をアンサンブルできるようにすることで機能します。スタッキングは、回帰、密度推定、遠隔教育、および分類で正常に実装されています。また、バギング中に発生するエラー率を測定するためにも使用できます。
分散の減少
アンサンブル法は、モデルの分散を減らし、それによって予測の精度を高めるのに理想的です。複数のモデルを組み合わせて、組み合わせたモデルからの他のすべての可能な予測から選択される単一の予測を形成すると、分散が排除されます。モデルのアンサンブルは、さまざまなモデルを組み合わせて、すべての予測の考慮に基づいて、結果の予測が可能な限り最良であることを保証する行為です。
追加リソース
ファイナンスは、グローバルなCertified Banking＆Credit Analyst（CBCA）™CBCA™認定の公式プロバイダーです。CertifiedBanking＆Credit Analyst（CBCA）™認定は、ファイナンス、アカウンティング、クレジット分析、キャッシュフロー分析をカバーするクレジットアナリストのグローバルスタンダードです。 、コベナンツモデリング、ローン返済など。誰もが世界クラスの金融アナリストになるのを支援するように設計された認定プログラム。あなたのキャリアを前進させ続けるために、以下の追加の財務リソースが役に立ちます：
- Elastic Net Elastic Net Elastic Netは、ラッソとリッジの両方の手法からのペナルティを線形的に使用して、回帰モデルを正規化します。このテクニックは、ラッソと
- 過剰適合過剰適合過剰適合は、関数が特定のデータセットにあまりにも密接に対応している場合に発生するモデリングエラーを指す統計で使用される用語です。
- スケーラビリティスケーラビリティスケーラビリティは、財務戦略とビジネス戦略の両方のコンテキストに該当する可能性があります。どちらの場合も、それはエンティティの圧力に耐える能力を表します
- なりすましのなりすましのなりすましは、先物契約の買いまたは売りの申し出を行い、取引の実行前に入札または申し出をキャンセルすることを含む、破壊的なアルゴリズム取引慣行です。この慣行は、市場における需要の誤ったイメージまたは誤った悲観論を作成することを目的としています。