Ensemble Methods

Ensemble Methods sind Machine-Learning-Techniken, die die Vorhersagen mehrerer Basismodelle kombinieren, um eine finale Vorhersage zu erzeugen, die typischerweise genauer und stabiler ist als jedes einzelne Modell. Das grundlegende Prinzip besteht darin, dass unterschiedliche Modelle verschiedene Fehler machen und sich ihre individuellen Schwächen beim Kombinieren ausgleichen. Ensembles funktionieren, weil sie die Varianz reduzieren (Ausmitteln von Rauschen), den Bias verringern können (Kombination schwacher Lerner zu einem starken Lerner) und die Robustheit gegenüber Ausreißern und Dateneigenheiten verbessern.

Bagging (Bootstrap Aggregating) trainiert mehrere Modelle auf unterschiedlichen zufälligen Teilmengen der Trainingsdaten und mittelt deren Vorhersagen. Random ForestRandom ForestRandom Forest is an ensemble machine learning method that builds multiple decision trees during training and merges t... ist die prominenteste Bagging-Methode in geospatialen Anwendungen. Boosting trainiert Modelle sequenziell, wobei sich jedes neue Modell auf die Fehler der vorherigen Modelle konzentriert. Gradient BoostingGradient BoostingGradient Boosting is a sequential ensemble learning technique that builds models iteratively, with each new model cor... und XGBoostXGBoostXGBoost (Extreme Gradient Boosting) is an optimized, scalable implementation of gradient boosting that delivers high ... werden häufig für tabellarische geospatiale Vorhersageaufgaben eingesetzt. Stacking trainiert ein Meta-Modell, das die Ausgaben verschiedener Basismodelle kombiniert und dabei die optimale Gewichtung des Beitrags jedes Modells lernt. Model Averaging mittelt schlicht die Vorhersagen unabhängig trainierter Modelle und wird häufig im Deep Learning für die Analyse von Satellitenbildern verwendet, wo mehrere CNNs oder TransformerTransformerThe Transformer is an attention-based neural network architecture that processes entire sequences in parallel, enabli... für eine verbesserte Segmentierungsgenauigkeit kombiniert werden.

Ensembles liefern auf natürliche Weise Unsicherheitsschätzungen: Die Streuung der Vorhersagen zwischen den Ensemble-Mitgliedern zeigt das Vertrauen an, wobei eine größere Streuung auf eine höhere Unsicherheit hindeutet. Dies ist besonders wertvoll für geospatiale Anwendungen, bei denen das Erkennen unsicherer Vorhersagen hilft, Gebiete für manuelle Überprüfung oder zusätzliche Datenerhebung zu priorisieren. Multi-Model-Ensembles, die unterschiedliche Architekturen kombinieren (zum Beispiel CNN plus TransformerTransformerThe Transformer is an attention-based neural network architecture that processes entire sequences in parallel, enabli...), erfassen komplementäre Aspekte von Satellitenbildern. Geografische Vielfalt beim Ensemble-Training, bei dem unterschiedliche Modelle auf Daten aus verschiedenen Regionen trainiert werden, kann die globale Generalisierung verbessern.