Die EndoCV2021 Challenge befasst sich mit der Generalisierbarkeit von Polypenerkennungs- und Segmentierungsaufgaben in Endoskopiebildern. Die Challenge beinhaltete zwei Modalitäten (WL und NBI) von sechs verschiedenen Zentren, mit sowohl Sequenz- als auch Nicht-Sequenzbildern. Der Datensatz umfasst 3242 WL-Bilder aus fünf Zentren für das Training. Die Testdaten umfassen ungenutzte Modalität, Einzelbilder aus einem unbekannten Zentrum und Sequenzbilder aus gemischten Zentren sowie unbekannte Zentrum-Sequenzbilder. Es wurden insgesamt 777 Frames verwendet, wobei die Daten 3 als Basisdatensatz ausgewählt wurden, um die Generalisierbarkeit der Methoden zu bewerten. Die Herausforderung beinhaltete auch die Segmentierung der Polypen in unterschiedliche Größenkategorien, Null, klein, mittel und groß, sowohl im Trainings- als auch im Testset.
Der Annotationsprozess wurde von einem Team erfahrener Forscher durchgeführt, wobei Qualitätschecks durchgeführt wurden. Es wurden klare Richtlinien für die manuelle Annotation von Polypen festgelegt, um genauere Segmentierungen zu gewährleisten. Polypenerkennung und Pixel-Ebene Segmentierung wurden als Aufgaben der EndoCV2021 Challenge festgelegt. Die Teams haben verschiedene Modelle und Ansätze für die Erkennung und Segmentierung von Polypen entwickelt. Die Top-Teams verwendeten unterschiedliche Deep-Learning-Methoden für ihre Modelle, um eine hohe Erkennungsgenauigkeit und Segmentierungsleistung zu erzielen. Die Bewertung der Methoden erfolgte anhand von Standard- und neu entwickelten Generalisierungsmetriken, um die Leistung auf verschiedenen Datensätzen zu vergleichen.
Für die Polypendetektion wurden Metriken wie Durchschnittsgenauigkeit (AP) und Übereinstimmung-über-Union (IoU) verwendet. Für die Polypensegmentierung wurden Metriken wie Sørensen-Dice Koeffizient, Jaccard-Koeffizient, Genauigkeit, Rückruf und F2-Score berechnet. Das Laufzeitverhalten der Algorithmen wurde auch im Hinblick auf Effizienz bewertet. Generalisierbarkeits-Scores wurden berechnet, um die Stabilität und Leistung der Methoden auf verschiedenen Datensätzen zu vergleichen. Die Challenge bestand aus drei Runden, wobei die Teilnehmer ihre Modelle auf einem Testdaten-Set ausführen mussten und basierend auf Metriken bewertet wurden, um die besten Teams in den Kategorien Erkennung und Segmentierung zu ermitteln. Die Datensammlung und -verarbeitung erfolgte unter strikter Einhaltung ethischer Richtlinien und Datenschutzbestimmungen, um die Rechte und das Wohlergehen der Patienten zu schützen.