HyperKvasir, un multi complet

Données scientifiques volume 7, Numéro d'article : 283 (2020) Citer cet article

22 000 accès

109 Citations

48 Altmétrique

Détails des métriques

L'intelligence artificielle est actuellement un sujet brûlant en médecine. Cependant, les données médicales sont souvent rares et difficiles à obtenir en raison des restrictions légales et du manque de personnel médical pour le processus lourd et fastidieux d'étiquetage manuel des données de formation. Ces contraintes rendent difficile le développement de systèmes d'analyse automatique, comme la détection de maladies ou d'autres lésions. À cet égard, cet article présente HyperKvasir, le plus grand ensemble de données d'images et de vidéos du tractus gastro-intestinal disponible aujourd'hui. Les données sont recueillies lors d'examens gastro- et coloscopie réels à l'hôpital de Bærum en Norvège et en partie étiquetées par des endoscopistes gastro-intestinaux expérimentés. L'ensemble de données contient 110 079 images et 374 vidéos, et représente des repères anatomiques ainsi que des résultats pathologiques et normaux. Le nombre total d'images et de trames vidéo est d'environ 1 million. Les premières expériences démontrent les avantages potentiels des systèmes de diagnostic assistés par ordinateur basés sur l'intelligence artificielle. L'ensemble de données HyperKvasir peut jouer un rôle précieux dans le développement de meilleurs algorithmes et systèmes d'examen assistés par ordinateur, non seulement pour la gastro- et la coloscopie, mais également pour d'autres domaines de la médecine.

Des mesures)

lumière du tube digestif • lumière du côlon

Type(s) de technologie

Endoscopie gastro-intestinale • Coloscopie

Caractéristique de l'échantillon - Organisme

Un homme sage

Fichier de métadonnées accessible par machine décrivant les données rapportées : https://doi.org/10.6084/m9.figshare.12759833

Le tractus gastro-intestinal (GI) humain est sujet à de nombreuses découvertes muqueuses anormales différentes allant de désagréments mineurs à des maladies hautement mortelles. Par exemple, selon le Centre international de recherche sur le cancer (https://gco.iarc.fr/today/fact-sheets-cancers), l'agence spécialisée dans le cancer de l'Organisation mondiale de la santé (OMS), le cancer gastro-intestinal représente environ 3,5 millions de nouveaux cas chaque année dans le monde. Ces types de cancer ont généralement une mortalité combinée d'environ 63 % et 2,2 millions de décès par an1,2,3.

L'endoscopie est actuellement la procédure de référence pour l'examen du tractus gastro-intestinal, mais son efficacité est considérablement limitée par la variation des performances de l'opérateur4,5,6. Cela provoque, par exemple, un taux moyen de polypes manqués de 20 % dans le côlon7. Ainsi, l'amélioration des performances endoscopiques, des examens cliniques de haute qualité et un dépistage systématique sont des facteurs importants pour prévenir la morbidité et les décès liés aux maladies gastro-intestinales. L'essor récent des systèmes de soutien basés sur l'intelligence artificielle (IA) s'est révélé prometteur en donnant aux professionnels de la santé les outils nécessaires pour fournir des soins de qualité à grande échelle8,9. Le cœur d'un système efficace basé sur l'IA est la combinaison de données de qualité et d'algorithmes qui enseignent à un modèle de résoudre des problèmes du monde réel comme la détection de lésions précancéreuses ou de cancers dans des images. Les systèmes basés sur l'IA d'aujourd'hui utilisent principalement un sous-domaine de l'IA appelé apprentissage automatique (ML), qui nécessite généralement une formation sur des milliers d'échantillons de données pour bien performer sur une tâche donnée. Cependant, les données sur la santé sont souvent rares et difficiles à obtenir en raison de contraintes juridiques et de problèmes structurels dans la collecte des données. Néanmoins, un nombre croissant de solutions d'IA prometteuses destinées au diagnostic en endoscopie10,11,12,13,14,15,16,17 sont en cours de développement. Les ensembles de données utilisés pour ces systèmes, comme CVC18,19 et la base de données de polypes ASU-Mayo20, sont plutôt petits dans le contexte de la recherche ML. Dans d'autres domaines ML non médicaux, des ensembles de données tels que ImageNet21 se composent de 14 millions d'images. Le tableau 1 donne un aperçu de tous, à notre connaissance, les ensembles de données existants d'images et de vidéos du tractus gastro-intestinal humain. Comme on peut l'observer, ils sont plutôt petits, et souvent limités à des polypes. Plusieurs d'entre eux sont également devenus indisponibles récemment.

Les images et les vidéos d'HyperKvasir ont été collectées de manière prospective à partir d'examens cliniques de routine effectués dans un hôpital norvégien de 2008 à 2016. Nous avons récupéré les images de la base de données de documentation d'images Picsara (CSAM, Norvège), un plug-in du système de dossier médical électronique, en 2016. Dans un premier temps, 4 000 de ces images ont été étiquetées en huit classes différentes par des experts médicaux et publiées sous le nom d'ensemble de données Kvasir22. L'ensemble de données a ensuite été étendu à 8 000 images. À l'aide de Kvasir, des chercheurs du monde entier ont commencé à développer différents modèles ML et systèmes d'IA pour l'endoscopie gastro-intestinale23,24,25,26,27,28,29,30,31,32,33,34,35,36,37,38. De plus, le jeu de données Kvasir a été utilisé pour organiser des compétitions internationales, à savoir la Medico Task à MediaEval en 201739 et 201840 et l'ACM Multimedia 2019 BioMedia Grand Challenge41.

Sur la base des leçons tirées de la publication de l'ensemble de données Kvasir et de l'organisation de concours, il est devenu clair que l'un des plus grands défis de l'IA médicale reste la disponibilité des données. Les données sont difficiles à extraire des systèmes de soins de santé, les approbations des comités médicaux sont difficiles à obtenir, les experts médicaux disposent d'un temps limité et il n'existe aucun outil efficace pour étiqueter ces données. Par conséquent, avec HyperKvasir, nous augmentons considérablement à la fois la quantité de données médicales étiquetées pour l'apprentissage supervisé et publions également une grande quantité de données non étiquetées. Le nouvel ensemble de données contient 110 079 images et 374 vidéos de divers examens gastro-intestinaux, résultant en 1 million d'images et de cadres au total. En ce qui concerne la valeur des données non étiquetées, des travaux récents dans la communauté ML ont montré des améliorations remarquables pour relever le défi du manque de données. Au lieu d'apprendre à partir d'un grand ensemble de données annotées, les algorithmes peuvent désormais apprendre à partir de données peu étiquetées et non étiquetées. Cette technique est connue sous le nom d'apprentissage semi-supervisé et a récemment été appliquée avec succès dans différentes analyses d'images médicales42. Des exemples d'apprentissage semi-supervisé sont l'auto-apprentissage43,44 et l'apprentissage des graphes neuronaux45, qui utilisent tous deux des données non étiquetées en plus d'un petit nombre de données étiquetées pour extraire des informations supplémentaires43,44,46. Nous pensons que ces nouveaux algorithmes pourraient être le développement nécessaire pour rendre l'IA encore plus utile pour les applications médicales. Les données non étiquetées d'HyperKvasir sont destinées à être utilisées dans les communautés médicales et techniques pour explorer des méthodes semi-supervisées et non supervisées, et les utilisateurs des données pourraient même envisager d'employer leurs propres experts locaux pour fournir des étiquettes. Par la suite, en plus de la description des données, nous fournissons une analyse de base à l'aide des classes étiquetées de l'ensemble de données et des orientations de recherche futures réalisables pour les chercheurs intéressés par l'utilisation de l'ensemble de données.

Les données d'image et de vidéo ont été recueillies à l'aide d'un équipement d'endoscopie standard d'Olympus (Olympus Europe, Allemagne) et de Pentax (Pentax Medical Europe, Allemagne) au département de gastroentérologie, hôpital Bærum, Vestre Viken Hospital Trust, Norvège. Vestre Viken fournit des services de soins de santé à 490 000 personnes, dont 189 000 sont couvertes par l'hôpital de Bærum. Certaines parties des données collectées ont été annotées avec des étiquettes de classe et des masques de segmentation. Les annotations ont été effectuées par au moins un gastro-entérologue expérimenté de l'hôpital de Bærum, du registre du cancer de Norvège ou de l'hôpital universitaire de Karolinska en Suède, et une ou plusieurs personnes expérimentées travaillant dans le domaine médical, comme un jeune médecin ou un doctorat. étudiant. Bien que plusieurs médecins aient évalué chaque enregistrement de données étiqueté de l'ensemble de données, il est possible que certaines des évaluations soient biaisées par la variation bien connue des observateurs, en particulier en ce qui concerne les changements subtils tels que l'œsophagite par reflux de bas grade et la colite ulcéreuse. De telles divergences ont été démontrées dans des études antérieures47,48. Pour aborder ce problème plus en détail, nous avons décidé de combiner certains des résultats susceptibles d'être biaisés en une seule classe (des détails sur les classes et les combinaisons peuvent être trouvés dans les descriptions des enregistrements de données). Enfin, un grand nombre d'images non étiquetées sont fournies.

L'étude a été approuvée par l'Autorité norvégienne de protection des données personnelles et exemptée du consentement du patient car les données étaient totalement anonymes. Toutes les métadonnées ont été supprimées et tous les fichiers ont été renommés avec des noms de fichiers générés de manière aléatoire avant que le service informatique interne de l'hôpital de Bærum n'exporte les fichiers à partir d'un serveur central. L'étude a été exemptée de l'approbation du Comité régional d'éthique de la recherche médicale et sanitaire - Norvège du Sud-Est car la collecte des données n'a pas interféré avec les soins prodigués au patient. Étant donné que les données sont anonymes, l'ensemble de données est publiquement partageable sur la base des lois norvégiennes et du règlement général sur la protection des données (RGPD). En dehors de cela, les données n'ont pas été prétraitées ou augmentées de quelque manière que ce soit.

La méthode d'étiquetage des images peut être divisée en trois étapes distinctes. Tout d'abord, des gastro-entérologues expérimentés impliqués dans le projet ont décidé quelles classes devraient être incluses dans le processus d'étiquetage, en fonction de la pertinence médicale et des données collectées. Les classes sélectionnées ont été décrites en détail par des experts médicaux. Deuxièmement, deux jeunes médecins ou Ph.D. les étudiants travaillant sur le terrain ont annoté un sous-ensemble des images aux classes fournies. Une fois cette étape de pré-étiquetage effectuée, les experts médicaux ont vérifié les étiquettes et les ont ajustées si nécessaire. Les cas où aucun consentement n'a pu être trouvé ont été rejetés et remplacés par de nouvelles images de l'ensemble de données. Le premier ensemble de données que nous avons créé consistait en 4 000 images de huit classes22. Cela a ensuite été étendu à 8 000 images pour les mêmes huit classes. Pour HyperKvasir, l'ensemble de données est encore étendu à 10 662 images et 23 classes. Au total, HyperKvasir contient 110 079 images (10 662 images étiquetées et 99 417 images non étiquetées) du tractus gastro-intestinal.

HyperKvasir inclut des images avec des masques de segmentation correspondants et des cadres de délimitation pour 1 000 images de la classe polype. Pour créer les masques de segmentation, nous avons téléchargé 1 000 images de polypes sur la plateforme Labelbox (https://www.labelbox.com/). Labelbox est un outil qui permet un étiquetage au pixel près des régions de l'image. Tout d'abord, un médecin junior et un doctorat. étudiant a pré-segmenté les 1 000 images. Un gastro-entérologue a ensuite examiné toutes les images en vérifiant et en corrigeant les masques de segmentation pré-étiquetés. Une description détaillée du processus d'annotation et un exemple de cas d'utilisation de l'ensemble de données peuvent être trouvés dans49,50.

Pour obtenir les étiquettes par vidéo, nous avons téléchargé les données vidéo sur une plate-forme d'annotation vidéo fournie par Augere Medical AS (Oslo, Norvège). Chaque vidéo a été analysée et étiquetée par un gastro-entérologue expérimenté. Les étiquettes de classe sélectionnées par le gastro-entérologue représentaient le résultat principal de la vidéo aussi précisément que possible. Par exemple, si la vidéo contenait des séquences d'un polype, l'étiquette de cette vidéo serait polype. De plus, il existe des exemples de découvertes multiples dans la même vidéo. Si tel est le cas, ces descriptions et d'autres descriptions plus détaillées sont incluses dans le fichier video-labeling.csv.

L'ensemble de données complet HyperKvasir51, avec toutes ses images, vidéos et métadonnées, est disponible auprès de l'Open Science Framework (OSF) via le lien https://doi.org/10.17605/OSF.IO/MH9SJ. L'ensemble de données est également disponible sur https://datasets.simula.no/hyper-kvasir. HyperKvasir est en libre accès et sous licence Creative Commons Attribution 4.0 International (CC BY 4.0). Au total, l'ensemble de données se compose de quatre enregistrements de données principaux. Les enregistrements sont des images étiquetées, des images segmentées, des images non étiquetées et des vidéos étiquetées. Toutes les différentes classes étiquetées sont représentées sur la Fig. 1, c'est-à-dire 16 classes du tractus gastro-intestinal supérieur (Fig. 1a) et 24 classes du tractus gastro-intestinal inférieur (Fig. 1b). L'ensemble de données a une taille d'environ 66,4 Go (sans compter les fichiers de métadonnées et les masques de segmentation), 32,5 Go pour les vidéos et 33,9 Go pour les images. Un aperçu de tous les enregistrements de données dans l'ensemble de données est donné dans le tableau 2. Certaines images et vidéos contiennent une image dans l'image (vignette verte dans le coin inférieur gauche) qui représente l'Olympus ScopeGuideTM (Olympus Europe, Allemagne), utilisé par l'endoscopiste pour obtenir une vue topographique du côlon. Des détails sur les résolutions d'image et vidéo et les fréquences d'images vidéo peuvent être trouvés dans les Fig. 2 et 3. Les sous-sections suivantes fournissent des détails supplémentaires pour chaque enregistrement de données.

Exemples d'images des différentes classes étiquetées pour les images et/ou les vidéos.

Résolution des 110 079 images dans HyperKvasir.

Statistiques des 374 vidéos de HyperKvasir.

Au total, l'ensemble de données contient 10 662 images étiquetées stockées au format JPEG, où la figure 4 montre les 23 classes différentes représentant les images étiquetées et le nombre d'images dans chaque classe. Un fichier CSV est fourni (image-labels.csv) donnant la correspondance entre l'image (nom du fichier) et l'étiquetage pour chaque image. Ces classes sont structurées en fonction de l'emplacement dans le tractus gastro-intestinal et du type de découverte, comme le montre la figure 5. Nous avons défini quatre catégories principales de découvertes où la première et la troisième se trouvent à la fois dans le tractus gastro-intestinal supérieur et inférieur :

Repères anatomiques : les repères anatomiques sont des caractéristiques du tractus gastro-intestinal utilisé pour l'orientation pendant les procédures endoscopiques. En outre, ils sont utilisés pour confirmer une étendue complète de l'examen. Des repères existent à la fois dans le tractus gastro-intestinal supérieur (œsophage, estomac et duodénum) et dans le tractus gastro-intestinal inférieur (iléon terminal, côlon et rectum). Cependant, dans l'intestin grêle, il n'y a pas de repères spécifiques à utiliser pour la localisation topographique d'une lésion.

Qualité des vues muqueuses : La visualisation complète de toutes les muqueuses est cruciale pour ne pas négliger les résultats pathologiques. Dans le côlon, il existe une classification de la qualité de la visualisation muqueuse, la Boston Bowel Preparation Scale (BBPS)52.

Constatations pathologiques : toutes les parties du tractus gastro-intestinal peuvent être affectées par des anomalies ou des découvertes dues à la maladie. La plupart des découvertes pathologiques peuvent être considérées comme des modifications plus ou moins évidentes de la muqueuse de la paroi intestinale. Ces résultats sont classés selon la terminologie standard minimale, définie par la World Endoscopy Organization53.

Interventions thérapeutiques : lorsqu'une lésion ou un résultat pathologique est détecté, une intervention thérapeutique est souvent nécessaire pour traiter l'affection, par exemple le soulèvement et la résection d'un polype, la dilatation d'une sténose ou l'injection d'un ulcère hémorragique.

Le nombre d'images dans les différentes classes d'images étiquetées HyperKvasir en fonction des dossiers de fichiers.

Les différentes classes d'images structurées selon la position et le type, ainsi que la structure des images stockées.

Chaque classe et les images qui lui appartiennent sont stockées dans le dossier correspondant de la catégorie à laquelle elle appartient. Par exemple, le dossier « polype » dans la catégorie des résultats pathologiques dans le tractus gastro-intestinal inférieur contient toutes les images de polypes, le dossier « barrett » dans la catégorie des résultats pathologiques dans le tractus gastro-intestinal supérieur contient toutes les images de l'œsophage de Barrett, etc. Cela ajoute un défi supplémentaire pour les chercheurs, car les méthodes appliquées aux données doivent également pouvoir apprendre à partir d'une petite quantité de données d'apprentissage. Ci-dessous, nous détaillons chaque classe plus en détail.

Le tractus gastro-intestinal supérieur examiné par endoscopie comprend l'œsophage, l'estomac et le duodénum. Ci-dessous, nous donnons une description des différentes classes de résultats trouvés ici.

Comme le montre la figure 5, nous avons étiqueté trois classes de repères anatomiques dans le tractus gastro-intestinal supérieur. La ligne Z normale est la jonction anatomique entre l'épithélium squameux de l'œsophage et l'épithélium cylindrique de l'estomac. Une ligne Z normale est située au même niveau que la jonction gastro-oesophagienne. Estomac rétroflexe signifie que l'endoscope est rétroflexe, regardant en arrière pour visualiser le cardia et le fond d'œil dans les parties supérieures de l'estomac. Le pylore est la jonction anatomique entre l'estomac et le bulbe duodénal, et un sphincter régulant le processus de vidange de l'estomac dans le duodénum.

Toutes les classes suivantes sont définies comme des découvertes pathologiques dans le tractus gastro-intestinal supérieur. L'œsophagite par reflux est une inflammation affectant principalement le tiers inférieur de l'œsophage, près de la ligne Z. L'œsophagite par reflux peut être graduée selon la classification de Los Angeles (LA)54. La classification de l'œsophagite LA est définie en quatre classes comme (A) des ruptures muqueuses inférieures à 5 mm, sans continuité à travers les plis muqueux où des changements subtils peuvent être difficiles à différencier d'une ligne Z normale ; (B) ruptures muqueuses de plus de 5 mm qui ne s'étendent pas entre les sommets de deux plis muqueux ; (C) une (ou plusieurs) rupture muqueuse qui est continue entre les sommets de deux ou plusieurs plis muqueux, mais qui implique moins de 75 % de la circonférence ; et (D) une (ou plusieurs) rupture muqueuse qui est continue entre les sommets de deux plis muqueux ou plus et implique plus de 75 % de la circonférence. Nous avons divisé l'œsophagite en deux classes car il existe une importante variation d'observateur dans l'évaluation de l'œsophagite de bas grade47. Les deux classes sont l'oesophagite A et l'oesophagite BD. Cette classification binaire des images permet d'évaluer si l'erreur de classification entre normalité et œsophagite ne concerne que le grade A. L'œsophage de Barrett représente une transformation métaplasique de l'épithélium squameux de l'œsophage en un épithélium cylindrique de type gastrique. L'œsophage de Barrett est considéré comme une affection précancéreuse, ce qui signifie qu'il pourrait évoluer en cancer. Des biopsies montrant la présence de métaplasies intestinales spécialisées confirment le diagnostic. L'œsophage de Barrett peut être gradué selon la classification de Prague décrivant l'extension circonférentielle et longitudinale de la maladie55. Nous avons divisé les images de l'œsophage de Barrett en deux classes. Œsophage à segment long de Barrett et œsophage à segment court de Barrett où un segment court est caractérisé par une extension longitudinale inférieure à 3 cm55.

Le tractus gastro-intestinal inférieur examiné par coloscopie comprend l'iléon terminal (dernière partie de l'intestin grêle), le côlon et le rectum (le gros intestin). Ci-dessous, nous décrivons les classes du tractus gastro-intestinal inférieur dans l'ensemble de données.

Nous avons étiqueté trois classes de repères anatomiques dans le tractus gastro-intestinal inférieur. L'iléon est le 2/3 distal de l'intestin grêle, reconnu par des villosités intestinales visibles. En endoscopie, l'iléon ne peut pas être distingué des autres parties de l'intestin grêle. Au cours de la coloscopie, les 5 à 20 cm distaux de l'iléon, appelés iléon terminal, peuvent être atteints et examinés. La visualisation de l'iléon terminal confirme la coloscopie complète. Le caecum est l'extrémité proximale du gros intestin et se caractérise par la visualisation de l'orifice appendiculaire et de la valve iléo-caecale. L'examen complet de l'ensemble du côlon ne peut être confirmé que si la paroi médiale du caecum a été visualisée, c'est-à-dire la zone située entre l'orifice appendiculaire et la valve iléo-caecale. La partie la plus distale du rectum est l'une des zones aveugles du côlon. Par conséquent, l'endoscope est rétroflexé dans le rectum pour visualiser la ligne dentée et la circonférence de l'orifice proximal du canal anal, appelé rectum rétroflexe.

La qualité des vues muqueuses est un indicateur de qualité clé et doit toujours être évaluée car un intestin propre est essentiel pour détecter les signes pathologiques. À cet égard, le degré de nettoyage intestinal au cours d'une coloscopie est décrit par la Boston Bowel Preparation Scale (BBPS)56. BBPS se compose de quatre degrés différents qui sont : (BBPS 0) segment du côlon non préparé sans muqueuse visible en raison de selles solides qui ne peuvent pas être éliminées ; (BBPS 1) parties de la muqueuse du segment du côlon vues, mais d'autres zones du segment du côlon ne sont pas bien vues en raison de la coloration, des selles résiduelles et/ou du liquide opaque ; (BBPS 2) quantité mineure de petits fragments de selles et/ou de liquide opaque, mais la muqueuse du segment du côlon est bien vue ; et (BBPS 3) muqueuse entière du segment du côlon bien vue sans fragments résiduels de selles ou de liquide opaque. Le nettoyage intestinal est jugé adéquat si le score BBPS est de 2 ou 3 dans les trois segments du côlon après le rinçage. Par conséquent, nous avons étiqueté nos images dans les deux classes BBPS 0-1 et BBPS 2-3 où la classe 0–1 représente des préparations intestinales inadéquates et la classe 2–3 représente une préparation intestinale adéquate. De plus, on trouve fréquemment chez les personnes de plus de 50 ans des poches dans la paroi du côlon appelées diverticules et, si elles sont nombreuses, appelées diverticulose. Parfois, les selles sont impactées dans ces diverticules et peuvent augmenter le risque de diverticulite. Dans l'ensemble de données, cela est présenté dans la classe des selles impactées.

Les classes suivantes sont définies comme des résultats pathologiques dans le tractus gastro-intestinal inférieur. La colite ulcéreuse est une maladie intestinale inflammatoire chronique qui débute souvent dans la vingtaine. Le degré et l'étendue de la maladie sont déterminés par coloscopie et peuvent être classés selon le score Mayo57. Le score Mayo pour la rectocolite hémorragique est défini : (Score 0) inactif, où la muqueuse n'a que des schémas vasculaires normaux ; (Score 1) léger avec érythème, diminution du schéma vasculaire, légère friabilité ; (Score 2) modérée avec érythème, absence de schéma vasculaire, légère friabilité, érosions ; et (Score 3) sévère avec saignements spontanés et ulcérations. Pour la colite ulcéreuse, nous fournissons six classes étiquetées différentes, à la fois les classes Mayo Score (colite ulcéreuse 1/2/3) et certaines classes intermédiaires où il est difficile de déterminer la classe exacte et parce que des études antérieures ont montré une importante variation d'observateur dans l'évaluation du degré d'inflammation (colite ulcéreuse 0-1/1-2/2-3)48. Les polypes sont le plus souvent des lésions néoplasiques du gros intestin. Ils ont principalement trois formes différentes; saillant dans la lumière, plat ou creusé selon la classification de Paris58. Leur taille varie de 1 mm à plusieurs cm. La prévalence augmente avec l'âge. Les types de polypes les plus courants sont précancéreux et peuvent se transformer en cancer. Ainsi, il est important de découvrir les polypes et de retirer les polypes suspects lors de l'endoscopie. Les hémorroïdes sont des veines gonflées pathologiquement dans l'anus ou le rectum inférieur. Lorsqu'elles sont présentes dans le rectum, elles sont appelées hémorroïdes internes, et lorsqu'elles se trouvent dans l'anus, elles sont appelées hémorroïdes externes.

Enfin, les interventions thérapeutiques montrent les traitements des résultats pathologiques détectés. Il comprend par exemple le soulèvement et l'élimination des tissus néoplasiques (polypes) et la thérapie par injection de l'ulcère hémorragique. La classe des polypes levés colorés contient des images de polypes levés par injection sous-muqueuse à l'aide d'une solution contenant du carmin d'indigo. Ceci est fait avant la résection du polype pour un meilleur diagnostic et une résection plus facile. Le colorant est reconnu par la couleur bleue sous le polype. Après résection de polypes teints avec un collet, les marges et le site de résection apparaissent bleus en raison de la solution d'indigo carmin. Les images de ce type de marge de résection sont présentées dans la classe des marges de résection colorées.

Pour l'ensemble des images segmentées, nous fournissons l'image originale, un masque de segmentation et une boîte englobante pour 1 000 images de la classe polype. Dans le masque, les pixels représentant le tissu polype, la région d'intérêt, sont représentés par le premier plan (masque blanc), tandis que l'arrière-plan (en noir) ne contient pas de pixels polypes. La boîte englobante est définie comme les pixels les plus externes du polype trouvé. Pour cet ensemble de segmentation, nous avons deux dossiers, un pour les images et un pour les masques, contenant chacun 1 000 images compressées en JPEG. Les cadres de délimitation des images correspondantes sont stockés dans un fichier JavaScript Object Notation (JSON). L'image et son masque correspondant portent le même nom de fichier. Les images et les fichiers sont stockés dans le dossier des images segmentées. Il est important de souligner que les images de la classe polype du jeu de données Kvasir avaient des doublons dans le dossier images. Ces doublons ont été remplacés par des images de polypes de haute qualité du côlon et segmentés.

Au total, l'ensemble de données contient 99 417 images non étiquetées. Les images sans étiquette se trouvent dans le dossier sans étiquette qui est un sous-dossier du dossier d'images, avec les autres dossiers d'images étiquetées. En plus des fichiers image non étiquetés, nous fournissons également les fonctionnalités globales extraites et les éventuelles affectations de clustering non supervisées dans le référentiel HyperKvasir Github sous forme de fichiers ARFF (Attribute-Relation File Format). Les fichiers ARFF peuvent être ouverts et traités à l'aide, par exemple, de la bibliothèque d'apprentissage automatique WEKA, ou ils peuvent facilement être convertis en fichiers de valeurs séparées par des virgules (CSV).

Les vidéos labellisées sont enregistrées à des fins cliniques et représentent ainsi la pratique quotidienne. Au total, 374 vidéos sont fournies dans le jeu de données, ce qui correspond à 9,78 heures de vidéos et 889 372 images vidéo pouvant être converties en images si nécessaire. Au total, un gastro-entérologue expérimenté a identifié 30 classes de résultats, et la figure 6 montre le nombre de vidéos que nous avons identifiées pour chaque classe. La classe décrit la vidéo dans son ensemble en utilisant la découverte principale, mais en outre, de nombreuses vidéos incluent plus d'une catégorie et plusieurs classes où, par exemple, une seule vidéo peut contenir des polypes, des polypes teints et des marges de résection colorées. Le format de fichier vidéo est Audio Video Interleave (AVI), et ils sont stockés dans le dossier appelé vidéos étiquetées. Comme on le voit sur la figure 7, les vidéos sont en outre organisées et stockées en fonction du tractus gastro-intestinal supérieur ou inférieur, puis des quatre catégories principales comme pour les images étiquetées décrites ci-dessus. En plus des fichiers vidéo, un fichier CSV est fourni (video-labels.csv) contenant l'ID vidéo et l'étiquetage des vidéos. Ici, le VideoID contient le nom du fichier vidéo correspondant et l'étiquetage comprend l'emplacement supérieur ou inférieur, la catégorie et la classe avec des descriptions détaillées de la vidéo. Ci-dessous, nous décrivons les nouvelles classes par catégorie pour les 60 vidéos au total du tractus gastro-intestinal supérieur et les 60 vidéos du tractus gastro-intestinal inférieur.

Le nombre de vidéos dans les différentes classes vidéo étiquetées HyperKvasir en fonction des dossiers de fichiers.

Les différentes classes vidéo structurées par position et type, qui est également la structure des dossiers vidéo.

Comme le montre la Fig. 7, nous avons plusieurs des mêmes classes pour les vidéos et pour les images, mais puisque nous avons étiqueté toutes nos vidéos, plus de classes sont ajoutées pour le tractus gastro-intestinal supérieur et inférieur. Dans le tractus gastro-intestinal supérieur, les trois classes de repères anatomiques (ligne Z, pylore et estomac Retroflex) sont décrites dans la section des images étiquetées ci-dessus. Dans la catégorie des découvertes pathologiques, l'œsophage et l'œsophagite de Barrett sont également décrits ci-dessus, mais nous avons également ajouté ici de nouvelles classes. Le premier concerne les polypes où la description ci-dessus des polypes dans le côlon est également valable pour le tractus gastro-intestinal supérieur. De plus, cinq nouvelles classes non décrites précédemment sont incluses. Les ulcères des muqueuses sont assez fréquents dans le tractus gastro-intestinal supérieur. Les ulcères sont presque toujours causés par une infection à Helicobacter pylori, des médicaments ulcérogènes ou un cancer. Les ulcères sont caractérisés selon la classification de Forrest pour prédire le risque de saignement59. Forrest I représente un saignement continu, Forrest II présente quelques signes de saignement antérieur ; et Forrest III ne montre aucun signe de saignement. La deuxième classe d'ectasie vasculaire antrale gastrique (GAVE) représente de petits vaisseaux superficiels dilatés dans la muqueuse de l'antre gastrique. Ces lésions peuvent provoquer des saignements chroniques et une anémie subséquente et sont fréquemment traitées par coagulation au plasma d'argon (APC) pour prévenir d'autres saignements. Les varices (veines dilatées) dans l'œsophage et le fond de l'estomac sont le plus souvent causées par des maladies chroniques du foie compliquées d'une cirrhose du foie. Les varices représentent un risque majeur d'hémorragie sévère. Les cancers de l'œsophage et de l'estomac sont fréquents dans le tractus gastro-intestinal supérieur. La dernière classe d'anneaux gastriques perforés montre une découverte rare, qui est la complication d'une précédente opération d'anneau gastrique où l'anneau perfore la paroi de l'estomac. La catégorie des interventions thérapeutiques est introduite pour le tractus gastro-intestinal supérieur, en particulier parce qu'elles sont presque toujours mieux illustrées par des vidéos et peuvent également servir à des fins éducatives importantes. Étant donné que la plupart des interventions thérapeutiques sont présentées comme secondaires à une découverte pathologique, nous n'incluons que la choléangio-pancréatographie rétrograde endoscopique (CPRE), une procédure pour traiter les anomalies du canal biliaire en tant que classe indépendante. Cependant, d'autres interventions thérapeutiques courantes telles que les deux méthodes thermiques ; APC et heatherprobe ainsi que la thérapie par injection d'adrénaline et l'application d'hémospray pour arrêter le saignement peuvent être trouvés sous les deuxièmes résultats dans le fichier csv. Dans la catégorie qualité de la vue muqueuse, nous avons également ajouté une séquence montrant une vue réduite due à un liquide opaque dans l'estomac ou à des bulles d'air dans le duodénum. Une vue réduite augmente le risque de lésions manquantes. En revanche, la vue optimale démontre une excellente visualisation du duodénum.

Les vidéos du tractus gastro-intestinal inférieur illustrent principalement les mêmes catégories et classes que les images étiquetées. Néanmoins, ils augmentent la diversité du jeu de données. La catégorie des repères anatomiques diffère des images étiquetées car elle ne contient que la classe du caecum et n'inclut pas les classes de l'iléon terminal et du rectum rétroflexe, uniquement définis comme des résultats secondaires. Les deux catégories découvertes pathologiques et intervention thérapeutique sont également un peu différentes par rapport aux images étiquetées. Dans la catégorie des résultats pathologiques, nous avons toujours les classes de polypes et d'hémorroïdes décrites ci-dessus. Cependant, toutes les classes de colite ulcéreuse sont fusionnées avec la colite et comprennent également la colite ischémique et la colite infectieuse. La nouvelle classe du cancer colorectal, le deuxième cancer le plus mortel au monde60, a été ajoutée. Le cancer colorectal peut se présenter de différentes manières dans le côlon, allant de minuscules lésions d'un diamètre de 1 cm à des tumeurs plus grosses obstruant toute la lumière de l'intestin et recouvrant des segments intestinaux de plusieurs centimètres. De plus, les parasites, une découverte courante de petits vers se déplaçant dans le côlon, sont plus souvent rencontrés dans les zones tropicales. La sténose est caractérisée par une obstruction étroite de l'intestin causée soit par une inflammation, soit par des maladies malignes. Les grandes lésions néoplasiques comme les cancers sont réséquées chirurgicalement et par la suite une anastomose est réalisée pour rétablir la fonction intestinale normale. L'anastomose peut être visualisée lors des coloscopies de contrôle. Une complication redoutée après une chirurgie du gros intestin est la fuite anastomotique, qui peut provoquer des cavités plus ou moins grandes de fuite anastomotique, en particulier dans le rectum. Les interventions thérapeutiques endoscopiques mini-invasives de la dernière décennie ont en quelque sorte remplacé la chirurgie traditionnelle et laparoscopique concernant le traitement des gros polypes et de la sténose du côlon. Les classes de polypes levés teints et de marge de résection teintée sont décrites sous des images étiquetées mais des vidéos améliorent l'illustration de la technique. Trois nouvelles classes sont présentées montrant l'ablation des polypes par simple résection au collet ou résection endoscopique de la muqueuse (EMR). Pour prévenir ou arrêter les saignements après ces résections, le placement des clips métalliques est illustré. Les stents auto-expansibles sont utilisés pour ouvrir et dilater les sténoses bénignes ou malignes. Enfin, dans la catégorie qualité des vues muqueuses, nous avons supprimé la classe de selles impactées que nous avons pour les images, et n'incluons que les classes BBPS 0-1 et BBPS 2-3 décrites ci-dessus. Ici, il convient également de noter que de nombreuses vidéos dans BBPS 2-3 sont parfaitement propres (BBPS 3), c'est-à-dire que, comme décrit ensuite dans le fichier csv, elles contiennent des vidéos de muqueuse normale (également marquées comme constatation 2) qui peuvent être extraites en images ou vidéos normales si nécessaire.

Pour démontrer la qualité technique de l'ensemble de données, nous avons effectué plusieurs expériences afin de fournir des mesures de base et de donner un aperçu des qualités statistiques de l'ensemble de données. Si le lecteur souhaite obtenir des informations sur les approches de classification et de segmentation et les expériences comparant des méthodes de pointe utilisant des parties de cet ensemble de données, le lecteur est renvoyé à d'autres études49.

L'ensemble de données présenté est adapté à une variété de tâches différentes, dont l'une est la classification d'images. Comme étape préliminaire pour évaluer les performances des méthodes de pointe sur la partie étiquetée d'HyperKvasir, nous avons effectué une série d'expériences basées sur des méthodes qui ont déjà obtenu de bons résultats sur la classification des images du tractus gastro-intestinal. Le but de ces expériences est simplement de donner des exemples de résultats de base à utiliser par de futures recherches pour comparer et mesurer leurs résultats. Au total, nous avons mené cinq expériences en utilisant différentes méthodes. Les méthodes ont été principalement sélectionnées parmi les méthodes les plus performantes présentées lors de la MediaEval Medico Task39,40. Chaque méthode est basée sur des réseaux de neurones à convolution profonde, qui sont actuellement à la pointe de la technologie en matière de classification d'images. Le point commun à toutes les expériences est que les images ont été redimensionnées à 224 × 224 avant d'être introduites dans les réseaux. Tous les réseaux sont basés sur des architectures communes, légèrement modifiées pour s'adapter à notre tâche de classification de 23 classes d'images différentes. Les spécificités de chaque méthode sont expliquées plus en détail ci-dessous :

ResNet-50 pré-formé est une implémentation TensorFlow de l'architecture ResNet-50 utilisant des poids initialisés ImageNet. Le réseau a été formé en deux étapes. Tout d'abord, un entraînement initial sur 7 époques, puis une étape de réglage fin sur 3 époques qui n'entraînait les couches qu'après le 100e indice. Les images ont été chargées en utilisant une taille de lot de 32, et les poids ont été optimisés en utilisant Adam avec un taux d'apprentissage de 0,001.

ResNet-152 pré-formé est une implémentation PyTorch de l'architecture ResNet-152 utilisant des poids initialisés ImageNet. Le réseau a été formé sur 50 époques à l'aide d'une taille de lot de 32 et optimisé à l'aide de la descente de gradient stochastique (SGD) avec un taux d'apprentissage de 0,001. Aucun réglage fin n'a été utilisé pour cette méthode.

DenseNet-161 pré-formé est une implémentation PyTorch de l'architecture DenseNet-161 standard utilisant des poids initialisés ImageNet. Le réseau a été formé sur 50 époques en utilisant une taille de lot de 32 et optimisé à l'aide de SGD avec un taux d'apprentissage de 0,001. Aucun réglage fin n'a été utilisé pour cette méthode.

Moyenné ResNet-152 + DenseNet-16138,61 est une approche qui combine les approches ResNet-152 et DenseNet-161 en faisant la moyenne de la sortie des deux modèles comme prédiction finale. Les deux modèles ont été formés simultanément en rétropropageant la perte moyenne à travers les deux modèles. Dans l'ensemble, les réseaux ont été formés pendant 50 époques en utilisant une taille de lot de 32. SGD a été utilisé pour optimiser les poids avec un taux d'apprentissage de 0,001. Les modèles ResNet-152 et DenseNet-161 ont été initialisés en utilisant les meilleurs poids des implémentations ResNet-152 pré-formées et DenseNet-161 pré-formées ci-dessus.

ResNet-152 + DenseNet-161 + MLP38,61 est similaire à la méthode précédente utilisant à la fois ResNet-152 et DenseNet-161 pour générer une prédiction. Cependant, au lieu de faire la moyenne de la sortie de chaque modèle, cette méthode utilise un simple perceptron multicouche (MLP) pour estimer la meilleure façon de faire la moyenne de la sortie de chaque modèle. Tous les réseaux ont été formés simultanément sur 50 époques en utilisant une taille de lot de 32. Les poids ont été optimisés en utilisant SGD avec un taux d'apprentissage de 0,001. Les modèles ResNet-152 et DenseNet-161 ont été initialisés en utilisant les meilleurs poids des deux implémentations ci-dessus de ResNet-152 pré-formé et de DenseNet-161 pré-formé.

Chaque méthode a été évaluée à l'aide de métriques de classification standard, notamment le score F1 macro-moyenne et micro-moyenne, la précision et le rappel. De plus, nous avons calculé le coefficient de corrélation de Matthews (MCC) pour chaque expérience en utilisant la généralisation multi-classes également connue sous le nom de RK. Les résultats du tableau 3 montrent que chaque méthode bat la ligne de base de la classe aléatoire et majoritaire par une large marge. Cependant, les chiffres présentés indiquent également qu'il y a place à l'amélioration. En regardant les matrices de confusion de la figure 8, nous voyons que certaines classes sont plus difficiles à identifier que d'autres. Par exemple, il y a beaucoup de confusion autour de la différence entre les grades de colite ulcéreuse et d'œsophagite. En outre, il existe également une certaine confusion entre des classes spécifiques telles que les polypes levés teints et les marges de résection teintées, et la distinction entre la maladie de Barrett et l'œsophagite ou une ligne Z normale. Au moins la confusion entre les classes de la ligne Z, de l'œsophagite et de l'œsophage de Barrett est similaire à la variation humaine dans l'évaluation de ces lésions. Il est donc difficile de créer une vérité de terrain.

Matrices de confusion pour ResNet-152 moyenné + DenseNet-161 et DenseNet-161 pré-formé incluant les deux fractionnements. Ces matrices de confusion ont été sélectionnées en fonction de leurs performances. Le ResNet-152 moyen + DenseNet-161 a obtenu les meilleurs résultats micro-moyennés tandis que le DenseNet-161 pré-formé a obtenu le meilleur résultat macro-moyenné. Les codes de couleur représentent les pourcentages du nombre total d'images dans chaque classe. L'étiquetage des classes est le suivant : (A) Barrett's ; (B) bbps-0-1 ; (C) bbps-2-3; (D) polypes levés teints; (E) marges de résection teintées ; (F) hémorroïdes ; (G) iléon ; (H) selles impactées ; (I) caecum normal ; (J) pylore normal ; (K) ligne Z normale ; (L) oesophagite-a ; (M) œsophagite-bd ; (N) polype ; (O) rectum rétroflexe ; (P) estomac rétroflexe ; (Q) segment court de Barrett ; (R) colite ulcéreuse de grade 0-1 ; (S) colite ulcéreuse de grade 1-2 ; (T) colite ulcéreuse de grade 2-3 ; (U) colite ulcéreuse de grade 1 ; (V) colite ulcéreuse de grade 2 ; (W) colite ulcéreuse de grade 3.

Afin de montrer la composition approximative des données non étiquetées, nous présentons quelques expériences initiales pour analyser les données fournies qui n'ont pas d'étiquettes annotées d'experts médicaux. Nous avons utilisé notre modèle de classification pré-formé pour classer simplement les données non étiquetées afin d'indiquer combien de classes étiquetées se trouvent dans les données non étiquetées et pour avoir une idée globale de la distribution des données des 99 417 images. En particulier, nous avons utilisé les deux meilleurs modèles de classification des expériences précédentes, à savoir, DenseNet-161 pré-formé et ResNet-152 moyenné + DenseNet-161 en utilisant split_0 et split_1 de l'expérience précédente. Les résultats sont présentés à la Fig. 9. Dans les résultats, nous pouvons observer qu'un grand nombre de prédictions sont attribuées à la classe pylore normal, tandis qu'un plus petit nombre de prédictions sont attribuées aux classes hémorroïdes et colite ulcéreuse de grade 1-2. Cependant, ces prédictions sont similaires à celles des précisions au niveau de la classe du modèle ML sur les données étiquetées. Par conséquent, nous pouvons supposer que les classes qui ont obtenu un nombre élevé de prédictions correctes sur les images étiquetées sont également plus précises sur les données non étiquetées. En revanche, il est difficile de tirer des conclusions sur les étiquettes qui avaient un faible nombre de prédictions car les modèles ne sont pas assez précis. Pour les travaux futurs, les chercheurs pourraient parcourir les classifications des données non étiquetées et, par exemple, créer un ensemble de données étiquetées plus grand ou effectuer une analyse des échecs pour découvrir pourquoi les classes ont été confondues ou mal classées. Les étiquettes de classe créées au cours de ces expériences sont disponibles dans le référentiel GitHub.

Prédictions de données d'image non étiquetées pour Averaged ResNet-152 + DenseNet-161 et Pre-Trained DenseNet-161.

Dans la section de validation technique, nous avons fourni des mesures de base et donné un aperçu des qualités statistiques de l'ensemble de données pour démontrer sa qualité technique. Avec le grand nombre d'images disponibles dans HyperKvasir, nous encourageons d'autres chercheurs à étudier et à développer des méthodes nouvelles et améliorées pour le domaine médical. Cela inclut également une méthodologie améliorée pour créer la vérité de terrain dans les classes où il existe une variation substantielle entre les observateurs dans l'évaluation, qui pourrait être utilisée par d'autres chercheurs pour augmenter le nombre d'étiquettes et de segmentations pour l'ensemble de données.

Dans nos recherches sur la détection, la classification et la segmentation des résultats normaux et anormaux dans le tractus gastro-intestinal, nous avons collecté, à notre connaissance, l'ensemble de données le plus vaste et le plus diversifié. Ces données sont mises à la disposition de la communauté des chercheurs en tant que ressource permettant aux chercheurs non seulement d'avoir la capacité de rechercher la détection ou la classification de divers résultats gastro-intestinaux, mais également de différencier la gravité des résultats.

En bref, nous avons utilisé les données étiquetées pour rechercher la classification et la segmentation des résultats gastro-intestinaux en utilisant à la fois la vision par ordinateur et les approches ML pour être potentiellement utilisées dans l'analyse en direct et post-analyse des examens des patients. Les domaines d'utilisation potentielle sont l'analyse, la classification, la segmentation et la récupération d'images et de vidéos avec des découvertes particulières ou des propriétés particulières du domaine de l'informatique. Les données étiquetées peuvent également être utilisées pour l'enseignement et la formation en éducation médicale. Ayant des gastro-entérologues experts fournissant les vérités fondamentales sur diverses découvertes, HyperKvasir fournit un ensemble d'apprentissage unique et diversifié pour les futurs cliniciens. De plus, les données non étiquetées sont bien adaptées aux méthodes semi-supervisées et non supervisées, et, si encore plus de données de vérité terrain sont nécessaires, les utilisateurs des données peuvent utiliser leurs propres experts médicaux locaux pour fournir les étiquettes nécessaires. Enfin, les vidéos peuvent en outre être utilisées pour simuler des endoscopies en direct alimentant la vidéo dans le système telle qu'elle est capturée directement à partir des endoscopes, ce qui permet aux développeurs de procéder à la classification des images.

L'ensemble de données comprend une série de scripts et de fichiers texte qui visent à aider les chercheurs à commencer rapidement à utiliser l'ensemble de données pour des tâches ML standard telles que la classification. Ceux-ci sont disponibles sur le référentiel GitHub pour l'ensemble de données : http://www.github.com/simula/hyper-kvasir. De plus, nous fournissons trois divisions officielles de l'ensemble de données qui peuvent être utilisées pour des expériences de validation croisée. Garder des divisions cohérentes entre les méthodes aide à maintenir une comparaison équitable des résultats. Les scripts utilisés pour générer les tracés, diviser les données en différents plis et générer des fichiers d'annotation sont inclus pour la reproductibilité et la transparence. Ces fichiers peuvent également être utilisés pour expérimenter davantage l'ensemble de données. Enfin, nous incluons les fichiers utilisés pour créer nos expériences préliminaires.

De nombreuses recherches sont actuellement menées dans le domaine de l'analyse d'images et de vidéos gastro-intestinales, et nous accueillons et encourageons les contributions futures dans ce domaine. Cela ne se limite pas à l'utilisation de l'ensemble de données pour les comparaisons et la reproductibilité des expériences, mais également à la publication et au partage de nouvelles données à l'avenir.

En plus de publier les données, nous mettons également à disposition le code utilisé dans les expériences. Tout le code et les données supplémentaires nécessaires aux expériences sont disponibles sur GitHub à l'adresse http://www.github.com/simula/hyper-kvasir.

Brenner, H., Kloor, M. & Pox, CP Cancer colorectal. The Lancet 383, 1490–502, https://doi.org/10.1016/S0140-6736(13)61649-9 (2014).

Article Google Scholar

Torre, LA et al. Statistiques mondiales sur le cancer, 2012. CA : A Cancer J. for Clin. 65, 87–108, https://doi.org/10.1056/NEJMoa0907667 (2015).

Article Google Scholar

Organisation mondiale de la santé - Centre international de recherche sur le cancer. Estimation de l'incidence, de la mortalité et de la prévalence du cancer dans le monde en 2012 (2012).

Hewett, DG, Kahi, CJ & Rex, DK Efficacité et efficacité de la coloscopie : comment combler l'écart ? Intérêt gastro-intestinal. Endoc. Clin. 20, 673–684, https://doi.org/10.1016/j.giec.2010.07.011 (2010).

Article Google Scholar

Lee, SH et al. L'expérience endoscopique améliore l'accord interobservateur dans le classement de l'œsophagite par la classification de Los Angeles : endoscopie conventionnelle et système d'image de bande optimale. Foie intestinal 8, 154, https://doi.org/10.5009/gnl.2014.8.2.154 (2014).

Article PubMed Google Scholar

Van Doorn, SC et al. Morphologie des polypes : une évaluation interobservateur pour la classification de Paris parmi les experts internationaux. Le Am. J. Gastroenterol. 110, 180-187, https://doi.org/10.1038/ajg.2014.326 (2015).

Article PubMed Google Scholar

Kaminski, MF et al. Indicateurs de qualité pour la coloscopie et le risque de cancer d'intervalle. Nouvel angl. J. Medicine 362, 1795–1803, https://doi.org/10.1056/NEJMoa0907667 (2010).

Article CAS Google Scholar

Topol, EJ Médecine performante : la convergence de l'intelligence humaine et artificielle. Nat. Médecine 25, 44–56, https://doi.org/10.1038/s41591-018-0300-7 (2019).

Article CAS Google Scholar

Riegler, M. et al. Multimédia et médecine : des coéquipiers pour une meilleure détection des maladies et une meilleure survie. Dans Actes de la Conférence internationale ACM sur le multimédia (ACM MM), 968–977, https://doi.org/10.1145/2964284.2976760 (2016).

Riegler, M. et al. EIR - cadre de diagnostic assisté par ordinateur efficace pour les endoscopies gastro-intestinales. Dans Actes de l'atelier international de l'IEEE sur l'indexation multimédia basée sur le contenu (CBMI), 1–6, https://doi.org/10.1109/CBMI.2016.7500257 (2016).

Alammari, A. et al. Classification de la gravité de la colite ulcéreuse dans les vidéos de coloscopie à l'aide de cnn. Dans Actes de la Conférence internationale ACM sur la gestion et l'ingénierie de l'information (ACM ICIME), 139-144, https://doi.org/10.1145/3149572.3149613 (2017).

Wang, Y., Tavanapong, W., Wong, J., Oh, JH & De Groen, PC Polyp-alert : rétroaction en temps quasi réel pendant la coloscopie. Calcul. Méthodes Programmes Biomed. 120, 164–179, https://doi.org/10.1016/j.cmpb.2015.04.002 (2015).

Article PubMed Google Scholar

Hirasawa, T., Aoyama, K., Fujisaki, J. & Tada, T. 113 application de l'intelligence artificielle utilisant un réseau neuronal convolutif pour détecter le cancer gastrique dans les images endoscopiques. Intérêt gastro-intestinal. Endoc. 87, AB51, https://doi.org/10.1016/j.gie.2018.04.025 (2018).

Article Google Scholar

Wang, L., Xie, C. & Hu, Y. Iddf2018-abs-0260 Apprentissage en profondeur pour la segmentation des polypes. Gut 67, A84–A85, https://doi.org/10.1136/gutjnl-2018-IDDFabstracts.181 (2018).

Article Google Scholar

Mori, Y. et al. Utilisation en temps réel de l'intelligence artificielle dans l'identification des polypes diminutifs pendant la coloscopie : une étude prospective. Stagiaire aux Annales. Médecine 169, 357–366, https://doi.org/10.7326/M18-0249 (2018).

Article Google Scholar

Bychkov, D. et al. L'analyse des tissus basée sur l'apprentissage en profondeur prédit les résultats du cancer colorectal. Sci. Rapports 8, 3395, https://doi.org/10.1038/s41598-018-21758-3 (2018).

Article ADS CAS Google Scholar

Min, M. et al. Diagnostic assisté par ordinateur des polypes colorectaux utilisant la coloscopie d'imagerie couleur liée pour prédire l'histologie. Sci. rapports 9, 2881, https://doi.org/10.1038/s41598-019-39416-7 (2019).

Article ADS CAS Google Scholar

Bernal, J. & Aymeric, H. Miccai vision endoscopique challenge la détection et la segmentation des polypes. https://endovissub2017-giana.grand-challenge.org/home/, Consulté : 2017-12-11 (2017).

Bernal, J. et al. Cartes Wm-dova pour une mise en évidence précise des polypes en coloscopie : validation par rapport aux cartes de saillance des médecins. Calcul. Méd. Graphique d'imagerie. 43, 99-111, https://doi.org/10.1016/j.compmedimag.2015.02.007 (2015).

Article PubMed Google Scholar

Tajbakhsh, N., Gurudu, SR & Liang, J. Détection automatisée des polypes dans les vidéos de coloscopie à l'aide d'informations de forme et de contexte. Transactions IEEE sur Med. Imagerie 35, 630–644, https://doi.org/10.1109/TMI.2015.2487997 (2016).

Article Google Scholar

Deng, J. et al. ImageNet : une base de données d'images hiérarchiques à grande échelle. Dans Actes de la conférence IEEE sur la vision par ordinateur et la reconnaissance de formes (CVPR), 248–255, https://doi.org/10.1109/CVPR.2009.5206848 (2009).

Pogorelov, K. et al. Kvasir : un ensemble de données d'images multi-classes pour la détection des maladies gastro-intestinales assistée par ordinateur. Dans Actes de la conférence sur les systèmes multimédia ACM (ACM MMSYS), 164–169, https://doi.org/10.1145/3083187.3083212 (2017).

Pogorelov, K. et al. Apprentissage en profondeur et approches basées sur des fonctionnalités artisanales pour la détection des polypes dans les vidéos médicales. Dans Actes du Symposium international de l'IEEE sur les systèmes médicaux informatisés (CBMS), 381–386, https://doi.org/10.1109/CBMS.2018.00073 (2018).

Berstad, TJD et al. Compromis utilisant la classification binaire et multiclasse des réseaux de neurones pour la détection médicale de plusieurs maladies. Dans Actes du Symposium international IEEE sur le multimédia (ISM), 1–8, https://doi.org/10.1109/ISM.2018.00009 (2018).

de Lange, T., Halvorsen, P. & Riegler, M. Méthodologie pour développer des algorithmes d'apprentissage automatique pour améliorer les performances en endoscopie gastro-intestinale. Monde J. Gastroenterol. 24, 5057–5062, https://doi.org/10.3748/wjg.v24.i45.5057 (2018).

Article PubMed PubMed Central Google Scholar

Hicks, S. et al. 383 apprentissage en profondeur pour la génération automatique de rapports d'endoscopie. Intérêt gastro-intestinal. Endoc. 89, AB77, https://doi.org/10.1016/j.gie.2019.04.053 (2019).

Article Google Scholar

Ahmad, J., Muhammad, K., Lee, MY & Baik, SW Classification et récupération d'images endoscopiques à l'aide de caractéristiques de convolution en cluster. J. Med. Syst. 41, 196, https://doi.org/10.1007/s10916-017-0836-y (2017).

Article PubMed Google Scholar

Owais, M., Arsalan, M., Choi, J., Mahmood, T. & Park, KR Classification basée sur l'intelligence artificielle de plusieurs maladies gastro-intestinales utilisant des vidéos d'endoscopie pour le diagnostic clinique. J.Clin. Médecine 8, 986, https://doi.org/10.3390/jcm8070986 (2019).

Article Google Scholar

Ahmad, J., Muhammad, K. & Baik, SW Récupération d'images médicales avec des codes binaires compacts générés dans le domaine fréquentiel à l'aide de caractéristiques convolutives hautement réactives. J. Med. Syst. 42, 24, https://doi.org/10.1007/s10916-017-0875-4 (2017).

Article PubMed Google Scholar

Harzig, P., Einfalt, M. & Lienhart, R. Détection automatique des maladies et génération de rapports pour l'examen du tractus gastro-intestinal. Actes de la Conférence internationale ACM sur le multimédia (ACM MM) 5, 2573–2577, https://doi.org/10.1145/3343031.3356066 (2019).

Article Google Scholar

Kasban, H. & Salama, DH Un système de récupération d'images médicales robuste basé sur l'optimisation par ondelettes et le codage adaptatif par troncature de blocs. Multimed. Outils Appl. 78, 35211–35236, https://doi.org/10.1007/s11042-019-08100-3 (2019).

Article Google Scholar

Ghatwary, N., Zolgharni, M. & Ye, X. Gfd r-cnn plus rapide : Gabor fractal densenet r-cnn plus rapide pour la détection automatique des anomalies œsophagiennes dans les images endoscopiques. Atelier international sur l'apprentissage automatique en imagerie médicale (MLMI) 11861, 89–97, https://doi.org/10.1007/978-3-030-32692-0_11 (2019).

Article Google Scholar

Ghatwary, NM, Ye, X. & Zolgharni, M. Détection d'anomalies oesophagiennes à l'aide d'un r-cnn plus rapide basé sur densenet avec des fonctionnalités de gabor. Accès IEEE 7, 84374–84385, https://doi.org/10.1109/ACCESS.2019.2925585 (2019).

Article Google Scholar

Hicks, SA et al. Mimir : un système de reporting et de raisonnement automatique pour l'analyse basée sur l'apprentissage profond dans le domaine médical. Dans Actes de la conférence sur les systèmes multimédia ACM (ACM MMSYS), 369–374, https://doi.org/10.1145/3204949.3208129 (2018).

Hicks, S. et al. Dissection des réseaux de neurones profonds pour une meilleure classification des images médicales et une meilleure compréhension de la classification. Dans Actes du Symposium international de l'IEEE sur les systèmes médicaux informatisés (CBMS), 363–368, https://doi.org/10.1109/CBMS.2018.00070 (2018).

Hicks, SA et al. Raisonnement compréhensible et rapport automatisé des examens médicaux basés sur une analyse d'apprentissage en profondeur. Dans Actes de la conférence sur les systèmes multimédia ACM (ACM MMSYS), 490–493, https://doi.org/10.1145/3204949.3208113 (2018).

Pogorelov, K. et al. Opensea : outil de classification basé sur la recherche ouverte. Dans Actes de la conférence sur les systèmes multimédia ACM (ACM MMSYS), 363–368, https://doi.org/10.1145/3204949.3208128 (2018).

Thambawita, VL et al. Une étude approfondie sur l'interprétation des biais d'ensembles de données croisés et des mesures d'évaluation pour l'apprentissage automatique appliqué à la classification des anomalies du tractus gastro-intestinal. Transactions ACM sur ordinateur. pour la Santéc. (2020).

Riegler, M. et al. Multimédia pour la médecine: la tâche médicale au médiéval 2017. Dans les actes de l'atelier MediaEval Benchmarking Initiative for Multimedia Evaluation Workshop (MediaEval) (2017).

Pogorelov, K. et al. Tâche multimédia Medico à mediaeval 2018. In Proceeding of the MediaEval Benchmarking Initiative for Multimedia Evaluation Workshop (MediaEval) (2018).

Hicks, S. et al. Aperçu du grand défi Acm multimédia biomédia 2019. Dans Actes de la Conférence internationale ACM sur le multimédia (ACM MM), 2563-2567, https://doi.org/10.1145/3343031.3356058 (2019).

Cheplygina, V., de Bruijne, M. & Pluim, JP Not-so-supervised: a survey of semi-supervised, multi-instance, and transfer learning in medical image analysis. Méd. Analyse d'image 54, 280–296, https://doi.org/10.1016/j.media.2019.03.009 (2019).

Article Google Scholar

Hénaff, OJ, Razavi, A., Doersch, C., Eslami, S. & Oord, AVD Reconnaissance d'images efficace en termes de données avec codage prédictif contrastif. prétirage arXiv arXiv:1905.09272 (2019).

Misra, I. & van der Maaten, L. Apprentissage auto-supervisé de représentations invariantes de prétexte. prétirage arXiv arXiv:1912.01991 (2019).

Bui, TD, Ravi, S. & Ramavajjala, V. Neuralgraphlearning : formation de réseaux de neurones à l'aide de graphes. Dans Actes de l'ACM International Conferenceon Web Searchand Data Mining (WSDM), 64–71, https://doi.org/10.1145/3159652.3159731 (2018).

He, K., Fan, H., Wu, Y., Xie, S. & Girshick, R. Momentum contrast for unsupervised visual representation learning. prétirage arXiv arXiv:1911.05722 (2019).

Amano, Y. et al. Accord interobservateur sur la classification des diagnostics endoscopiques d'œsophagite non érosive. Endoscopie 38, 1032-1035, https://doi.org/10.1055/s-2006-944778 (2006).

Article CAS PubMed Google Scholar

De Lange, T., Larsen, S. & Aabakken, L. Accord inter-observateur dans l'évaluation des résultats endoscopiques dans la colite ulcéreuse. Gastroentérologie BMC 4, 9, https://doi.org/10.1186/1471-230X-4-9 (2004).

Article PubMed PubMed Central Google Scholar

Jha, D. et al. Kvasir-seg : un ensemble de données de polypes segmenté. Dans Actes de la Conférence internationale sur la modélisation multimédia (MMM), vol. 11962, 451–462, https://doi.org/10.1007/978-3-030-37734-2_37 (2020).

Jha, D. et al. Resunet++ : Une architecture avancée pour la segmentation d'images médicales. Dans Actes du Symposium international sur le multimédia (ISM), 225-230, https://doi.org/10.1109/ISM46123.2019.00049 (2019).

Borgli, H. et al. L'ensemble de données HyperQuasir. Cadre scientifique ouvert, https://doi.org/10.17605/OSF.IO/MH9SJ (2020).

Calderwood, AH & Jacobson, BC Validation complète de l'échelle de préparation de l'intestin de Boston. Intérêt gastro-intestinal. endoscopie 72, 686–692, https://doi.org/10.1016/j.gie.2010.06.068 (2010).

Article Google Scholar

Aabakken, L. et al. Rapports endoscopiques standardisés. J. Gastroenterol. Hépatol. 29, 234–240, https://doi.org/10.1111/jgh.12489 (2014).

Article PubMed Google Scholar

Lundell, LR et al. Évaluation endoscopique de l'œsophagite : corrélats cliniques et fonctionnels et validation supplémentaire de la classification de Los Angeles. Intestin 45, 172-180, https://doi.org/10.1136/gut.45.2.172 (1999).

Article CAS PubMed PubMed Central Google Scholar

Sharma, P. et al. Le développement et la validation d'un système de classement endoscopique pour l'œsophage de Barrett : les critères de prague c & m. Gastroenterology 131, 1392–1399, https://doi.org/10.1053/j.gastro.2006.08.032 (2006).

Article PubMed Google Scholar

Lai, EJ, Calderwood, AH, Doros, G., Fix, OK & Jacobson, BC L'échelle de préparation de l'intestin de Boston : un instrument valide et fiable pour la recherche axée sur la coloscopie. Intérêt gastro-intestinal. Endoc. 69, 620–625, https://doi.org/10.1016/j.gie.2008.05.057 (2009).

Article PubMed PubMed Central Google Scholar

Schroeder, KW, Tremaine, WJ et Ilstrup, DM Traitement oral à l'acide 5-aminosalicylique enrobé pour la colite ulcéreuse légèrement à modérément active. Le nouvel angl. J. Medicine 317, 1625-1629, https://doi.org/10.1056/NEJM198712243172603 (1987).

Article CAS Google Scholar

Lambert, R. Theparisendoscopicclassificationofsuperficialneoplasticlesions : oesophage, estomac et côlon : du 30 novembre au 1er décembre 2002. Gastrointest Endosc 58, S3-S43, https://doi.org/10.1016/S0016-5107(03)02159-X (2003).

Article Google Scholar

Forrest, JH, Finlayson, N. & Shearman, D. Endoscopie dans les saignements gastro-intestinaux. The Lancet 304, 394–397, https://doi.org/10.1016/s0140-6736(74)91770-x (1974).

Article Google Scholar

Bray, F. et al. Statistiques mondiales sur le cancer 2018 : Estimations Globocan de l'incidence et de la mortalité dans le monde pour 36 cancers dans 185 pays. CA : un journal sur le cancer pour les cliniciens 68, 394–424, https://doi.org/10.3322/caac.21492 (2018).

Article Google Scholar

Thambawita, V. et al. La medico-task 2018 : détection des maladies dans le tractus gastro-intestinal à l'aide de fonctionnalités globales et d'apprentissage en profondeur. Dans Actes de l'atelier MediaEval Benchmarking Initiative for Multimedia Evaluation Workshop (MediaEval) (2018).

Bernal, J., Sánchez, J. & Vilarino, F. Vers la détection automatique des polypes avec un modèle d'apparence des polypes. Reconnaissance de modèle. 45, 3166–3182, https://doi.org/10.1016/j.patcog.2012.03.002 (2012).

Article Google Scholar

Ali, S. et al. Ensemble de données de défi de détection d'artefacts d'endoscopie (ead 2019). prétirage arXiv arXiv:1905.03209 (2019).

Silva, J., Histace, A., Romain, O., Dray, X. & Granado, B. Vers une détection intégrée des polypes dans les images de la CE pour le diagnostic précoce du cancer colorectal. Int. J. Comput. Aider. Radiol. Surg. 9, 283–293, https://doi.org/10.1007/s11548-013-0926-3 (2014).

Article PubMed Google Scholar

Koulaouzidis, A. et al. Projet Kid : un atlas vidéo numérique sur Internet de l'endoscopie par capsule à des fins de recherche. Endoc. international ouvert 5, E477–E483, https://doi.org/10.1055/s-0043-105488 (2017).

Article Google Scholar

Bernal, J. & Aymeric, H. Analyse d'images gastro-intestinales (GIANA) Angiodysplasia D&L challenge. https://endovissub2017-giana.grand-challenge.org/home/, Consulté : 2017-11-20 (2017).

Angermann, Q. et al. Vers la détection de polypes en temps réel dans les vidéos de coloscopie : adaptation des méthodologies basées sur des images fixes pour l'analyse des séquences vidéo. Endoscopie assistée par ordinateur et robotique et procédures basées sur l'image clinique (CARE CLIP) 10550, 29–41, https://doi.org/10.1007/978-3-319-67543-5_3 (2017).

Article Google Scholar

Bernal, J. et al. Référence de détection de polypes dans les vidéos de coloscopie à l'aide de gtcreator : un nouvel outil entièrement configurable pour une annotation simple et rapide des bases de données d'images. Dans Actes de Radiologie et Chirurgie Assistées par Ordinateur (CARS), https://hal.archives-ouvertes.fr/hal-01846141 (2018).

Gastrolab - le site gastro-intestinal, http://www.gastrolab.net/index.htm. Consulté : 2019-12-12.

Atlas d'endoscopie clinique Weo, http://www.endoatlas.org/index.php. Consulté : 2019-12-12.

Lésions gastro-intestinales dans l'ensemble de données de coloscopie régulière, http://www.depeca.uah.es/colonoscopy_dataset/, consulté : 2019-12-12.

L'atlas de l'endoscope gastro-intestinal, http://www.endoatlas.com/atlas_1.html. Consulté : 2019-12-12.

Atlas salvadorien d'endoscopie vidéo gastro-intestinale, http://www.gastrointestinalatlas.com/index.html. Consulté : 2019-1216.

Pogorelov, K. et al. Nerthus : un ensemble de données vidéo sur la qualité de la préparation intestinale. Dans Actes de la conférence sur les systèmes multimédia ACM (ACM MMSYS), 170–174, https://doi.org/10.1145/3083187.3083216 (2017).

Télécharger les références

Nous tenons à remercier diverses personnes de l'hôpital de Bærum pour avoir rendu les données disponibles. De plus, le travail est partiellement financé en partie par le Conseil de la recherche de Norvège, projets numéros 263248 (Privaton) et 282315 (AutoCap).

Ces auteurs ont contribué à parts égales : Hanna Borgli, Vajira Thambawita, Pia H. Smedsrud, Steven Hicks, Debesh Jha, Hugo L. Hammer, Michael A. Riegler, Pål Halvorsen, Thomas de Lange.

Ces auteurs ont supervisé conjointement ce travail : Michael A. Riegler, Pål Halvorsen, Thomas de Lange.

SimulaMet, Oslo, Norvège

Hanna Borgli, Vajira Thambawita, Pia H. Smedsrud, Steven Hicks, Debesh Jha, Hugo L. Hammer, Michael A. Riegler & Pål Halvorsen

Université métropolitaine d'Oslo, Oslo, Norvège

Vajira Thambawita, Steven Hicks, Hugo L. Hammer & Pål Halvorsen

Université d'Oslo, Oslo, Norvège

Hanna Borgli, Pia H. Smedsrud, Kristin Ranheim Randel, Carsten Griwodz & Håkon K. Stensland

Département de recherche médicale, Hôpital Bærum, Bærum, Norvège

Sigrun L. Eskeland & Thomas de Lange

Université de Bergen, Bergen, Norvège

Duc Tien Dang Nguyên

Augmenter Medical AS, Oslo, Norvège

Pia H. Smedsrud & Thomas de Lange

UIT Université arctique de Norvège, Tromsø, Norvège

Debesh Jha et Dag Johansen

Laboratoire de recherche Simula, Oslo, Norvège

Konstantin Pogorelov & Håkon K. Stensland

Département de médecine (Solna), Karolinska Institutet, Stockholm, Suède

Peter T. Schmidt

Registre du cancer de Norvège, Oslo, Norvège

Kristin Ranheim Randel

Université de Klagenfurt, Klagenfurt, Autriche

Mathias Lux

Département médical, Hôpital universitaire Sahlgrenska-Mölndal, Mölndal, Suède

Thomas de Lange

SINTEF Digital, Oslo, Norvège

Enrique García-Ceja

Département de médecine, hôpital Ersta, Stockholm, Suède

Peter T. Schmidt

Vous pouvez également rechercher cet auteur dans PubMed Google Scholar

SAH, VT, PH, HLH, MAR et TdL ont conçu la ou les expériences, SAH, VT, HLH et MAR ont mené la ou les expériences, HB, SAH, MAR, PH et TdL ont préparé et nettoyé les données pour publication, et tous les auteurs ont analysé les résultats et examiné le manuscrit.

Correspondance à Pål Halvorsen.

Les auteurs PHS, DJ, CG, MAR, PH et TdL détiennent tous des parts dans la société Augere Medical AS développant des solutions d'IA pour les coloscopies. Le système d'annotation vidéo Augere a été utilisé pour étiqueter les vidéos. Il n'y a aucun intérêt commercial d'Augere concernant cette publication et cet ensemble de données. Sinon, les auteurs ne déclarent aucun intérêt concurrent.

Note de l'éditeur Springer Nature reste neutre en ce qui concerne les revendications juridictionnelles dans les cartes publiées et les affiliations institutionnelles.

Libre accès Cet article est sous licence Creative Commons Attribution 4.0 International License, qui permet l'utilisation, le partage, l'adaptation, la distribution et la reproduction sur n'importe quel support ou format, tant que vous donnez le crédit approprié à l'auteur ou aux auteurs originaux et à la source, fournissez un lien vers la licence Creative Commons et indiquez si des modifications ont été apportées. Les images ou tout autre matériel tiers dans cet article sont inclus dans la licence Creative Commons de l'article, sauf indication contraire dans une ligne de crédit au matériel. Si le matériel n'est pas inclus dans la licence Creative Commons de l'article et que votre utilisation prévue n'est pas autorisée par la réglementation légale ou dépasse l'utilisation autorisée, vous devrez obtenir l'autorisation directement du détenteur des droits d'auteur. Pour voir une copie de cette licence, visitez http://creativecommons.org/licenses/by/4.0/.

La renonciation Creative Commons Public Domain Dedication http://creativecommons.org/publicdomain/zero/1.0/ s'applique aux fichiers de métadonnées associés à cet article.

Réimpressions et autorisations

Borgli, H., Thambawita, V., Smedsrud, PH et al. HyperKvasir, un ensemble complet de données d'images et de vidéos multi-classes pour l'endoscopie gastro-intestinale. Sci Data 7, 283 (2020). https://doi.org/10.1038/s41597-020-00622-y

Télécharger la citation

Reçu : 31 décembre 2019

Accepté : 21 juillet 2020

Publié: 28 août 2020

DOI : https://doi.org/10.1038/s41597-020-00622-y

Toute personne avec qui vous partagez le lien suivant pourra lire ce contenu :

Désolé, aucun lien partageable n'est actuellement disponible pour cet article.

Fourni par l'initiative de partage de contenu Springer Nature SharedIt

Données scientifiques (2023)

Rapports scientifiques (2023)

Rapports scientifiques (2022)

Nouvelles