MEDECINE ET ROBOTIQUE

Il ne se passe plus de mois sans qu'un nouveau logiciel issu de l'intelligence artificielle ne soit déclaré "meilleur que les médecins" et présenté au public. Que signifie vraiment cette formule? Peux-t-on réellement implanter des systèmes automatiques en lieu et place des médecins?

Dans cette rubrique, nous rendons compte d'études dont les résultats sont généralisables à l'ensemble de l'intelligence artificielle médicale. En décrivant les faits scientifiques, nous espérons mettre à disposition du plus grand nombre des informations de fond permettant à chacune et chacun d'appréhender le débat de société entourant l'IA médicale. 

Ce numéro, ainsi que le suivant, sont consacrés à l'expérimentation de logiciels de diagnostic de métastases ganglionnaires de cancer du sein en anatomopathologie.

L'étude présentée ci-dessous a été publiée dans la revue JAMA (Journal of the American Medical Association) en décembre 2017. Il s'agit d'une compétition technologique au cours de laquelle des équipes de chercheurs se sont affrontées pour composer un algorithme de diagnostic de métastases ganglionnaires de cancer du sein. Cette compétition a eu une suite puisque Google s'en est inspiré pour développer son propre logiciel, l'un des derniers nés parmi les algorithmes "meilleurs que les médecins". Ceci sera le sujet du prochain numéro de "COMPRENDRE L'IA EN MEDECINE".

LE DEEP LEARNING : TECHNIQUE D’APPRENTISSAGE MACHINE DE CHOIX EN RECONNAISSANCE D'IMAGES MEDICALES

En 2016, des équipes de chercheurs du monde entier ont été invitées à concevoir des solutions automatisées de détection de métastases de cancers du sein dans les ganglions sentinelles. Elles se sont départagées pendant une compétition technologique dénommée CAMELYON 16 au cours de laquelle la performance de leurs algorithmes a été comparée à celle de médecins anatomo-pathologistes.

 ORGANISATION DE LA COMPETITION

1. Préliminaires

Première étape: composition de la base de données. 

399 images collectées en 2015 dans 2 hôpitaux néerlandais auprès de patientes opérées de cancer du sein avec ablation du ganglion sentinelle ont composé la base de données qui a servi à entraîner les algorithmes. 

Deuxième étape: annotation et répartition des images pour composer les jeux de données.

Les images ont été annotées manuellement par des médecins anatomo-pathologistes. Puis, le jeu de données a été divisé en 2: un jeu d'entraînement ( 270 images) et un jeu de test ( 129 images). 



POUR COMPRENDRE L'ETUDE

Qu'est-ce qu'une métastase? 

Une métastase se produit lorsque qu’un cancer, dit primitif, franchit les limites de l’organe où il s’est formé. Des cellules cancéreuses vont alors prendre le chemin des vaisseaux et former d’autres cancers secondaires, que l’on nomme métastases. 

Qu’est-ce que le ganglion sentinelle?

Les ganglions lymphatiques jouent un rôle essentiel dans notre immunité, c’est-à-dire la défense de l’organisme contre les agents extérieurs, infections en particulier. Ils se regroupent en chaînes de plusieurs ganglions. Le creux de l’aisselle (ou axillaire) contient une telle chaîne de ganglions. Le ganglion de cette chaîne le plus proche du sein sera le premier touché par une métastase en cas de cancer. Premier relais de la dissémination, on le nomme sentinelle car il informe du caractère métastastique ou non du cancer. 

L'ablation chirurgicale est pratiquée dans la majorité des cancers du sein. Le chirurgien retire la tumeur puis, dans un deuxième temps, il recherche le ganglion sentinelle et le retire. Ce dernier est ensuite examiné au microscope par un médecin anatomo-pathologiste. En général, l’examen du ganglion a lieu immédiatement. C’est l’examen dit extemporanné. Le chirurgien attend le résultat. Si le ganglion contient des cellules cancéreuses, il retire tous les autres ganglions, c’est le curage ganglionnaire. Si le ganglion est négatif, la chaîne ganglionnaire est laissée en place et l’intervention chirurgicale prend fin. 

Qu'est-ce qu'un médecin anatomo-pathologiste? 

Le travail du médecin anatomo-pathologiste est d'étudier au microscope des fragments d'organes malades (où biopsies) et de rechercher les causes des maladies. Leur rôle est essentiel dans le cancer car leur métier est d'identifier les cellules présentes dans une biopsie, de reconnaître celles qui sont saines et celles qui sont anormales. Ils identifient avec précision les cellules malades et déterminent le type de cancer. Ceci servira par la suite à guider le traitement. 

La compétition CAMELYON 16 s’est donc déroulée autour d’un sujet extrêmement important pour la prise en charge du cancer du sein. Important par son aspect strictement médical - le diagnostic de métastases- mais important aussi pour l’organisation des soins. En effet, l’analyse du ganglion sentinelle nécessite la disponibilité physique d’un médecin anatomo-pathologiste au moment précis où le chirurgien retire le ganglion. Ceci n’est pas toujours simple à organiser au quotidien. Le diagnostic automatisé par intelligence artificielle pourrait donc simplifier la réalisation de ce type d’intervention chirurgicale. 

 2. Déroulement de l’expérience

Dans la première phase, on a fourni les 270 images d’entraînement aux équipes participantes: 110 avec métastases, 160 sans métastases. 

Dans la deuxième phase, la performance des algorithmes a été testée sur les 129 images du jeu de test  : 49 avec métastases, 80 sans métastases. 

Chaque équipe avait le droit de soumettre son algorithme 3 fois. 

Définition des tâches.

En intelligence artificielle, il est nécessaire de définir avec exactitude ce que l’on va demander à la machine. Dans le cas présent, 2 tâches ont été définies: 

- Tâche N°1, destinée à l’entraînement :identification de métastases au sein de la coupe histologique

- Tâche N°2, destinée à l’évaluation : classer chaque image selon la présence ou non de métastase 

Performance des médecins anatomo-pathologistes.

2 expériences distinctes ont été organisées. 

Première expérience, dite « sans contrainte de temps ». Un seul médecin anatomo-pathologiste, expérimenté, a analysé les 129 images du test et a indiqué la localisation précise de chaque métastase. 

Deuxième expérience, dite « avec contrainte de temps ». Un panel de 11 médecins anatomo-pathologiste a eu 2 heure pour analyser les 129 images. Cet exercice  était supposé reproduire les conditions de travail habituelles des médecins. Il correspondait à la tâche N° 2 des algorithmes.

3. Principaux résultats

23 équipes ont soumis 32 algorithmes. 

Le médecin qui a participé à l’expérience « sans contrainte de temps » a eu besoin de 30 heures pour lire les 129 pièces.

Performance de l’algorithme

25 des 32 algorithmes étaient basés sur l'apprentissage profond (deep learning en anglais) qui s'est révélé être la meilleure technique d’apprentissage machine puisque  les 19 meilleurs algorithmes ont été entraînés de cette façon.

Au total, 7 algorithmes sur les 32 soumis à la compétition ont eu une performance significativement supérieure à celle des 11 pathologistes « avec contrainte de temps ». 

Les résultats des algorithmes ont été affinés pour distinguer les performances de détections des métastases en fonction de leur taille. Les meilleurs algorithmes ont eu des performances équivalentes aux 11 médecins « avec contrainte de temps » pour les macro-métastases ( les plus grosses). Dix algorithmes ont eu une meilleure performance que le meilleur pathologiste du groupe des 11 dans la détection des micro-métastases (les petites métastases).

DISCUSSION DES AUTEURS

Dans leur discussion, les auteurs insistent sur le fait que leur étude est la première à montrer que des algorithmes entraînés par deep learning peuvent obtenir un résultat équivalent à celui d’experts humains dans le diagnostic de métastases de cancer du sein sur ganglion sentinelle. 

Les algorithmes issus du deep learning ont mieux réussi que les algorithmes basés sur des données rentrées à la main. Mais ils remarquent que les performances varient beaucoup d’un algorithme à l’autre. La majorité d’entre eux ne sont pas exploitables. 

Limites de l’étude selon les auteurs. L’exercice organisé - analyser 129 pièces histologiques en 2 heures- ne reflètait pas réellement les conditions de travail des médecins. Ils observent que les 11 pathologistes « avec contrainte de temps » qui ont du travailler en 2 heures  ont été moins performants que le pathologiste « sans contrainte de temps » qui a eu besoin de 30 heures pour analyser le même nombre de pièces.

EDITORIAL ET COURRIER DES LECTEURS 

 Cet article a fait l’objet d’un éditorial et d’une lettre aux auteurs qu’il n’est pas inintéressant de relater. 

EDITORIAL par le Dr Jeffrey Alan Golden, médecin anatomo-pathologiste à Harvard Medical School à Boston (Etats-Unis). 

J.A Golden s’interroge sur le coût réel du deep learning en anatomo-pathologie. En effet, il observe que, si la radiologie, qui a numérisé ses images il y a 25 ans, se prête particulièrement au déploiement de l’IA, tel n’est pas le cas de l’anatomo-pathologie. (Rappelons que l’anatomo-pathologiste travaille sur des pièces prélevées sur le corps humain, c’est à dire directement sur tissu biologique. Pour obtenir des images numérisées, il est donc nécessaire de photographier les pièces histologiques). 

L’un des principaux obstacles à la digitalisation de l’anatomopathologie est donc qu’elle implique des coûts supplémentaires. La situation est différente de celle de la radiologie où, en éliminant le film, on a réduit de nombreux coûts (stockage, reproduction pour d’autres correspondants, transport…). 

Pour J.A Golden, l’intérêt médico-économique de l’IA en anatomo-pathologique ne paraît pas clairement établi. 

LETTRE AUX AUTEURS par les Dr Smeden, Calster et Greoenwold de l’université de Louvain en Belgique. 

Ces auteurs critiquent les conditions de l’expérimentation qui ne correspondent pas à la réalité de la pratique. Les médecins étaient défavorisés. 

La réponse des auteurs de l’étude était la suivante. Le but de l’étude n’était pas de remplacer les médecins dans leur activité clinique mais de déterminer si l’IA était capable de faire des diagnostics de métastases. Leur schéma expérimental a été configuré pour répondre à cette question. 

COMMENTAIRE DE LA REDACTION DE MEDECINE ET ROBOTIQUE

L'intérêt de cette étude est de nous montrer comment se fabrique l'IA médicale. Nous pouvons suivre les différentes étapes: composition de la base de données, phases d'apprentissage et de test. S'agissant d’une compétition technologique au cours de laquelle plusieurs équipes de chercheurs se sont affrontées, le premier résultat à relever est donc la technologie qui l’a emporté. Clairement, le deep learning s’est imposé comme la meilleure méthode d’apprentissage machine pour l’analyse d’images médicales. 

Cette étude est également intéressante à lire car elle permet de se rendre compte des déformations qui alimentent les réseaux sociaux. Comme nous l'avons vu, la "compétition" défavorisait les médecins puisque qu'on a demandé au groupe de 11 anatomo-pathologistes de réaliser en 2 heures un travail qui en prend 30.

Ce schéma expérimental a surtout permis d'évaluer ce que l'IA était capable de faire. En déduire que l'IA est "plus forte que les médecins" et s'apprête à les remplacer est un raccourci simpliste. Pourquoi? 

J.A Golden, dans son éditorial nous l'explique fort bien. L'implantation d'une innovation n'est pas une question purement technique. L'étude a montré qu'il existait une possibilité d'automatiser le diagnostic de métastases ganglionnaires de cancer du sein. Bien. Mais cela présente-t-il un intérêt réel? Il observe à juste titre que les bases de données nécessaires à l'émergence de l'IA en anatomopathologie n'existent pas. Leur fabrication pourrait coûter bien plus cher que le travail humain. Voici une vraie question, un peu trop rapidement écartée par les thuriféraires de l'IA. 

Plus cher ou moins cher? Nous n'avons pas la réponse.  Ceci nécessite une évaluation des coûts. Mais c'est précisément cela qu'il faut exprimer : l'importance de prendre en compte tous les paramètres avant de prendre des décisions. 

La place de l’IA en anatomopathologie, comme en médecine en général, reste à déterminer. Seules des études de terrain pourront  le déterminer. 

Ceci nous amène à la présentation du numéro suivant de "Comprendre l'IA en médecine". Les chercheurs de GOOGLE ont repris les résultats de CAMELYON 16 et se sont engagés dans la conception d'un logiciel de diagnostic d'analyse du ganglion sentinelle dans le cancer du sein. Leurs résultats viennent d'être publiés et leur réflexion se porte précisément sur cette question de l'intégration dans la pratique médicale du quotidien. 

Référence

https://jamanetwork.com/journals/jama/article-abstract/2665757

https://jamanetwork.com/journals/jama/article-abstract/2665757

https://jamanetwork.com/journals/jama/article-abstract/2679269

LES AUTRES ARTICLES DE LA RUBRIQUE "COMPRENDRE L'IA EN MEDECINE

COMPRENDRE L'IA EN MEDECINE N°1. GOOGLE PREDIT LE RISQUE CARDIO-VASCULAIRE

COMPRENDRE L’INTELLIGENCE ARTIFICIELLE EN MEDECINE N°2: DEPISTER LE MELANOME

EGALEMENT: LE LEXIQUE DE L'IA EN SANTE

LEXIQUE DE L'IA EN SANTE : QU'EST-CE QUE L'INTELLIGENCE ARTIFICIELLE?

LEXIQUE DE L'IA EN SANTE: QU'EST-CE QU'UN AGENT CONVERSATIONNEL?

LEXIQUE DE L'IA EN SANTE : QU'EST-CE QUE L'APPRENTISSAGE MACHINE?