Frontières de la recherche | Grands modèles de langage pour le suivi longitudinal des symptômes après l’implantation d’un stimulateur du nerf vague

Introduction

Après l’implantation d’un dispositif de stimulation du nerf vague (VNS), les changements longitudinaux de l’état d’un patient sont généralement consignés dans les notes cliniques. Ces notes peuvent décrire l’activité convulsive, l’humeur ou la douleur lors de consultations individuelles. Toutefois, leur format non structuré rend difficile la comparaison systématique des changements sur plusieurs années.

Une étude publiée dans JAMIA Open en 2026 a évalué si un grand modèle de langage (LLM) pouvait extraire les symptômes et leur niveau de sévérité à partir de notes cliniques afin de construire des trajectoires longitudinales au niveau du patient. Son objectif principal était d’évaluer les performances d’une méthode d’extraction d’informations cliniques. Les trajectoires obtenues ont également fourni un premier aperçu des variations entre les patients.

Contexte

Limites de la documentation clinique

La documentation clinique doit distinguer un symptôme explicitement consigné comme absent d’un symptôme qui n’est pas mentionné. Le premier fournit la preuve qu’une évaluation a été réalisée lors de cette consultation ; le second ne donne aucune information sur le statut du symptôme. Les notes peuvent également documenter un symptôme persistant sans fournir suffisamment de détails pour en évaluer la sévérité. Classer toutes ces mentions comme une absence du symptôme introduirait une erreur dans les estimations longitudinales de l’évolution.

Les échelles standardisées fournissent des évaluations cohérentes des symptômes, mais elles ne sont pas nécessairement remplies lors de chaque consultation de routine. Les chercheurs ont donc étudié si les symptômes pouvaient être extraits de manière fiable des notes cliniques existantes et suivis dans le temps. Il s’agit d’une étape méthodologique nécessaire avant de pouvoir utiliser ces dossiers pour des analyses longitudinales plus détaillées.

Méthodes

Extraction des symptômes et classification de la sévérité

Les chercheurs ont constitué 5 jeux de données comprenant 95 patients et 1,427 notes cliniques annotées manuellement. Les données d’entraînement provenaient principalement de dossiers liés à la COVID, complétées par des notes de patients recevant une VNS ou d’autres soins chirurgicaux. Les données ont été réparties au niveau du patient entre un ensemble d’entraînement (58 patients), un ensemble de validation (8 patients) et un ensemble de test (29 patients), afin d’éviter que les notes d’un même patient apparaissent à la fois dans l’entraînement et dans le test. L’ensemble de test comprenait 23 patients traités par VNS et 6 patients ayant subi une autre intervention chirurgicale.

L’analyse reposait sur un processus en 2 étapes. La première étape identifiait 13 catégories de symptômes et classait chaque symptôme comme présent, explicitement nié ou non mentionné. Pour les symptômes classés comme présents, la deuxième étape attribuait un niveau de sévérité : léger, modéré ou sévère. Les symptômes documentés sans informations suffisantes pour être classés selon leur sévérité recevaient une étiquette distincte. Dans l’analyse longitudinale, les symptômes non mentionnés étaient considérés comme des données manquantes et exclus des calculs de la sévérité moyenne. Les chercheurs ont comparé des modèles de différentes tailles aux annotations manuelles, puis ont organisé les dossiers VNS préopératoires et postopératoires par trimestre civil par rapport à la date de l’intervention.

Pour être inclus dans l’analyse de la trajectoire de sévérité des crises, les dossiers devaient comporter au moins 5 notes pertinentes avant l’intervention et 5 après. Une amélioration cliniquement significative était définie par une réduction d’au moins une catégorie de sévérité par rapport au niveau de référence préopératoire, maintenue pendant 2 trimestres postopératoires consécutifs contenant des notes pertinentes. Des trimestres sans documentation pertinente pouvaient se situer entre ces 2 trimestres observés. Dix patients ayant subi une autre intervention chirurgicale majeure sans VNS ont été inclus à titre de comparaison descriptive ; 6 d’entre eux faisaient également partie de l’ensemble de test du modèle. Les groupes n’étaient ni randomisés ni appariés. Les paramètres précis de stimulation de la VNS n’ont pas été rapportés.

Résultats

Performances de la classification des symptômes

Pour l’identification des crises dans les notes de test des patients traités par VNS, le modèle le plus performant a obtenu un score F1 pondéré de 0.98 (intervalle de confiance à 95 %, de 0.96 à 0.99). Le score correspondant dans les notes de test des autres patients chirurgicaux était de 0.91. Le score F1 combine la précision et le rappel. Après l’entraînement spécifique à la tâche, le score F1 pondéré global est passé de 0.75 à 0.92, tandis que la proportion de résultats conformes au format prédéfini est passée de 80% à 100%. Les scores F1 pondérés pour la classification de la sévérité des différents symptômes allaient de 0.76 à 0.96.

Ces résultats agrégés doivent être nuancés. Le score F1 pondéré est influencé par la fréquence de chaque classe et peut masquer des cas manqués de symptômes peu fréquents. La sensibilité pour les idées suicidaires dans le plus grand modèle était de 1.00 dans les notes VNS, mais de 0.80 dans les notes des autres patients chirurgicaux. Bien que le score F1 pour la classification de l’automutilation ait atteint 0.99, seuls 2 à 4 cas positifs étaient documentés dans chaque groupe. Ce faible nombre ne permet pas d’établir une détection fiable de ce risque cliniquement important.

La Figure 3 présente les performances de classification des symptômes stratifiées selon le sexe et la race. Certains sous-groupes comprenaient très peu de patients. En outre, les intervalles de confiance ont été estimés par rééchantillonnage des notes sans tenir compte de la corrélation entre les notes répétées d’un même patient. Les analyses par sous-groupes peuvent mettre en évidence des différences à étudier plus avant, mais elles n’établissent pas une performance équivalente du modèle dans les différents groupes démographiques.

Figure 1. Performance moyenne pondérée de modèles LLaMA ajustés de différentes tailles pour la classification des symptômes.

Figure 2. Performance moyenne pondérée du modèle LLaMA-3.3-70B ajusté pour la classification de la sévérité des symptômes.

Figure 3. Performance de la classification des symptômes selon la race et le sexe pour des modèles LLaMA de différentes tailles.

Variation des trajectoires longitudinales

Des trajectoires longitudinales ont été construites pour 23 patients traités par VNS dans l’ensemble de test, mais seuls 8 remplissaient le seuil de documentation requis pour l’analyse de la sévérité des crises. 4 répondaient au critère d’amélioration prédéfini, 2 présentaient une sévérité supérieure à leur niveau de référence préopératoire lors du dernier trimestre disposant de dossiers, et 2 ne répondaient pas au critère d’amélioration. Parmi les 4 patients classés comme améliorés, les premiers moments répondant aux critères se situaient aux trimestres postopératoires 0, 0, 1 et 2, soit une médiane de 0.5 trimestre. Le trimestre 0 indique qu’un changement a été documenté après l’intervention au cours du même trimestre civil. Cela n’établit pas que l’effet de la stimulation a commencé en quelques jours ou quelques semaines.

Chez le patient représenté dans la Figure 4, la sévérité moyenne selon l’annotation manuelle est passée de 1.80 avant l’intervention à 0.00 après l’intervention. Un score de 0 indiquait que des crises étaient mentionnées, mais qu’elles ne pouvaient pas être classées à partir du texte disponible ; il n’indiquait pas une disparition complète des crises. La diminution peut donc refléter des différences dans le niveau de détail de la documentation et ne peut pas être interprétée directement comme une réduction de la fréquence des crises ou de la charge clinique. Les prédictions du modèle concordaient avec les annotations manuelles à la plupart des moments, mais différaient nettement lors de la dernière observation : l’étiquette manuelle restait à 0, tandis que le modèle classait la sévérité comme élevée. Cette divergence montre la nécessité de vérifier les observations individuelles lors de l’interprétation d’une trajectoire automatisée.

Figure 4. Trajectoire longitudinale de la sévérité des crises chez un patient représentatif traité par VNS.

Figure 5. Carte thermique au niveau de la cohorte représentant la sévérité des crises chez 8 patients traités par VNS, alignée sur la date de l’intervention.

Les trajectoires des autres symptômes différaient selon le moment où ils apparaissaient. Parmi les 14 patients dont les dossiers atteignaient le seuil de documentation requis pour les symptômes dépressifs, 8 répondaient au critère d’amélioration. Chez ces patients, le délai médian jusqu’au premier trimestre répondant aux critères était de 14 trimestres. Comme un symptôme peut ne pas être documenté à nouveau pendant une période prolongée, ces estimations représentent la première observation enregistrée d’une amélioration et non le moment physiologique précis de son apparition.

Les notes des patients ayant subi une autre intervention chirurgicale ne montraient pas la même diminution postopératoire systématique. Toutefois, les groupes n’étaient pas appariés en fonction du diagnostic, des symptômes préopératoires, de la durée du suivi ou de la fréquence de la documentation. Aucune analyse fiable de l’interaction entre le groupe et le temps n’a non plus été réalisée. La comparaison est donc descriptive et ne peut pas établir que la VNS a causé les changements observés.

Figure 6. Trajectoire longitudinale de la sévérité des crises chez un patient chirurgical de contrôle représentatif du NSQIP.

Interprétation

Limites interprétatives et méthodologiques

En organisant en trajectoires trimestrielles les informations dispersées dans les notes cliniques, cette approche a rendu les variations entre patients plus faciles à observer. Néanmoins, l’analyse était limitée aux symptômes documentés lors des contacts cliniques et ne pouvait pas caractériser les événements survenus entre les consultations. Les dossiers VNS provenaient d’un seul centre médical, et les évaluations de la sévérité dépendaient de l’interprétation humaine de textes narratifs. Une validation externe est nécessaire pour déterminer si des performances similaires peuvent être obtenues dans d’autres contextes.

Les chercheurs ont également examiné les associations entre les symptômes dans un modèle de prédiction utilisé en aval. L’analyse de l’explicabilité a décrit la manière dont le modèle utilisait les caractéristiques des symptômes ; elle n’a pas identifié le processus décisionnel interne du LLM et n’a pas testé les voies biologiques impliquant le nerf vague. Ces associations peuvent être influencées par la rareté de certains symptômes et par les différences dans les pratiques de documentation. Le rééchantillonnage des notes plutôt que des patients a pu produire des intervalles de confiance trop étroits, car certains patients avaient fourni plusieurs notes. Les petits sous-groupes démographiques empêchent également de tirer des conclusions fermes sur l’équité du modèle.

Recherches futures

De futures études multicentriques pourraient utiliser une documentation standardisée des symptômes et comparer les trajectoires dérivées du modèle à des mesures rapportées par les patients, à des journaux de crises et à des évaluations objectives afin de déterminer quelles informations manquent dans les notes de routine. Les symptômes rares mais cliniquement importants, notamment les idées suicidaires, nécessitent des échantillons de validation plus importants et une évaluation spécifique des taux de faux négatifs. Pour déterminer si les changements associés à la VNS dépassent ceux qui peuvent être attribués à l’évolution naturelle de la maladie ou aux effets généraux de la chirurgie, il faudrait des groupes de comparaison appariés en fonction du diagnostic, des symptômes initiaux et de l’intensité du suivi, ainsi que des analyses prédéfinies entre les groupes. Ces études contribueraient à définir le rôle approprié de l’analyse automatisée des dossiers médicaux dans le suivi clinique.

Ces résultats sont pertinents pour la discussion plus large sur le suivi des réponses à la stimulation du nerf vague, mais ils ne doivent pas être interprétés comme des données en faveur des dispositifs auriculaires destinés au grand public. L’étude a examiné un processus fondé sur un LLM appliqué à des notes cliniques de patients ayant reçu une VNS implantée. Elle n’a pas testé les produits ZenoWell, la taVNS à domicile ni la capacité d’un dispositif à améliorer les symptômes. ZenoWell's Luna Plus sont des dispositifs de stimulation non invasive appliquée au niveau de l’oreille, conçus autour de routines répétables ; Luna Plus ajoute des conseils optionnels dans une application ainsi qu’un historique des séances. Leurs fonctionnalités et tout changement rapporté par les utilisateurs doivent être évalués séparément. Les travaux futurs devraient étudier les dispositifs à domicile avec un suivi prospectif des symptômes et des critères d’évaluation clairement définis.

Référence

Thakkar V, Silverman GM, Putzer M, et al. Longitudinal symptom severity tracking in vagus nerve stimulation patients: a 2-stage LLM-based pipeline with explainable AI. JAMIA Open. 2026;9(5):ooag195. https://doi.org/10.1093/jamiaopen/ooag195