Limites

Limites du modèle de langage

L'analyse repose sur un modèle de langage (LLM) qui, malgré ses performances, présente des limites structurelles.

• Hallucinations — Le modèle peut produire des affirmations plausibles mais fausses. Les passes multiples et la vérification de fiabilité réduisent ce risque sans l'éliminer.
• Sensibilité culturelle — Les nuances propres à chaque culture politique nationale peuvent être mal interprétées, surtout pour les pays moins représentés dans les données d'entraînement.
• Variabilité — Deux analyses du même texte peuvent produire des résultats légèrement différents. La structure en plusieurs passes stabilise les résultats.
• Dépendance au modèle — Les mises à jour du modèle peuvent modifier les résultats. Les versions sont tracées pour assurer la reproductibilité.

Limites de la détection rhétorique

• Ironie et second degré — L'IA peine à distinguer un usage sincère d'un usage ironique d'une technique rhétorique.
• Contexte non-verbal — Le ton, les gestes, les silences et les regards ne sont pas accessibles dans un texte écrit.
• Références implicites — Les allusions culturelles, historiques ou médiatiques locales peuvent passer inaperçues.
• Faux positifs — Un argument légitime peut être identifié comme technique rhétorique si sa formulation ressemble à un mécanisme connu.
• Faux négatifs — Une technique subtile ou inédite peut ne pas être détectée par les grilles existantes.

Limites du scoring

• Un score n'est pas un verdict — C'est un indicateur de lecture, pas un jugement moral ou politique.
• Les seuils sont conventionnels — La frontière entre un score "modéré" et "élevé" est définie par convention, pas par une vérité absolue.
• Comparabilité limitée — Comparer le score d'un discours de campagne avec celui d'un texte de loi a peu de sens. Le contexte compte.
• Pas de pondération qualitative — Tous les indicateurs ont le même poids, alors que certains sont plus graves que d'autres dans la réalité.

Limites de l'analyse distributionnelle

• Analyse qualitative — Sans données chiffrées, l'impact est estimé, pas mesuré. Les directions et intensités sont des approximations.
• Groupes non mentionnés — Si un texte ne mentionne pas un groupe, l'outil ne peut pas deviner l'impact sur ce groupe.
• Effets indirects — Les effets de second ordre (réactions de marché, comportements adaptatifs) sont rarement capturés.

Ce que l'outil n'est pas