Les dangers des traductions et résumés automatiques par IA : un exemple
Les dangers des traductions et résumés automatiques par IA : un exemple
Les dangers des traductions et résumés automatiques par IA : un exemple
Je pense que c'est au niveau du résumé que ça merde. À mon avis la traduction aurait été plutôt bonne, surtout si on la compare à celle fournie par un non spécialiste, mais le résumé peut être difficile!
Par contre, Bard reste mauvais face à GPT-4. Je viens de tenter l'exercice. Ma prompt est le contenu de l'article avec la prompt "The following is a blog post by a Swedish open source developer and curl maintainer. Please summarize its content and main points in French:"
Le résultat:
CVE-2020-19909 et les problèmes avec le système CVE
Le développeur suédois en charge de curl raconte une mésaventure liée au système actuel de gestion des identifiants CVE (Common Vulnerabilities and Exposures). Voici les points principaux:
-
Notification inattendue: Le 25 août 2023, l'équipe de curl a été informée qu'une nouvelle vulnérabilité (CVE-2020-19909) avait été enregistrée pour leur projet. Ils n'en avaient pas été prévenus auparavant.
-
Gestion propre des problèmes: L'équipe de curl prend la sécurité au sérieux et traite elle-même les vulnérabilités signalées. Plus de 140 CVEs ont été documentés par eux. Il était donc surprenant qu'une autre entité soumette un CVE sans leur consultation.
-
Date étrange: Bien que le CVE ait été signalé en 2023, son identifiant indiquait 2020, ce qui était inhabituel.
-
Description du CVE: NVD (National Vulnerability Database) a décrit le problème comme une "vulnérabilité de débordement d'entier" dans curl 7.65.2 avec une gravité de 9.8/10, ce qui est presque la note la plus élevée possible.
-
Un problème déjà connu: Le développeur reconnaît ce problème. En 2019, un individu du nom de Jason Lee avait signalé un problème similaire, mais il avait été résolu comme un simple bug, et non une vulnérabilité de sécurité. Le correctif avait été publié en 2019.
-
Evaluation erronée: NVD semble avoir mal évalué la gravité de ce bug. Leur évaluation semble avoir été basée sur des mots-clés comme "débordement d'entier" plutôt que sur une compréhension réelle du problème.
-
Propagation de la désinformation: De nombreux sites reprennent désormais les données de NVD, propageant l'information erronée que le problème dans curl est critique.
-
Action à entreprendre: L'auteur prévoit de contester et de rejeter ce CVE.
En résumé, le développeur exprime sa frustration face au système actuel des CVE, en particulier la manière dont NVD gère et évalue les vulnérabilités, et comment cela peut conduire à des informations erronées.
Il faut comprendre que GPT-4 impressionne par le saut qualitatif en terme de compréhension des notions. Oui, les modèles de langage 6 mois avant lui hallucinent beaucoup plus et n'ont qu'une compréhension très, très superficielle voire mensongère de ce dont ils parlent. Même GPT-3.5 est à la limite de ça. GPT-4 est une catégorie au dessus.
-
Quel que soit la tâche confiée à une IA il faudra toujours un humain pour repasser derrière. Et parfois corriger les merdouilles d'une IA prend plus de temps que de faire la tâche soit même ! Ceci dit je reste épatée par les prouesses de DeepL, y a quand même un sacré potentiel !
J'avoue que les trad auto sur les docs technique c'est déjà assez chiant mais pourrait être pire en IA dans certains cas car beaucoup moins décelable..
Merci pour le partage!