Exemple de malhonnêteté logico-mathématique dans l'industrie
"La zone bonne est dans l'intervalle de confiance"
(par X.Hannonimh, technicien à la Compagnie Truc International), 18-30 Septembre 2008
---------- Introduction ----------
Ce qui est le plus rentable à court terme, c'est d'inventer de nouveaux produits et, même s'ils s'avèrent mauvais, de bâcler leur vérification et les clamer officiellement bons, validés Qualité, avec "preuve" mathématique compliquée effrayant le profane (le label Qualité, nous explique-t-on, sauvera l'industrie occidentale, la domination occidentale, la supérieure richesse occidentale). Je conteste ce mensonge commercial : sur un exemple particulier*, j'ai aisément cassé la faute mathématique/logique de l'argumentaire derrière. Je signale que si c'est découvert par les clients, tout va s'effondrer et que la rentabilité à moyen et long termes suggérerait d'adopter l'un de mes 4 remèdes, pour une base solide et honnête – quoique humble et beaucoup moins rentable à court terme.
N'importe quel auditeur (même administratif ou chinois) peut tout casser, instantanément. Il s'agit d'une énorme évidence, aucunement d'une géniale remise en question réservée aux experts de très haut vol. Percevoir cette faute demande le niveau de culture mathématique que j'avais à 17 ans et demi, ayant découvert les statistiques à 17 ans – je l'aurais compris à l'âge de 9 ans si les programmes mathématiques ne s'étaient pas égarés dans la théorie des ensembles, puis les espaces vectoriels, puis les transferts endomorphiques bijectifs, puis les calculs matriciel, différentiel, intégral, complexe. Mais la "Culture" et la "Science" sont ainsi bâties actuellement que la lucidité analytique n'y a aucune place, seules étant récompensées la vénération répétitive et le jonglage avec les vérités crédulement admises. Cet Occident me paraît condamné, et il le mérite (à mes yeux).
(* : on est parfois informé, ici ou là, de fautes de ce genre, comme un médicament clamé inoffensif mais s'avérant tueur, et l'enquête révèle que la vérification par le fabricant l'avait montré sans que cela apparaisse dans son dossier officiel, mensonger mais cru optimal commercialement – avant la catastrophe).
---------- Exposé ----------
Présentation officielle (d'apparence anodine) :
1- Le fabricant T d'outils de mesure exprime son standard de qualité ainsi : "Un bon outil est un outil rendant des mesures discordant (de 1 unité ou plus) vis à vis de l'outil-référent DANS MOINS DE 5% des mesures".
2- Le fabricant T déclare que le test du nouvel outil X sera accepté si l'intervalle de confiance (de son taux de discordance) est intégralement inférieur à 5%, ou contient la valeur 5%.
Appui :
- Texte signé par des mathématiciens professionnels diplômés, expérimentés, et approuvé par leur hiérarchie
- Texte entériné à l'unanimité par les ingénieurs techniques, docteurs es-science, et cadres de niveau post-doc
- Texte approuvé à l'unanimité par les ingénieurs qualité et leur hiérarchie garante de certification
- Texte approuvé à l'unanimité par les évaluateurs (experts rémunérés)
- Point n'ayant soulevé aucune objection des auditeurs, officiels ou clients
(Mon) OBJECTION :
- Ce critère revient a accepter un outil ayant une probabilité 97% d'être mauvais et 3% d'être bon (refus seulement à partir de >97,5% mauvais / <2,5% bon). Il faudrait honnêtement l'avouer aux clients, aux instances de certification, etc.
- Une autre approche est possible, pour garantir honnêtement les performances, au prix d'un complément d'étude et/ou en acceptant de sacrifier éventuellement l'annonce de concordance >95% ou/et de fiabilité à ±1 unité.
Réponse (que j'ai reçue) :
- L'outil X (comme les outils S, T, U, V, W validés de même avant lui) est bon puisque le taux de réclamation n'est pas énorme – parmi les très rares clients se payant l'outil-référent, aucun ne fait de très lourde étude démonstrative, et aucun ne conteste le discours sur l'intervalle de confiance inhérent aux petites études.
- Il est totalement exclu de revenir sur le "déjà-validé".
- Il n'est nullement prévu d'inclure dans les très officielles "analyses de risque" le risque lié à cette méthodologie : risque de mauvaise mesure pour le client, risque d'interdiction après audit sévère pour le fabricant (puis faillite éventuelle après scandale médiatique, et impossibilité de retrouver un emploi avec un tel passé, salissure éternelle du nom du grand patron).
- Il est évident pour tout le monde que l'outil X n'est pas parfait : rien n'est jamais totalement parfait, même l'outil référant n'est pas parfait.
- Pour les outils futurs, cette remarque (que j'ai émise il y a des années et ne fait que rappeler) pourra être prise en considération, à condition qu'elle ne soit pas pénalisante en performances annoncées ou en coût (autrement dit : elle continuera à être écartée).
Conséquences (pour moi) :
- Cela prouve que la supériorité hiérarchique, dans l'industrie technique à formation scientifique, ne correspond nullement à la rigueur logique, l'esprit analytique, la capacité créatrice, mais au sens du mensonge commercial acceptable, à l'efficacité pratique dans la gestion des choix bénéfice/investissement.
- L'intelligence plébiscitée semble donc la capacité de récitation et de tromperie rhétorique, aucunement la capacité à détecter les problèmes avant qu'ils aient des conséquences fâcheuses, à les comprendre, à les résoudre.
- Le prestige des diplômes scientifiques (universités ou grandes écoles) et de l'accréditation "Qualité" parait totalement usurpé.
---------- Annexes ----------
Annexe 1- Négative
Annexe 2- Positive
Pour ne pas trop mélanger les pourcentages, seront conservés en % les probabilités calculées (ou envisagées) et fréquences observées, tandis que le taux de discordances sera ici exprimé en valeur décimale (0,05 au lieu de 5%) - le problème serait quasiment identique pour une pièce usinée ne devant pas être plus longue que 0,05 mètres pour être "bonne".
Annexe 1 – Démolition (du mensonge)
Exemple :
4 petites études ont été effectuées sur l'outil X, donnant respectivement les estimations suivantes pour le taux de discordance (voulu < 0,05) :
• estimation 0,08 – intervalle de confiance (bilatéral, à 95%) 0,04-0,12 – incluant 0,05 donc jugé bon
• estimation 0,09 – intervalle de confiance(bilatéral, à 95%) 0,04-0,14 – incluant 0,05 donc jugé bon
• estimation 0,08 – intervalle de confiance (bilatéral, à 95%) 0,03-0,13 – incluant 0,05 donc jugé bon
• estimation 0,09 – intervalle de confiance (bilatéral, à 95%) 0,03-0,15 – incluant 0,05 donc jugé bon
. Bilan : pleinement acceptation, sans réserve, pour "taux de discordance < 0,05", mentionnant une confiance > 95%
. (Mon) objection : ce qui est confirmé 4 fois sur 4, c'est :
probabilité de taux < 0,05 (correct) très inférieure à 50% (mais pas inférieure à 2,5% seulement)
probabilité de taux > 0,05 (incorrect) très supérieure à 50% (sans dépasser 97,5% seulement)
Schéma de principe :
"0,08 de moyenne avec intervalle de confiance (à 95%) 0,04-0,12".
(Note : 95% est la surface relative dans l'intervalle, non l'amplitude de l'intervalle)
Calculs démonstratifs (exemples fictifs) :
• "0,08 de moyenne avec intervalle de confiance (à 95%) 0,04-0,12". Cas d'incertitude normale d'espérance 0,08 et d'écart-type 0,0204085
(ajusté pour 97,5% de probabilité au-dessus de 0,04)
--> probabilité (bon outil, <0,05) = 7% (7,0784%)
probabilité (mauvais outil, >0,05) = 93% (92,9216%)
• "0,080 de moyenne avec intervalle de confiance (à 95%) 0,049-0,111". Cas d'incertitude normale d'espérance 0,080 et d'écart-type 0,0158166
(ajusté pour 97,5% de probabilité au-dessus de 0,049)
--> probabilité (bon outil, <0,050) = 3% (2,8931%)
probabilité (mauvais outil, >0,050) = 97% (97,1069%)
Annexe 2 – Remèdes/Solutions (coûteuses)
R1 - Logique d'étude approfondie :
Ce n'est pas "soit prouvé bon, soit prouvé mauvais" (autrement dit "ce qui n'est pas prouvé-mauvais est forcément prouvé-bon") MAIS c'est "soit prouvé bon, soit prouvé mauvais, soit incertain" (autrement dit "ce qui n'est pas prouvé-mauvais peut soit être prouvé-bon soit incertain, et dans ce cas peut être plutôt-bon-à-confirmer ou plutôt-mauvais-à-confirmer").
Cas A: estimation moyenne < 0,05 (bon)
Sous-cas A1 : intervalle de confiance (unilatéral) ne contenant pas 0,05 --> prouvé-bon ("prouvé" à alfa % près, pour un intervalle de confiance à 100-alfa%)
Sous-cas A2 : intervalle de confiance (unilatéral) contenant 0,05 --> plutôt-bon-à-confirmer (complément d'étude pour resserrer l'intervalle de confiance)
Cas B: estimation moyenne > 0,05 (mauvais)
Sous-cas B1 : intervalle de confiance (unilatéral) ne contenant pas 0,05 --> prouvé-mauvais
Sous-cas B2 : intervalle de confiance (unilatéral) contenant 0,05 --> plutôt-mauvais-à-confirmer (complément d'étude pour resserrer l'intervalle de confiance)
[en termes de qualité technique, la situation est A1>A2>B2>B1]
Si le résultat est : A1, c'est gagné ; B1 : c'est perdu (abandon) ; A2 : il faut compléter l'étude en espérant atteindre A1 ; B2 : il faut compléter l'étude (en craignant d'atteindre B1) ou renoncer (abandon).
Clamer la conclusion A1 quand on est dans la situation B2 semble relever de l'incompétence ou la malhonnêteté.
R2 - Logique d'études complémentaires :
En nombre d'études indépendantes, puisque l'échec (B) a donné : 4/4 soit >3/4 (100% soit >75%), cela permet de fournir un autre intervalle de confiance de "outil mauvais" : 55,0% à 100% (d'après mon calcul binomial, avec "4 succès en 4 tirages", pour 95% de probabilité cumulée à partir de 201 demi-% balayant les possibles). En multipliant les études, l'intervalle de confiance de "outil mauvais" pourrait (si besoin) être restreint jusqu'à "95% à 100%". Mon calcul binomial montre que ce serait atteint avec le score 53 échecs (B)/53 tests, mais cela ne serait requis que pour avoir la PREUVE de "outil mauvais", le fait que la probabilité de "outil mauvais" soit >50% devrait suffire industriellement à rejeter ce projet d'outil - du moins en supposant l'industrie honnête, ne serait-ce que par peur de faillite si sont découverts de très majeurs défauts en qualité et sincérité.
R3 - Logique d'étude simplifiée :
Le jugement intuitif a raison quand il observe que le dossier de vérification se résume à l'incohérence suivante : "on a observé 8 ; 9 ; 8 ; 9 ; donc c'est bien confirmé inférieur à 5".
Positivement : sans intervalles de confiance, les observations moyennes BBBB conduisent simplement à la conclusion B, comme AAAA aurait conduit à la conclusion A. Les statistiques probabilistes ne seraient requises (afin de calculer les risques d'erreur) que pour statuer dans l'incertitude en cas de contradiction partielle, genre AAAB ou BAAA, il paraîtrait absurde qu'elles fassent gober une conclusion A au vu de BBBB.
R4 - Logique de correction :
Le but honnête serait de valider par la mise en condition A1 : au vu des performances obtenues, définir quel seuil (non-prédéfini) a été respecté. Ici, on renoncerait au prestigieux "discordances 0,05" pour valider le pratique "discordances 0,16" par exemple (voire 0,20 avec calcul d'intervalle de confiance sur la pire valeur potentielle), ou bien on renoncerait à la prestigieuse exactitude ±1 unité pour valider le pratique ±2 unités (ou ±3 unités si ±2 ne permet pas de générer la situation A1 avec "discordances 0,05").
Cette voie semble la seule faisant automatiquement passer du catastrophique constat B2 à l'acceptation A1 plutôt qu'au rejet B1 ou B. Sans mentir, en restreignant simplement les prétentions, quitte à déplaire au service marketing (et au service comptable, l'outil "moins génial que prévu" se vendant peu ou ne se vendant qu'à prix réduit).
Réserve philosophique/épistémologique : la science expérimentale tient toute sa force de prédictions risquant l'erreur et s'avérant couronnées de succès ; ce qui convient, comme validation scientifique, c'est donc de corriger après les 4 premières évaluations le niveau de performances promis (à la place de discordances 0,05 à ± 1 unité : discordances 0,16 à ±1 unité ou bien discordances 0,05 à ± 3 unités) puis de tester ceci en aveugle par 4 nouvelles évaluations.
Bilan :
- Les solutions honnêtes existent (ou je les ai inventées, elles ne demandent qu'un niveau élémentaire en statistiques), mais aboutissent à une validation de durée indéterminée et plus chère qu'avant, ou à un produit moins plaisant que prévu, ou à l'échec de validation (produit refusé, retour nul sur investissement). Alors que la pression industrielle (ou financière) commande d'impérativement sortir "dans les temps" et à moindre coût un outil déclaré excellent.
- "Donc" l'honnêteté (intellectuelle, logique, mathématique, technique, scientifique, statistique, probabiliste, philosophique, épistémologique) est discrètement sabordée, et le problème est étouffé par pression hiérarchique sur les esprits lucides.
- Il semble escompté que les auditeurs resteront des incompétents (focalisés sur le perfectionnisme administratif) ou des individus corruptibles (oubliant leurs objections s'ils sont "aidés" à devenir compréhensifs).
- Apparemment, seul un insuccès commercial amènerait une remise en question.
- Et selon moi, dans cette méthodologie mensongère pour valider un mauvais outil de mesure... résiderait la clé de l'effondrement, pour toute la civilisation occidentale, rien de moins. Rigolo, non ? (paranoïa et délire prêtent à sourire, quand aucune violence externe n'en découle).
