स्वतंत्र आवाज़। नई नज़र। MAPMYTIMES हिन्दी
MapMyTimesहिन्दी
English ↗

स्वास्थ्य दावों पर एआई चैटबॉट एकमत हों, तब भी अक्सर गलत: अध्ययन

तीन अग्रणी एआई मॉडल 108 में से 90 स्वास्थ्य दावों पर एकमत थे, लेकिन इनमें से 31% फैसले गलत निकले।

लैपटॉप के पास रखा डॉक्टर का स्टेथोस्कोप, प्रतीकात्मक तस्वीर
गलती बताएँ

अगर कई एआई चैटबॉट किसी स्वास्थ्य संबंधी दावे पर एक जैसा जवाब दें, तो इसका मतलब यह नहीं कि जवाब सही है। 14 नवंबर 2026 को जर्नल साइंटिफिक रिपोर्ट्स में प्रकाशित एक अध्ययन यही बताता है।

रूस के सेंट पीटर्सबर्ग स्थित एचएसई यूनिवर्सिटी की सोशल एंड कॉग्निटिव इन्फॉर्मेटिक्स लैबोरेटरी के शोधकर्ताओं ने जांचा कि क्या बड़े भाषा मॉडल (LLM) स्वास्थ्य से जुड़े छोटे दावों को भरोसेमंद ढंग से परख सकते हैं। उन्होंने पाया कि सबसे उन्नत मॉडल जब आपस में सहमत थे, तब भी उनका साझा फैसला लगभग हर तीसरी बार गलत निकला।

परीक्षण कैसे हुआ

टीम ने 108 छोटे स्वास्थ्य दावों का एक संग्रह तैयार किया, जिसे 'RuHealth' नाम दिया गया। डॉक्टरों ने कई चरणों में इनकी समीक्षा की: 40 दावे सही, 40 गलत और 28 विवादित माने गए। दस LLM से हर दावे को सही, गलत या विवादित बताने को कहा गया। इनमें सामान्य उपयोग वाले अग्रणी ('फ्रंटियर') मॉडल, रूसी भाषा के लिए बने मॉडल और चिकित्सा के लिए विशेष मॉडल शामिल थे।

हर दावे की जांच रूसी भाषा में और उसके जांचे-परखे अंग्रेज़ी अनुवाद में की गई। मॉडल के जवाबों में यादृच्छिकता तय करने वाली 'टेम्परेचर' सेटिंग को बदल-बदलकर हर बार तीन दौर चलाए गए। शोधपत्र के मुताबिक इस तरह करीब 90,000 फैसले दर्ज हुए।

शोध में क्या मिला

  • फ्रंटियर मॉडलों का प्रदर्शन सबसे अच्छा रहा और उनका मैक्रो-F1 सटीकता स्कोर 64 से 70 के बीच रहा, लेकिन लेखकों के अनुसार कोई भी मॉडल भरोसेमंद नहीं था।
  • मॉडलों ने 59.8% फैसलों में दावों को 'विवादित' बताया, जबकि असल में केवल लगभग 26% दावे ही विवादित थे।
  • गलत दावों को मॉडल लगातार पकड़ने में चूकते रहे।
  • बहुमत के आधार पर जवाब तय करने से भी नतीजे नहीं सुधरे।

सबसे अहम नतीजा तीन फ्रंटियर मॉडलों से जुड़ा है, जिन्होंने 108 में से 90 दावों पर एक जैसा फैसला दिया। इन सर्वसम्मत फैसलों में से 31% गलत थे। 28 गलत मामलों में से 26 में मॉडलों ने उन दावों को 'विवादित' बताया जो असल में सही (14) या गलत (12) थे।

लेखकों ने इस प्रभाव को 'कंसेंसस मिराज' यानी 'सहमति की मृगतृष्णा' कहा है। उनके अनुसार प्रॉम्प्ट के शब्द बदलने और रूसी व अंग्रेज़ी के बीच भाषा बदलने पर भी यह प्रभाव बना रहा।

यह क्यों अहम है

शोधपत्र में कहा गया है कि ऑनलाइन स्वास्थ्य जानकारी की जांच के लिए LLM को तेज़ी से एक उपकरण के रूप में सुझाया जा रहा है, और आम धारणा है कि कई मॉडलों की सहमति भरोसे का संकेत है। शोधकर्ताओं का कहना है कि कम से कम उनके परीक्षण में, स्वास्थ्य दावों पर मौजूदा LLM की आपसी सहमति इस बात का सबूत नहीं है कि जवाब चिकित्सकीय रूप से सही है।

अध्ययन में 108 दावों की जांच हुई, इसलिए इसके निष्कर्ष उन्हीं दावों और परखे गए मॉडलों पर लागू होते हैं। लोग चैटबॉट की स्वास्थ्य सलाह पर कितना अमल करते हैं, यह इस अध्ययन में नहीं जांचा गया।

अध्ययन के बारे में

एलेना आर्टेमेंको, ओलेस्या कोल्त्सोवा, सर्गेई निकोलेंको, एंटन सुरकोव और अन्ना प्रोब्स्ट का यह शोधपत्र जर्नल को 12 अगस्त को मिला और 31 अक्टूबर को स्वीकार किया गया। इसे एचएसई यूनिवर्सिटी के बेसिक रिसर्च प्रोग्राम के तहत वित्तीय सहायता मिली और लेखकों ने किसी हितों के टकराव से इनकार किया है। यह लेख सभी के लिए निःशुल्क उपलब्ध है।

PS

एआई चैटबॉट की सहमति सही जवाब की गारंटी नहीं: अध्ययन | MapMyTimes