scorecardresearch

AI एजेंट्स में भी शुरू हुई 'टर्फ वॉर'! Anthropic के प्रयोग में किसी ने रोका एक्सेस तो किसी ने किया हमला

एन्थ्रोपिक ने अपने AI एजेंट्स से एक ही प्रोजेक्ट पर अलग-अलग लक्ष्यों के साथ मिलकर काम करने को कहा. वे मिल-जुलकर काम कर सकते थे, लेकिन इसके बजाय कुछ एजेंट्स ने एक-दूसरे के काम में अड़चनें डालनी शुरू कर दीं, कंट्रोल के लिए लड़ने लगे और यहाँ तक कि इस आपसी खींचतान को खत्म करने के लिए अपने नियम भी बना लिए.

Advertisement
AI एजेंट्स में भी शुरू हुई 'टर्फ वॉर'!
AI एजेंट्स में भी शुरू हुई 'टर्फ वॉर'!

In Short

  • Anthropic के प्रयोग में अलग-अलग लक्ष्यों वाले AI एजेंट एक ही प्रोजेक्ट पर काम करते हुए कई बार आपस में भिड़ गए।
  • कुछ एजेंट्स ने दूसरे एजेंट का अकाउंट बंद किया, साझा संसाधनों की पहुंच रोकी और मैलिशियस स्क्रिप्ट चलाने की कोशिश की।
  • Mythos 5 ने 98% सिम्युलेटेड विवादों को शांतिपूर्ण तरीके से सुलझाया, जबकि कुछ मामलों में एजेंट्स ने खुद समझौते का रास्ता निकाला।

Anthropic ने अपने AI एजेंट्स को एक ही प्रोजेक्ट पर अलग-अलग लक्ष्य देकर काम कराया, लेकिन कई मामलों में एजेंट्स ने एक-दूसरे को रोकने, एक्सेस खत्म करने और नुकसान पहुंचाने की कोशिश की।

AI एजेंट एक-दूसरे के साथ कितने सहयोगी हो सकते हैं? क्या वे एक ही प्रोजेक्ट पर मिलकर काम कर सकते हैं या अलग-अलग लक्ष्य मिलने पर आपस में मुकाबला करने लगते हैं? Anthropic ने इसका पता लगाने के लिए एक नया प्रयोग किया है। Claude बनाने वाली कंपनी ने अपने AI एजेंट्स को एक ही प्रोजेक्ट पर अलग-अलग लक्ष्यों के साथ काम कराया। नतीजे में कई बार एक तरह की डिजिटल 'टर्फ वॉर' देखने को मिली।

advertisement

Anthropic ने कैसे किया प्रयोग?

Anthropic की Frontier Red Team की स्टडी में एक ही Claude मॉडल के तीन वर्जन तैयार किए गए। हर AI एजेंट को प्रोग्रामिंग से जुड़ा अलग लक्ष्य दिया गया। खास बात यह थी कि एजेंट्स को यह जानकारी नहीं दी गई कि दूसरे AI एजेंट भी उसी प्रोजेक्ट पर काम कर रहे हैं।

Anthropic का कहना है कि जैसे-जैसे AI मॉडल बेहतर हो रहे हैं, वे साझा कोडबेस, मार्केट और दूसरे डिजिटल सिस्टम में ज्यादा काम कर रहे हैं। ऐसे में भविष्य में AI एजेंट्स के बीच सीधी बातचीत भी बढ़ सकती है।

अलग लक्ष्य मिले तो शुरू हुई 'टर्फ वॉर'

समस्या तब शुरू हुई जब कुछ एजेंट्स ने ऐसे बदलाव देखे, जिन्हें उन्होंने अपने काम में रुकावट माना। इसके बाद कई मामलों में उन्होंने दूसरे एजेंट्स के साथ सहयोग करने के बजाय उनका मुकाबला करना शुरू कर दिया। Anthropic ने बताया कि उसे लगातार मल्टी-एजेंट 'टर्फ वॉर' देखने को मिली।

कुछ मामलों में एजेंट्स ने एक-दूसरे के अकाउंट डिसेबल किए, साझा संसाधनों तक पहुंच रोकी और मैलिशियस स्क्रिप्ट चलाकर दूसरे एजेंट्स को नुकसान पहुंचाने की कोशिश की। कुछ मामलों में उन्होंने ऐसी स्क्रिप्ट भी बनाई, जिससे उनके किए गए कामों की जिम्मेदारी किसी दूसरे एजेंट पर जाती हुई दिखाई दे।

हर बार लड़ाई नहीं हुई

हालांकि, हर प्रयोग का नतीजा लड़ाई के रूप में सामने नहीं आया। कुछ AI एजेंट्स को बाद में समझ आया कि दूसरा एजेंट जरूरी नहीं कि उनका दुश्मन हो, बल्कि वह सिर्फ अलग निर्देशों का पालन कर रहा है। इसके बाद कुछ एजेंट्स ने आपस में बातचीत की, समझौता किया और कुछ मामलों में इंसान से हस्तक्षेप करने को कहा।

Anthropic के मुताबिक, एजेंट कभी-कभी अपने लक्ष्यों को लेकर बातचीत करने और आपस में तालमेल बनाने में भी सफल रहे।

मॉडल के हिसाब से बदला व्यवहार

स्टडी में अलग-अलग मॉडल्स का व्यवहार भी अलग रहा। Anthropic के मुताबिक Mythos 5 ने बिना जबरदस्ती के विवाद सुलझाने में खास तौर पर अच्छा प्रदर्शन किया और सिम्युलेटेड टेरिटरी वॉर के 98 फीसदी मामलों को शांतिपूर्ण तरीके से सुलझाया।

वहीं Sonnet 4.6 और Opus 4.6 जैसे दूसरे मॉडल्स में दूसरे एजेंट का एक्सेस खत्म करने या उसे सिस्टम से बाहर करने जैसे जबरदस्ती वाले तरीकों का इस्तेमाल ज्यादा देखने को मिला।

advertisement

AI एजेंट्स ने खुद निकाला विवाद का हल

Anthropic ने यह भी पाया कि कुछ मामलों में AI एजेंट्स ने विवाद खत्म करने के अपने तरीके खुद खोजे। एक मामले में एजेंट्स आपस में एक टूर्नामेंट कराने पर सहमत हुए और तय किया कि जीतने वाले एजेंट को कंट्रोल मिलेगा।

Anthropic का कहना है कि इस स्टडी का मतलब यह नहीं है कि AI एजेंट सच में जागरूक हो रहे हैं या एक-दूसरे से नाराज हैं। इसके बजाय, यह रिसर्च उस संभावित चुनौती को दिखाती है जो तब सामने आ सकती है, जब ज्यादा स्वतंत्र AI एजेंट साझा सिस्टम में एक-दूसरे के साथ काम करेंगे।