Discord-ის AI მოდერაციის ხარვეზი: 8 000-ზე მეტი მომხმარებელი შეცდომით დაიბლოკა

Discord-მა ოფიციალურად აღიარა, რომ ხელოვნური ინტელექტის მოდერაციის სისტემაში არსებული ხარვეზის გამო, ბოლო ორი თვის განმავლობაში 8 000-ზე მეტი მომხმარებელი შეცდომით დაიბლოკა. სისტემამ სრულიად უწყინარი გამოსახულებები — მათ შორის ელექტრონული ცხრილები, საჭადრაკო დაფები, თამაშის ტექსტურები და თეთრი თუ ნაცრისფერი გამჭვირვალე ფონები — მავნე კონტენტად მიიჩნია.

კომპანიის განმარტებით, აღნიშნული პრობლემა მომხმარებლის ანგარიშებზე მაისიდან მოქმედებდა. გასულ უქმეებზე, სანამ ტექნიკური გუნდი ხარვეზს აღმოაჩენდა და გამოასწორებდა, კიდევ 200 მომხმარებელი დაიბლოკა. ამჟამად ყველა დაზარალებული ანგარიშის აღდგენის პროცესი მიმდინარეობს. ეს ინციდენტი კიდევ ერთხელ უსვამს ხაზს იმ გამოწვევებს, რომლებიც თან ახლავს AI-ზე დაფუძნებულ მოდერაციას, როდესაც პლატფორმები მასშტაბური კონტროლისთვის სულ უფრო მეტად ეყრდნობიან ავტომატიზებულ სისტემებს.

X-ზე (ყოფილი Twitter) გამოქვეყნებულ დეტალურ განმარტებაში Discord-მა განმარტა, რომ მათი უსაფრთხოების ავტომატიზებული სისტემა ატვირთულ მასალას ცნობილი მავნე კონტენტის მონაცემთა ბაზებს ადარებს. მიუხედავად იმისა, რომ ტექნოლოგია უკანონო მასალის გამოსავლენადაა შექმნილი, კომპანია აღიარებს, რომ მსგავსების ძიებისას შესაძლოა ცრუ დადებითი შედეგები (false positives) დაფიქსირდეს.

როგორ მუშაობს სისტემა და რა გახდა შეცდომის მიზეზი

Discord-ის უსაფრთხოების სტანდარტული პროცედურის მიხედვით, სისტემის მიერ მონიშნულ კონტენტს ყოველთვის ამოწმებს ნდობისა და უსაფრთხოების (Trust & Safety) გუნდის წევრი, სანამ რაიმე ზომა იქნება მიღებული. თუმცა, კონკრეტულმა ხარვეზმა გამოიწვია ის, რომ სისტემამ ადამიანის ჩარევის გარეშე, მყისიერად დაბლოკა მომხმარებლები.

• კონტენტის შედარება: სისტემა ატვირთულ ფაილებს ადარებს მავნე მასალების მონაცემთა ბაზას.
• მსგავსების იდენტიფიცირება: ხარვეზის გამო, უწყინარი გეომეტრიული ფიგურები და ბადისებრი პატერნები სისტემამ სახიფათო მასალად აღიქვა.
• ავტომატური ბლოკირება: ნაცვლად იმისა, რომ საკითხი ადამიან მოდერატორს გადასცემოდა, სისტემამ ანგარიშები დაუყოვნებლივ გააუქმა.

მომხმარებელთა რეაქცია და grid-პატერნების პრობლემა

X-სა და Reddit-ზე მომხმარებლები აცხადებდნენ, რომ მათი ანგარიშები სამუდამოდ დაიბლოკა მხოლოდ კვადრატული ბადისებრი გამოსახულებების ატვირთვის გამო. არსებობს ვარაუდი, რომ Discord-ის AI ინსტრუმენტები განსაკუთრებით მგრძნობიარე გახდა მსგავსი პატერნების მიმართ, რადგან მათ ხშირად იყენებენ მავნე კონტენტის (მათ შორის NSFW და ბავშვთა ექსპლუატაციის ამსახველი მასალის) ავტომატური დეტექციისგან დასამალად.

დაზარალებული მომხმარებლები სოციალურ ქსელებში უკმაყოფილებას გამოხატავენ. ბევრისთვის Discord-ის ანგარიშის დაკარგვა სერიოზული დარტყმაა, რადგან პლატფორმას იყენებენ სამუშაოდ, გეიმინგ თემებთან კომუნიკაციისთვის ან ახლობლებთან კავშირის შესანარჩუნებლად. ერთ-ერთი მომხმარებელი, რომელიც თამაშების დირექტორია, აღნიშნავს, რომ მისი ანგარიში თამაშის ტექსტურების გამო დაიბლოკა, რაც მის პროფესიულ საქმიანობას საფრთხეს უქმნის, რადგან Discord-ი მისი ძირითადი საკომუნიკაციო არხია.

მსგავსი შემთხვევები სხვა პლატფორმებზე

Discord არ არის ერთადერთი კომპანია, რომელსაც ავტომატიზებული მოდერაციის გამო პრობლემები შეექმნა:

• Meta (Instagram და Facebook): გასულ წელს მომხმარებლები მასობრივ, აუხსნელ ბლოკირებებზე ჩიოდნენ. მიუხედავად ეჭვებისა, Meta-ს საჯაროდ არ დაუდასტურებია AI-ს შეცდომა, თუმცა ზედამხედველობის საბჭო (Oversight Board) მეტ გამჭვირვალობას ითხოვს.
• Tumblr: გასულ წელს პლატფორმაზე მომხმარებელთა ანგარიშების მასობრივი გაუქმება დაფიქსირდა მკაფიო განმარტებების გარეშე.

Discord-ის წარმომადგენლები აცხადებენ, რომ ამჟამად მუშაობენ უსაფრთხოების დამატებით მექანიზმებზე, რათა მომავალში მსგავსი მასშტაბური შეცდომები თავიდან აიცილონ.