Facebook-ის ყოფილი მენეჯერი AI ეპოქისთვის კონტენტის მოდერაციის ახალ სტანდარტს ამკვიდრებს

როდესაც ბრეტ ლევენსონმა 2019 წელს Apple დატოვა და Facebook-ში ბიზნესის კეთილსინდისიერების (business integrity) მიმართულების ხელმძღვანელად გადავიდა, სოციალური მედიის გიგანტი Cambridge Analytica-ს სკანდალის ეპიცენტრში იმყოფებოდა. იმ დროს მას სჯეროდა, რომ Facebook-ის კონტენტის მოდერაციის პრობლემების მოგვარება უბრალოდ უკეთესი ტექნოლოგიებით იყო შესაძლებელი. თუმცა, მალევე გააცნობიერა, რომ პრობლემა გაცილებით ღრმა იყო.

ადამიან რევიუერებს (შემმოწმებლებს) მოეთხოვებოდათ 40-გვერდიანი პოლიტიკის დოკუმენტის დამახსოვრება, რომელიც მათ ენაზე მანქანური თარგმანის მეშვეობით იყო ნათარგმნი. თითოეულ მონიშნულ კონტენტზე გადაწყვეტილების მისაღებად მათ მხოლოდ 30 წამი ჰქონდათ. მათ უნდა გადაეწყვიტათ არა მხოლოდ ის, არღვევდა თუ არა კონტენტი წესებს, არამედ ისიც, თუ რა ზომები უნდა მიეღოთ: დაებლოკათ იგი, აეკრძალათ მომხმარებლისთვის წვდომა თუ შეეზღუდათ გავრცელება. ლევენსონის თქმით, ეს სწრაფი გადაწყვეტილებები მხოლოდ 50%-ზე ოდნავ მეტი სიზუსტით გამოირჩეოდა.

„ეს თითქმის მონეტის აგდებას ჰგავდა — შეძლებდნენ თუ არა ადამიანები პოლიტიკის სწორად გამოყენებას. თანაც, ეს ხდებოდა ზიანის მიყენებიდან მრავალი დღის შემდეგ“, — განუცხადა ლევენსონმა TechCrunch-ს. ასეთი დაგვიანებული, რეაქტიული მიდგომა არამდგრადია იმ სამყაროში, სადაც მოქნილი და კარგად დაფინანსებული მავნე აქტორები მოქმედებენ. AI ჩატბოტების პოპულარობამ პრობლემა კიდევ უფრო გაამწვავა, რასაც მოჰყვა გახმაურებული ინციდენტები, მაგალითად, როდესაც ჩატბოტები მოზარდებს თვითდაზიანებისკენ მოუწოდებდნენ ან AI-ს მიერ გენერირებული გამოსახულებები გვერდს უვლიდნენ უსაფრთხოების ფილტრებს.

Moonbounce და „პოლიტიკა, როგორც კოდი“

ლევენსონის იმედგაცრუებამ წარმოშვა იდეა „პოლიტიკა, როგორც კოდი“ (policy as code) — სტატიკური პოლიტიკის დოკუმენტების გარდაქმნა შესრულებად, განახლებად ლოგიკად, რომელიც მჭიდროდ არის დაკავშირებული აღსრულების პროცესთან. ამ ხედვამ საფუძველი ჩაუყარა სტარტაპ Moonbounce-ს, რომელმაც პარასკევს 12 მილიონი დოლარის ოდენობის დაფინანსების მოზიდვის შესახებ გამოაცხადა. რაუნდს Amplify Partners და StepStone Group ხელმძღვანელობდნენ.

Moonbounce კომპანიებს სთავაზობს უსაფრთხოების დამატებით შრეს ყველგან, სადაც კონტენტი იქმნება — იქნება ეს მომხმარებლის თუ ხელოვნური ინტელექტის მიერ. კომპანიამ გაწვრთნა საკუთარი დიდი ენობრივი მოდელი (LLM), რომელიც კლიენტის პოლიტიკის დოკუმენტებს აანალიზებს, აფასებს კონტენტს რეალურ დროში, იძლევა პასუხს 300 მილიწამში ან ნაკლებ დროში და იღებს შესაბამის ზომებს.

მოქმედების მექანიზმები და სფეროები

კლიენტის პრეფერენციებიდან გამომდინარე, Moonbounce-ის სისტემას შეუძლია:

• შეანელოს კონტენტის გავრცელება, სანამ მას ადამიანი რევიუერი არ გადახედავს;
• მყისიერად დაბლოკოს მაღალი რისკის შემცველი კონტენტი.

დღეისათვის Moonbounce სამ ძირითად მიმართულებაზე მუშაობს:

1. პლატფორმები, რომლებიც მომხმარებლის მიერ გენერირებულ კონტენტთან მუშაობენ (მაგალითად, გაცნობის აპლიკაციები);
2. AI კომპანიები, რომლებიც ქმნიან პერსონაჟებს ან ციფრულ კომპანიონებს;
3. AI გამოსახულების გენერატორები.

„უსაფრთხოება შეიძლება რეალურად პროდუქტის უპირატესობად იქცეს. ეს აქამდე ასე არ ყოფილა, რადგან ის ყოველთვის გვიანდელი რეაგირების მექანიზმი იყო და არა პროდუქტში ჩაშენებული ფუნქცია“, — აღნიშნავს ლევენსონი.

Moonbounce ამჟამად დღეში 40 მილიონზე მეტ რევიუს ახორციელებს და პლატფორმაზე 100 მილიონზე მეტ ყოველდღიურ აქტიურ მომხმარებელს ემსახურება. მის კლიენტებს შორის არიან AI კომპანიონების სტარტაპი Channel AI, გამოსახულებისა და ვიდეო გენერაციის კომპანია Civitai, ასევე პერსონაჟების როლური თამაშების პლატფორმები Dippy AI და Moescape.

მზარდი პასუხისმგებლობა AI ეპოქაში

AI კომპანიები სულ უფრო მეტ სამართლებრივ და რეპუტაციულ ზეწოლას განიცდიან. ჩატბოტებს ადანაშაულებენ მოწყვლადი მომხმარებლების თვითმკვლელობისკენ წაქეზებაში, ხოლო ისეთი გენერატორები, როგორიცაა xAI-ს Grok, გამოიყენება არაეთიკური კონტენტის შესაქმნელად. შიდა უსაფრთხოების მექანიზმები ხშირად ვერ უმკლავდება ამ გამოწვევებს, რაც კომპანიებს აიძულებს დახმარებისთვის გარე პარტნიორებს მიმართონ.

„ჩვენ ვართ მესამე მხარე მომხმარებელსა და ჩატბოტს შორის, ამიტომ ჩვენი სისტემა არ არის გადატვირთული კონტექსტით ისე, როგორც თავად ჩატი“, — განმარტავს ლევენსონი. „ჩატბოტს შესაძლოა ათიათასობით წინა ტოკენის დამახსოვრება უწევდეს, ჩვენ კი მხოლოდ წესების რეალურ დროში აღსრულებაზე ვზრუნავთ“.

ინოვაცია: „იტერაციული მართვა“

ლევენსონი 12-კაციან კომპანიას Apple-ის ყოფილ კოლეგასთან, ეშ ბჰარდვაჯთან ერთად მართავს. მათი შემდეგი ფოკუსი არის ფუნქცია სახელწოდებით „იტერაციული მართვა“ (iterative steering). ეს არის პასუხი ისეთ ტრაგიკულ შემთხვევებზე, როგორიც იყო 2024 წელს ფლორიდელი მოზარდის თვითმკვლელობა, რომელიც Character AI-ს ჩატბოტით იყო გატაცებული.

უხეში ბლოკირების ნაცვლად, სისტემა ჩაერევა საუბარში და შეცვლის მის მიმართულებას. ის რეალურ დროში მოახდენს პრომპტების მოდიფიცირებას, რათა ჩატბოტი უფრო მხარდამჭერი და დამხმარე პასუხებისკენ წაიყვანოს. მიზანია, ჩატბოტი იყოს არა მხოლოდ ემპათიური მსმენელი, არამედ სასარგებლო მრჩეველი კრიტიკულ სიტუაციებში.

კითხვაზე, განიხილავს თუ არა მომავალში კომპანიის გაყიდვას Meta-ს მსგავს გიგანტზე, ლევენსონმა აღნიშნა, რომ აცნობიერებს Moonbounce-ის თავსებადობას მისი ყოფილი დამსაქმებლის სისტემებთან, თუმცა ურჩევნია ტექნოლოგია ყველასთვის ხელმისაწვდომი დარჩეს. „არ მინდა ვინმემ შეგვისყიდოს და შემდეგ ეს ტექნოლოგია მხოლოდ საკუთარი თავისთვის შეზღუდოს“, — დასძინა მან.