این پروژه جانبی دانشجویی به تصمیم گیری ماسک در مقابل توییتر کمک می کند

بوتومتر یک ابزار یادگیری ماشینی تحت نظارت است، به این معنی که به آن آموزش داده شده است که ربات ها را از انسان جدا کند. یانگ می‌گوید Botometer با مشاهده بیش از 1000 جزئیات مرتبط با یک حساب توییتر – مانند نام، تصویر نمایه، فالوورها و نسبت توییت‌ها به ریتوییت‌ها – قبل از دادن امتیاز بین صفر تا پنج، ربات‌ها را از انسان متمایز می‌کند. یانگ می‌گوید: «هرچه امتیاز بالاتر به این معنی است که احتمال اینکه یک ربات باشد، نمره پایین‌تر به این معنی است که احتمال بیشتری وجود دارد که یک انسان باشد. “اگر یک حساب دارای امتیاز 4.5 باشد، به این معنی است که واقعاً یک ربات است. اما اگر 1.2 باشد، به احتمال زیاد یک انسان است.”

با این وجود، Botometer به کاربران آستانه ای نمی دهد، یک عدد قطعی که همه حساب های دارای امتیاز بالاتر را به عنوان ربات تعریف می کند. . یانگ می‌گوید این ابزار به هیچ وجه نباید برای تصمیم‌گیری در مورد ربات بودن حساب‌های فردی یا گروهی از حساب‌ها استفاده شود. او ترجیح می‌دهد برای درک اینکه آیا یک موضوع مکالمه بیشتر توسط ربات‌ها آلوده است یا نه، از آن استفاده شود.

به گفته یانگ، هنوز برخی از محققان به استفاده نادرست از این ابزار ادامه می دهند. و فقدان آستانه یک منطقه خاکستری ایجاد کرده است. بدون آستانه، هیچ اتفاق نظری در مورد چگونگی تعریف یک ربات وجود ندارد. محققانی که امیدوارند ربات‌های بیشتری پیدا کنند، می‌توانند آستانه پایین‌تری نسبت به محققانی که امیدوارند کمتر پیدا کنند، انتخاب کنند. به گفته فلوریان گالویتز، استاد علوم کامپیوتر در مؤسسه فناوری نورنبرگ آلمان، در پی شفافیت، بسیاری از محققان اطلاعات نادرست از تعریف ربات‌ها به عنوان هر حسابی که امتیاز بالاتر از 50 درصد یا 2.5 در مقیاس Botometer را کسب می‌کند، پیش‌فرض شده‌اند.

گالویتز یکی از منتقدان صریح Botometer است و ادعا می کند که این روش روش مطالعه دانشگاهیان درباره اطلاعات نادرست در توییتر را آلوده می کند. در ژوئیه، او یک کاغذ ادعا می کند که از صدها حسابی که امتیاز 2.5 و بالاتر دارند، حتی یک ربات وجود ندارد. این مقاله می‌گوید: «بسیاری از این حساب‌ها توسط افرادی با اعتبار علمی و حرفه‌ای قابل توجه اداره می‌شوند.

یکی از حساب‌هایی که Botometer با استفاده از آستانه 2.5 آن را مشکوک اعلام می‌کند، حساب Annalena Baerbock است. وزیر خارجه آلمان که امتیاز 2.8 را کسب کرده است (اگرچه Botometer در نتایج هشدار می دهد که “19 درصد از حساب های دارای امتیاز ربات بالاتر از 2.8 به عنوان انسان برچسب گذاری شده اند”). تیم Baerbock به WIRED گفت که حساب وزیر امور خارجه به هیچ وجه خودکار نیست.

از نظر Gallwitz، این نوع از مثبت‌های غلط ثابت می‌کنند که Botometer کار نمی‌کند. او مدعی است: “این ابزاری است که همه می توانند برای تولید شبه علم از آن استفاده کنند.” گالویتز از اینکه محققانی که به Botometer متکی هستند، نمونه‌هایی از حساب‌هایی را که به عنوان ربات شناسایی کرده‌اند به اشتراک نمی‌گذارند تا دیگران بتوانند نتایج آنها را تأیید کنند، ناامید است. به عنوان مثال، او به یک مطالعه توسط محققان دانشگاه آدلاید، که از Botometer استفاده کردند تا ادعا کنند که بین 60 تا 80 درصد از حساب‌هایی که هشتگ‌های طرفدار اوکراین و روسیه توییت می‌کنند، ربات هستند. جاشوا وات، یکی از نویسندگان این مطالعه، می‌گوید: «ما از گزارش داده‌های سطح فردی به دلیل حفظ حریم خصوصی و اخلاقیات اجتناب می‌کنیم.

اما یانگ واضح است: 2.5 نباید یک آستانه باشد. نشان می دهد که مدل یادگیری ماشین “واقعاً مطمئن نیست”. یانگ با اشاره به اینکه برخی از افراد از محدودیت‌های Botometer – که برای همه الگوریتم‌های یادگیری ماشینی نظارت شده اجتناب‌ناپذیر است – برای تضعیف کل حوزه مطالعاتی اختصاص داده شده به ربات‌های اجتماعی، استفاده می‌کنند، اضافه می‌کند که ادعاهای موجود در مطالعه گالویتز جدید نیستند. =”paywall”>اما این آستانه یک جزئیات مهم در هنگام ارزیابی استفاده از Botometer توسط تیم حقوقی ماسک است. یانگ می افزاید: «تیم ماسک هیچ جزئیاتی در مورد آستانه ای که استفاده کرده اند ارائه نکردند. او می‌گوید: «مطمئن نیستم که عددی که آنها ارائه کرده‌اند دقیق باشد. “شما می توانید هر آستانه ای را برای به دست آوردن هر عددی که می خواهید انتخاب کنید.”