ChatGPT و سایر LLM ها چگونه کار می کنند – و بعد کجا می توانند بروند

چت ربات های مجهز به هوش مصنوعی مانند مانند ChatGPT و Google Bard مطمئناً دارند یک لحظه—نسل بعدی ابزارهای نرم‌افزار مکالمه‌ای وعده می‌دهند که همه چیز را از در اختیار گرفتن جستجوهای وب ما گرفته تا تولید منابع بی‌پایان ادبیات خلاقانه تا به خاطر سپردن تمام دانش جهان انجام دهند تا مجبور نباشیم.

ChatGPT، Google Bard، و سایر ربات‌های مشابه آنها، نمونه‌هایی از مدل‌های زبان بزرگ یا LLM، و ارزش بررسی نحوه عملکرد آنها را دارد. این بدان معناست که می‌توانید بهتر از آن‌ها استفاده کنید، و درک بهتری از آنچه در آن‌ها خوب هستند (و آنچه واقعاً نباید به آن‌ها اعتماد کرد) داشته باشید.

مانند بسیاری از سیستم‌های هوش مصنوعی – مانند سیستم‌هایی که برای تشخیص صدای شما یا تولید عکس‌های گربه طراحی شده‌اند، LLM‌ها بر روی حجم عظیمی از داده‌ها آموزش می‌بینند. شرکت‌هایی که پشت سر آن‌ها هستند، در مورد افشای اینکه دقیقاً از کجا این داده‌ها می‌آیند، بسیار محتاط بوده‌اند، اما سرنخ‌های خاصی وجود دارد که می‌توانیم به آنها نگاه کنیم.

به عنوان مثال، مقاله تحقیقاتی معرفی LaMDA (مدل زبانی برای گفتگو) برنامه‌ها) مدلی که Bard بر اساس آن ساخته شده است، ویکی‌پدیا، «تالارهای عمومی» و «اسناد کد از سایت‌های مرتبط با برنامه‌نویسی مانند سایت‌های پرسش و پاسخ، آموزش‌ها و غیره» را ذکر می‌کند. در همین حال، Reddit می‌خواهد برای دسترسی به مکالمات متنی 18 ساله خود، شارژ را شروع کند و StackOverflow به تازگی اعلام کرد قصد دارد شارژ را نیز آغاز کند. مفهوم اینجا این است که LLM ها تا این لحظه از هر دو سایت به عنوان منبع، کاملاً رایگان و به پشتوانه افرادی که آن منابع را ساخته و استفاده کرده اند، استفاده گسترده ای کرده اند. واضح است که بسیاری از مواردی که در وب به صورت عمومی در دسترس است توسط LLM ها خراشیده و تجزیه و تحلیل شده است.

همه این داده‌های متنی، از هر کجا که آمده باشند، از طریق یک شبکه عصبی پردازش می‌شوند، نوعی موتور هوش مصنوعی که از چندین گره و لایه تشکیل شده است. این شبکه ها به طور مستمر نحوه تفسیر و درک داده ها را بر اساس مجموعه ای از عوامل، از جمله نتایج آزمون و خطای قبلی، تنظیم می کنند. اکثر LLM ها از معماری شبکه عصبی خاصی استفاده می کنند به نام یک ترانسفورماتور، که دارای برخی ترفندها به ویژه برای پردازش زبان است. (GPT بعد از Chat مخفف Generative Pretrained Transformer است.)

به طور خاص، یک ترانسفورماتور می تواند مقادیر زیادی متن را بخواند، الگوهایی را در نحوه ارتباط کلمات و عبارات با یکدیگر مشخص کند و سپس بسازد. پیش بینی در مورد کلمات بعدی شاید شنیده باشید که LLM ها با موتورهای تصحیح خودکار سوپرشارژ مقایسه می شوند، و این در واقع خیلی دور از انتظار نیست: ChatGPT و Bard واقعاً چیزی نمی دانند، اما در تشخیص اینکه کدام کلمه به دنبال کلمه دیگری می آید بسیار خوب هستند. زمانی که به یک مرحله به اندازه کافی پیشرفته می رسد مانند فکر و خلاقیت واقعی به نظر می رسد.

یکی از نوآوری های کلیدی این ترانسفورماتورها مکانیسم توجه به خود است. توضیح آن در یک پاراگراف دشوار است، اما در اصل به این معنی است که کلمات در یک جمله به صورت مجزا در نظر گرفته نمی‌شوند، بلکه در ارتباط با یکدیگر به روش‌های مختلف پیچیده هستند. این اجازه می دهد تا سطح بیشتری از درک را نسبت به آنچه که در غیر این صورت ممکن بود. هر بار چت بات ترانسفورماتور. این ایده تصحیح خودکار همچنین توضیح می‌دهد که چگونه خطاها می‌توانند وارد شوند. در سطح اساسی، ChatGPT و Google Bard نمی‌دانند چه چیزی دقیق است و چه چیزی نیست. آنها به دنبال پاسخ هایی هستند که قابل قبول و طبیعی به نظر می رسند و با داده هایی که بر روی آنها آموزش دیده اند مطابقت دارند.