LocalGPT: آینده مدیریت اسناد

LocalGPT پروژه ای است که به شما امکان می دهد از مدل های GPT برای برقراری ارتباط با اسناد خود در دستگاه محلی خود استفاده کنید. هیچ داده ای از گوشی هوشمند شما خارج نمی شود و کاملا خصوصی است. با استفاده از قدرت LLM، می‌توانید از LocalGPT برای طرح سؤالات در اسناد خود بدون اتصال آنلاین استفاده کنید. LocalGPT از LangChain، Vicuna-7B، و Instructor Embeddings تشکیل شده است.

از آنجایی که کسب‌وکارها داده‌های بیشتری تولید می‌کنند، نیاز به سیستم مدیریت اسناد امن، مقیاس‌پذیر و کاربرپسند افزایش می‌یابد. LocalGPT فناوری دشواری است که می‌تواند به کسب و کار جدید کمک کند. ما یک آموزش گام به گام در مورد LocalGPT در این مقاله به شما ارائه خواهیم داد.

پیش نیازها

• Python 3.10 یا بالاتر برای اجرای LocalGPT مورد نیاز است. با نسخه های قبلی پایتون ناسازگار است.
• ممکن است به یک کامپایلر C++ برای تولید چرخی در طول فرآیند نصب پیپ نیاز باشد که ممکن است منجر به پیام خطا شود.
• برای ویندوز 10 و 11
  • برای نصب کامپایلر C++ در ویندوز 10/11، موارد زیر را انجام دهید:
  • Microsoft Visual Studio 2022 را نصب کنید.
  • اطمینان حاصل کنید که عناصر زیر را در نظر گرفته اید:
  • ابزارهای توسعه C++ CMake برای پلتفرم ویندوز جهانی
  • نصب کننده MinGW را می توان از وب سایت MinGW دانلود کرد.
  • تنظیم را شروع کنید و جزء “gcc” را انتخاب کنید.

پیکربندی محیط

برای اجرای کد ارائه شده، ابتدا باید پیش نیازهای زیر را نصب کنید:

pip install -r requirements.txt

مجموعه داده آزمایشی

دستورالعمل‌هایی برای وارد کردن مجموعه داده خودتان.

همه و همه فایل‌های your.txt،.pdf یا.csv را در فهرست SOURCE_DOCUMENTS در روش load_documents() قرار دهید، و docs_path را با مسیر مطلق دایرکتوری source_documents جایگزین کنید.

انواع فایل پیش فرض فعلی عبارتند از.txt،.pdf،.csv، و.xlsx. اگر می خواهید از نوع فایل دیگری استفاده کنید، باید آن را به یکی از انواع فایل پیش فرض تبدیل کنید.

برای دریافت همه داده‌ها، فرمان زیر را اجرا کنید.

python ingest.py # پیش‌فرض جدا

برای تعیین یک دستگاه خاص، از گزینه نوع دستگاه استفاده کنید.

python ingest.py --device_type cpu 

برای فهرست کاملی از دستگاه‌های پشتیبانی‌شده، از راهنما استفاده کنید.

python ingest.py --help

ایندکسی ایجاد می‌کند که شامل ذخیره محلی بردار است. با توجه به اندازه مقالات شما، این کار کمی طول می کشد. شما می توانید هر تعداد اسناد را که بخواهید آپلود کنید و همه آنها در پایگاه داده جاسازی های محلی ذخیره می شوند. اگر می‌خواهید با پایگاه داده خالی شروع کنید، فهرست را حذف کنید.

توجه : اولین باری که این را اجرا می کنید، بیشتر طول می کشد زیرا مدل جاسازی باید دانلود شود. پس از آن، بدون نیاز به اتصال به اینترنت، به صورت محلی اجرا می شود.

برای پرسیدن سوال، از دستور زیر استفاده کنید:

python run_localGPT.py

و منتظر بمانید تا اسکریپت ورودی شما را بخواهد.

> درخواستی را وارد کنید:

یک عبارت را وارد کنید enter را فشار دهید. مدل LLM درخواست را تجزیه و تحلیل می کند و پاسخی را تولید می کند. همچنین چهار منبع از اسناد شما را که به عنوان زمینه استفاده می‌کرد، نمایش می‌دهد. می‌توانید بدون نیاز به راه‌اندازی مجدد اسکریپت، سؤالات بیشتری بپرسید. فقط کافی است منتظر بمانید تا دوباره درخواست ظاهر شود.

توجه: وقتی این اسکریپت را برای اولین بار اجرا می کنید، مدل vicuna-7B را از اینترنت دانلود می کند. سپس می‌توانید در حین اجرای استنتاج اسکریپت از اینترنت جدا شوید. داده های شما در محیط نزدیک شما باقی می ماند.

برای تکمیل اسکریپت، exit را تایپ کنید.

برای اجرای اسکریپت ها با استفاده از CPU

اسکریپت‌های ingest.py و run_localGPT.py در localGPT می‌توانند به‌طور پیش‌فرض از GPU شما استفاده کنند. این باعث می شود که آنها سریعتر بدود. اگر فقط یک CPU دارید، باز هم می توانید آنها را اجرا کنید، اما سرعت آنها کندتر خواهد بود. برای انجام این کار، cpu --device_type را به هر دو اسکریپت اضافه کنید.

تست‌های انتقال زیر را اجرا کنید:

python ingest.py --device_type cpu

برای پرسیدن سوال، از دستور زیر استفاده کنید

python run_localGPT.py --device_type cpu

نحوه کار

با استفاده از مدل‌های محلی صحیح و قابلیت LangChain، می‌توانید خط لوله کامل را به صورت محلی اجرا کنید، بدون اینکه اجازه دهید هیچ داده‌ای از محیط شما خارج شود و با عملکرد قابل احترام.

ingest.py سند را با ابزار LangChain تجزیه و تحلیل می‌کند و با InstructorEmbeddings جاسازی‌های محلی ایجاد می‌کند. سپس نتیجه را در یک پایگاه داده برداری محلی با استفاده از ذخیره سازی بردار Chroma ذخیره می کند.

run_localGPT.py پرس و جوها را درک می کند و با استفاده از یک LLM محلی (در این مثال Vicuna-7B) پاسخ ایجاد می کند. زمینه پاسخ‌ها از طریق یک جستجوی مشابه از فروشگاه برداری محلی جمع‌آوری می‌شود، که اطلاعات مناسب را از اسناد پیدا می‌کند.

این LLM محلی را می توان با هر LLM دیگری از صورت در آغوش گرفته تعویض کرد. مطمئن شوید که LLM انتخابی شما در قالب HF است.

مزایای استفاده از LocalGPT

استفاده از LocalGPT برای مدیریت اسناد مزایای زیادی دارد، مانند:

“است.با نگهداری مدل و اطلاعات به صورت محلی، کنترل بیشتری بر حریم خصوصی و امنیت داده‌ها ارائه می‌کند.

>

C. با قیمت‌گذاری مبتنی بر استفاده برای API‌های مبتنی بر ابر، که آن را برای استفاده با حجم بالا مقرون‌به‌صرفه‌تر می‌کند.

منافع	توضیحات
کاهش تأخیر	ارتباط شبکه با سرور راه دور را حذف می‌کند و در نتیجه زمان پاسخ‌دهی سریع‌تر
در دسترس بودن آفلاین	استفاده از مدل را بدون اتصال اینترنتی فعال فعال می‌کند، و آن را برای سناریوهای آفلاین یا کم اتصال مناسب می‌سازد.
سفارشی‌سازی و کنترل	اجازه می‌دهد سفارشی‌سازی، تنظیم دقیق و آزمایش با پارامترهای مدل و معماری‌ها را برای برآورده کردن الزامات خاص انجام دهد. >توسعه و آزمایش آفلاین را تسهیل می‌کند، امکان تکرار و آزمایش سریع را بدون تکیه بر خدمات خارجی یا اتصال به اینترنت فراهم می‌کند.
مدیریت منابع	انعطاف پذیری را در مدیریت منابع محاسباتی (CPU، حافظه، GPU) بر اساس الزامات خاص، بهینه‌سازی عملکرد کلاسی. p-element-caption”>مزایای استفاده از LocalGPT همچنین بخوانید: برای مروری جامع‌تر از Chatbots به راهنمای ما مراجعه کنید نتیجه گیری در نهایت، قابلیت‌های پیشرفته پردازش زبان طبیعی LocalGPT آماده تغییر مدیریت اسناد هستند. با ارائه بازیابی سریع اطلاعات، بهبود همکاری و تضمین حریم خصوصی داده ها، کاربران را در سراسر رشته ها توانمند می کند. برای درک پتانسیل کامل مخازن اسناد در عصر دیجیتال، LocalGPT را در آغوش بگیرید. لطفاً نظرات و انتقادات خود را در بخش نظرات زیر به اشتراک بگذارید.