LocalAI: جایگزینی برای REST API OpenAI

LocalAI یک API جایگزین REST برای استنتاج محلی است که با الزامات OpenAI API سازگار است. این مدل‌ها را قادر می‌سازد تا با استفاده از سخت‌افزار درجه مصرف‌کننده به‌صورت محلی یا به‌صورت پیش‌فرض اجرا شوند و از خانواده‌های مدل‌های مختلفی که با قالب ggml سازگار هستند، پشتیبانی می‌کند.

LocalAI: جایگزینی برای REST API OpenAI

LocalAI یک API جایگزین REST برای استنتاج محلی است که با الزامات OpenAI API سازگار است. این مدل‌ها را قادر می‌سازد تا با استفاده از سخت‌افزار درجه مصرف‌کننده به‌صورت محلی یا به‌صورت پیش‌فرض اجرا شوند و از خانواده‌های مدل‌های مختلفی که با قالب ggml سازگار هستند، پشتیبانی می‌کند.

هوش مصنوعی محلی هنوز در مراحل اولیه خود است، اما این پتانسیل را دارد که ابزار مفیدی برای توسعه دهندگان و محققانی باشد که نیاز به اجرای مدل های هوش مصنوعی به صورت محلی دارند.

استفاده

LocalAI به‌طور پیش‌فرض به‌عنوان تصویر ظرف می‌آید.

ساده ترین روش برای شروع LocalAI استفاده از docker-compose است:

git clone https://github.com/go-skynet/LocalAI

سی دی LocalAI

# (اختیاری) یک تگ LocalAI خاص را بررسی کنید
# git checkout -b build 

# مدل های خود را در مدل ها کپی کنید/
cp your-model.bin models/

# (اختیاری) فایل .env را برای تنظیم مواردی مانند اندازه زمینه و رشته ها ویرایش کنید
# vim .env

# با docker-compose شروع کنید
docker-compose up -d -- همیشه بکش
# یا می توانید تصاویر را با:
# docker-compose up -d --build

# اکنون API در localhost:8080 قابل دسترسی است
حلقه http://localhost:8080/v1/models
# {"object":"list"،"data":[{"id":"your-model.bin"،"object":"model"}]}

curl http://localhost:8080/v1/completions -H "Content-Type: application/json" -d '{
     "model": "your-model.bin"،
     "اعلان": "خیلی وقت پیش در کهکشانی بسیار دور"،
     "دما": 0.7
   }'

Docker

نمونه ای از راه اندازی API با ‘docker’:

docker run -p 8080:8080 -ti --rm quay.io/go-skynet/local-ai :latest --models-path /path/to/models --context-size 700 --threads 4

ساخت محلی:

برای ساختن تصویر کانتینر هوش مصنوعی محلی می‌توانید از docker استفاده کنید:

# تصویر را بسازید
docker build -t LocalAI .
Docker LocalAI

را اجرا می کند

یا می‌توانید باینری با make بسازید:

ساخت ساخت

ساخت بر روی مک

ساخت بر روی Mac (M1 یا M2) کار می کند، اما ممکن است لازم باشد برخی از پیش نیازها را با استفاده از brew نصب کنید.

موارد زیر توسط یک کاربر mac آزمایش شده و کار می کند. توجه داشته باشید که این از docker برای اجرای سرور استفاده نمی کند:

# وابستگی ساخت نصب
دم نصب cmake
دم نصب برو

# مخزن را شبیه سازی کنید
git clone https://github.com/go-skynet/LocalAI.git

سی دی LocalAI

# باینری را بسازید
ساختن

# دانلود gpt4all-j در مدل ها/
wget https://gpt4all.io/models/ggml-gpt4all-j.bin -O models/ggml-gpt4all-j

# از یک الگو از نمونه ها استفاده کنید
cp -rf prompt-templates/ggml-gpt4all-j.tmpl models/

# LocalAI را اجرا کنید
./local-ai --models-path ./models/ --debug

# اکنون API در localhost:8080 قابل دسترسی است
حلقه http://localhost:8080/v1/models

curl http://localhost:8080/v1/chat/completions -H "Content-Type: application/json" -d '{
     "model": "ggml-gpt4all-j"،
     "messages": [{"role": "user"، "content": "حالت چطوره؟"}]،
     "دما": 0.9
   }'

LocalAI را در Kubernetes اجرا کنید

LocalAI را می توان در داخل Kubernetes با فرمان نصب کرد.

افزودن مخزن فرمان:

هلم ریپو افزودن go-skynet https://go-skynet.github.io/helm-charts/

یک فایل values.yaml با تنظیمات خود ایجاد کنید:

استقرار:
  تصویر: quay.io/go-skynet/local-ai:latest
  env:
    موضوعات: 4
    حجم متن: 1024
    modelsPath: "/models"
# به صورت اختیاری یک PVC ایجاد کنید، PV را روی LocalAI Deployment نصب کنید،
# و یک مدل را دانلود کنید تا فهرست مدل ها از قبل پر شود
حجم مدلها:
  فعال: درست است
  آدرس اینترنتی: "https://gpt4all.io/models/ggml-gpt4all-j.bin"
  پی وی سی:
    اندازه: 6Gi
    حالت های دسترسی:
    - ReadWriteOnce
  اعتبار:
    # مقدار اختیاری برای هدر احراز هویت دسترسی اولیه HTTP
    پایه: "" # 'username:password' base64 کدگذاری شده است
سرویس:
  نوع: ClusterIP
  حاشیه نویسی: {}
  # در صورت استفاده از متعادل‌کننده بار AWS، باید مهلت زمانی بی‌حرکتی پیش‌فرض متعادل‌کننده بار 60s را لغو کنید.
  # service.beta.kubernetes.io/aws-load-balancer-connection-idle-timeout: "1200"

نصب نمودار فرمان:

به‌روزرسانی مخزن هلم
فرمان نصب local-ai go-skynet/local-ai -f values.yaml

مزایای استفاده از هوش مصنوعی محلی

• کاهش تأخیر: با حذف نیاز به درخواست‌ها در سرور دور، هوش مصنوعی محلی می‌تواند تأخیر را به حداقل برساند. این به ویژه برای برنامه‌هایی که نیاز به واکنش‌های بی‌درنگ دارند، مانند بازی و روباتیک مفید است.
• بهبود حریم خصوصی: با ذخیره داده ها در دستگاه محلی، هوش مصنوعی محلی می تواند حریم خصوصی را افزایش دهد. این به ویژه برای برنامه‌هایی که با داده‌های حساس سروکار دارند، مانند مراقبت‌های بهداشتی و بانکداری مفید است.
• صرفه جویی در پول: با حذف نیاز به پرداخت برای منابع رایانش ابری، هوش مصنوعی محلی می تواند در هزینه صرفه جویی کند. این به ویژه برای برنامه‌هایی مفید است که فقط گاهی اوقات استفاده می‌شوند یا نیاز به تجزیه و تحلیل داده‌های کوچک دارند.

اگر می خواهید مدل های هوش مصنوعی را به صورت محلی اجرا کنید، هوش مصنوعی محلی یک انتخاب عالی است. این ابزار مفیدی برای بهبود عملکرد، امنیت و مقرون به صرفه بودن برنامه های شما است.

همچنین e2b: توسعه دهنده نرم افزار مجازی خود را ایجاد کنید با استفاده از هوش مصنوعی.

ویژگی های LocalAI

• استفاده ساده: استفاده از LocalAI ساده است، حتی برای تازه کارها. مستندات ساده و مختصر هستند و یک جامعه کاربر قوی مشتاق کمک هستند.
• قدرتمند:  LocalAI یک ابزار بسیار قوی است که ممکن است برای ایجاد برنامه‌های کاربردی پیچیده هوش مصنوعی استفاده شود. هنوز در حال کار است، اما این پتانسیل را دارد که روش ساخت هوش مصنوعی را تغییر دهد.
• انعطاف پذیر:  هوش مصنوعی محلی قابل انطباق است و می توان از آن برای ساخت برنامه های هوش مصنوعی در طیف گسترده ای از زبان ها و چارچوب ها استفاده کرد.

اگر به یک ابزار قوی و سازگار برای اجرای مدل‌های هوش مصنوعی به صورت محلی نیاز دارید، هوش مصنوعی محلی انتخابی عالی است. استفاده از آن ساده است و تعداد زیادی کاربر دارد که مشتاق کمک هستند.

این مقاله برای کمک به یادگیری هوش مصنوعی محلی است. ما اطمینان داریم که برای شما مفید بوده است. لطفاً نظرات و انتقادات خود را در بخش نظرات زیر به اشتراک بگذارید.