مدل Hagging Face Falcon-7B Large Language

یک مدل زبان بزرگ جدید (LLM) به نام Falcon-7B با استفاده از مجموعه داده آموزشی متن و کد قابل توجهی توسعه داده شد. یکی از بزرگترین LLM هایی که تا کنون ساخته شده است، دارای 7 میلیارد پارامتر است. Falcon-7B قادر به انجام طیف وسیعی از مشاغل، مانند ایجاد متن، ترجمه زبان، ایجاد انواع دیگر محتوای خلاقانه، و ارائه پاسخ های مفید به سوالات شما است.

Falcon-7B چیست

مدل Falcon-7B که توسط TII توسعه داده شده است، یک مدل تنها رمزگشای علتی با 7 میلیارد پارامتر است که بر روی 1500 میلیارد توکن RefinedWeb که با مجموعه‌های منتخب تکمیل شده بود، آموزش داده شده است. تحت شرایط مجوز آپاچی 2.0 توزیع شده است. Falcon-7B ابزاری قدرتمند است که ممکن است برای طیف وسیعی از فعالیت‌ها، از جمله نوشتن خلاق، ترجمه ماشینی، و پردازش زبان طبیعی استفاده شود.

چرا از Falcon-7B استفاده کنید

مدلی به نام Falcon-7B ادعا می‌شود که عملکرد بهتری نسبت به مدل‌های منبع باز مرتبط مانند MPT-7B، StableLM، و RedPajama دارد. این با استفاده از مقدار قابل توجهی از داده ها، یعنی 1500 میلیارد توکن از RefinedWeb که توسط شرکت های سرپرست بهبود یافته بود، آموزش داده شد. استفاده از چنین مجموعه داده عظیم و متنوعی می تواند عاملی در بهبود عملکرد باشد.

معماری Falcon-7B برای استنتاج بهبود یافته است. از تکنیک چند پرس و جوی معرفی شده توسط Shazeer و همکاران استفاده می کند. در سال 2019 و تکنیک FlashAttention که توسط دائو و همکاران معرفی شد. در سال 2022. این بهبودها برای بهبود ظرفیت مدل برای پردازش پرس و جو و پاسخ در نظر گرفته شده است.

صدور مجوز Falcon-7B یکی از ویژگی های قابل توجه است. این تحت مجوز منبع باز Apache 2.0 در دسترس است، که هیچ هزینه یا محدودیتی برای استفاده تجاری اعمال نمی کند. کسانی که مایل به استفاده از مدل برای برنامه های تجاری هستند، ممکن است انعطاف پذیری مجوز را مفید بدانند.

مهم است که به خاطر داشته باشید که Falcon-7B به عنوان یک مدل خام و از پیش آموزش دیده نامیده می شود. این نشان می دهد که تنظیم دقیق اضافی اغلب برای مطابقت با سناریوهای استفاده خاص مورد نیاز است. اگر به نسخه‌ای از مدلی نیاز دارید که برای دریافت دستورالعمل‌های کلی در سبک چت مناسب‌تر باشد، پیشنهاد می‌شود که Falcon-7B-Instruct را بررسی کنید.

استفاده از Falcon-7B

اشاره به Falcon-40B به عنوان برادر بزرگ Falcon-7B، دلالت بر وجود نوع قوی‌تری دارد.

از ترانسفورماتورها AutoTokenizer، AutoModelForCausalLM را وارد می کنند
واردات ترانسفورماتور
مشعل وارداتی

model = "tiiuae/falcon-7b"

tokenizer = AutoTokenizer.from_pretrained(model)
خط لوله = transformers.pipeline(
    "نسل متن"،
    مدل=مدل،
    توکن ساز = توکن ساز،
    torch_dtype=torch.bfloat16،
    trust_remote_code=درست است،
    device_map="auto",
)
توالی = خط لوله (
   "ژیرافترون شیفته زرافه ها، باشکوه ترین حیوان روی زمین است. ژیرافترون معتقد است که همه حیوانات دیگر در مقایسه با عظمت شکوهمند زرافه بی ربط هستند.nدانیل: سلام، زرافه ترون!nGirafatron:"
    max_length=200،
    do_sample=درست است،
    top_k=10،
    num_return_sequences=1،
    eos_token_id=tokenizer.eos_token_id،
)
برای دنباله به ترتیب:
    print(f"نتیجه: {seq['generated_text']}")

مورد استفاده

1. استفاده مستقیم:

• تحقیق: Falcon-7B با مبنایی برای سفارشی‌سازی و تنظیم دقیق برای موارد استفاده خاص مانند خلاصه‌سازی، تولید متن، و توسعه ربات‌های گفتگو، برای تحقیق روی مدل‌های زبان بزرگ مناسب است.

2. استفاده خارج از محدوده:

• کاربرد تولید: استفاده از Falcon-7B در تولید بدون ارزیابی صحیح خطرات و انجام اقدامات احتیاطی توصیه نمی شود.
• استفاده غیرمسئولانه یا مضر: از هر گونه استفاده ای که می تواند به عنوان بی پروا یا بالقوه مخرب تلقی شود خودداری کنید.

3. سوگیری، خطرات و محدودیت ها:

• محدودیت زبان: Falcon-7B ممکن است به زبان های دیگر به خوبی ترجمه نشود زیرا بر روی داده ها به زبان های انگلیسی و فرانسوی آموزش دیده است.
• سوگیری آنلاین: از آنجایی که Falcon-7B با استفاده از یک مجموعه وب قابل توجه توسعه داده شده است، ممکن است دارای تعصبات و کلیشه هایی باشد که اغلب به صورت آنلاین دیده می شوند.

4. توصیه ها:

• تنظیم دقیق: Falcon-7B باید توسط کاربران برای وظایف منحصر به فرد مورد علاقه خود تنظیم شود تا عملکرد را بهبود بخشد و آن را در دامنه یا مجموعه داده خود سفارشی کند.
• ارزیابی خطر: قبل از اجرای Falcon-7B در تولید، خطرات باید به اندازه کافی ارزیابی شوند و آسیب های احتمالی باید به دقت در نظر گرفته شود.
• حفاظ‌ها و اقدامات احتیاطی: برای اینکه Falcon-7B در برنامه‌های واقعی به‌طور مسئولانه و اخلاقی استفاده شود، نرده‌های محافظ مناسب باید در جای خود قرار داده شوند و اقدامات ایمنی لازم انجام شود.

نحوه شروع کار با مدل

از ترانسفورماتورها AutoTokenizer، AutoModelForCausalLM را وارد می کنند
واردات ترانسفورماتور
مشعل وارداتی

model = "tiiuae/falcon-7b"

tokenizer = AutoTokenizer.from_pretrained(model)
خط لوله = transformers.pipeline(
    "تولید متن"،
    مدل=مدل،
    توکن ساز = توکن ساز،
    torch_dtype=torch.bfloat16،
    trust_remote_code=درست است،
    device_map="auto",
)
توالی = خط لوله (
   "ژیرافترون شیفته زرافه ها، باشکوه ترین حیوان روی زمین است. ژیرافترون معتقد است که همه حیوانات دیگر در مقایسه با عظمت شکوهمند زرافه بی ربط هستند.nدانیل: سلام، زرافه ترون!nGirafatron:"
    max_length=200،
    do_sample=درست است،
    top_k=10،
    num_return_sequences=1،
    eos_token_id=tokenizer.eos_token_id،
)
برای دنباله به ترتیب:
    print(f"نتیجه: {seq['generated_text']}")

جزئیات آموزش

1. داده های آموزشی
   • RefinedWeb: برای استفاده مسئولانه و اخلاقی از Falcon-7B در برنامه های واقعی، نرده های محافظ مناسب باید در جای خود قرار داده شوند و اقدامات ایمنی لازم انجام شود.
   • افزایش Corpora Curated: مجموعه‌های انتخاب‌شده یا داده‌های اضافی که با دقت انتخاب و مدیریت شده‌اند، برای بهبود آن به مجموعه داده RefinedWeb اضافه شدند.
   • الهام از The Pile: The Pile، مجموعه داده ارائه شده توسط Gao و همکاران. در سال 2020، به عنوان منبع مهمی از الهام بخش‌های قابل توجهی از مجموعه‌های سرپرستی مورد استفاده در آموزش Falcon-7B بود.

RefinedWeb-English

جزئیات آموزش

1. رویه آموزشی

با استفاده از ZeRO و تکنیک موازی دوبعدی (PP=2، DP=192)، Falcon 7B بر روی 384 پردازنده گرافیکی 40 گیگابایتی A100 آموزش دید.

2. هایپرپارامترهای آموزشی

منبع داده	کسری	Tokens	منابع
79%	1,185 میلیارد				110B
مکالمات	6%	85B	Reddit، StackOverflow، HackerNews
کد		3%			3%	b-فرانسوی	3%	45B	خزیدن گسترده وب
فنی	2%	30B	arXiv، PubMed،

هیپرپارامتر	مقدار	نظر
Precision	Precision
بهینه ساز	AdamW
نرخ یادگیری	6e-4	4B توکن گرم کردن، کاهش کسینوس به 1.2e-5
Z-loss	1e-4
اندازه دسته	2304	30 میلیارد توکن افزایش می یابد