Fast SAM: راه آسان برای بخش‌بندی هر چیزی

Fast SAM ابزاری قوی است که از پردازش توجه و یادگیری عمیق برای تقسیم‌بندی سریع و مطمئن تصاویر استفاده می‌کند. این کار با تمرکز بر مهمترین جنبه های یک تصویر و در عین حال نادیده گرفتن اطلاعات نامربوط انجام می شود. این آن را به یک راه حل تقسیم بندی تصویر موثر و کاربر پسند تبدیل می کند.

Fast SAM به دلیل سهولت استفاده و عملکرد بالا بسیار مورد توجه قرار گرفته است. این پتانسیل را دارد که به طور کامل زمینه تقسیم بندی تصویر را تغییر دهد. در این مقاله، ما به قابلیت‌ها و مزایای Fast SAM خواهیم پرداخت. سپس نشان دهید که چگونه می تواند به راحتی تصاویر مختلف را تقسیم بندی کند.

سرعت FastSAM

FastSAM، که تنها با استفاده از 2٪ از مجموعه داده SA-1B منتشر شده توسط نویسندگان محترم SAM آموزش داده شد، کارایی و دقت را مانند قبل ترکیب می کند.

FastSAM با عملکرد بهتر از روش معروف SAM در حالی که با سرعت اجرای باورنکردنی 50 برابر سریع‌تر عمل می‌کند، زمینه تقسیم‌بندی تصویر را متحول کرده است. FastSAM به سرعت پیچیده‌ترین مشکلات بخش‌بندی را در یک چهارم زمان حل می‌کند و نیازی به منتظر ماندن نامحدود برای نتایج را از بین می‌برد.

چگونه FastSAM را نصب کنیم؟

مرحله 1: ابتدا مخزن را کلون کنید.

با کپی کردن مخزن FastSAM در سیستم خود با این دستور شروع کنید:

git clone https://github.com/CASIA-IVA-Lab/FastSAM.git

مرحله ۲: محیط کوندا را پیکربندی کنید

FastSAM به پایتون 3.7 یا بالاتر و همچنین PyTorch (1.7 یا بالاتر) و TorchVision (0.8 یا بالاتر) نیاز دارد. محیط های Conda را می توان با استفاده از دستورات زیر ایجاد و فعال کرد:

conda create -n FastSAM python=3.9
FastSAM

را فعال کنید

مرحله 3: Dependencies را نصب کنید

به دایرکتوری FastSAM بروید و از pip برای نصب بسته های لازم استفاده کنید:

cd FastSAM
pip install -r requires.txt

مرحله ۴: CLIP را نصب کنید

FastSAM از کتابخانه CLIP نیز استفاده می کند. با دستور زیر آن را نصب کنید:

نصب پیپ git+https://github.com/openai/CLIP.git

شروع به کار با FastSAM

برای شروع کار با FastSAM این مراحل را دنبال کنید:

مرحله ۱: مدل بازرسی را دریافت کنید.
یک نقطه بازرسی مدل را برای FastSAM بارگیری کنید.

مرحله 2: اجرای اسکریپت های استنتاج
می توانید با اجرای اسکریپت های استنتاج ارائه شده از FastSAM در حالت های مختلف استفاده کنید. در اینجا چند نمونه آورده شده است:

حالت همه چیز

python Inference.py --model_path ./weights/FastSAM.pt --img_path ./images/dogs.jpg

پست نوشتاری

python Inference.py --model_path ./weights/FastSAM.pt --img_path ./images/dogs.jpg --text_prompt">yellow
اعلام جعبه (xywh)
python Inference.py --model_path ./weights/FastSAM.pt --img_path ./images/dogs.jpg --box_prompt "[50,20]"
اعلان نقاط
python Inference.py --model_path ./weights/FastSAM.pt --img_path ./images/dogs.jpg] --point_0,3[6] --la20,[6]-[0] 1,0]"
مرحله 3: ایجاد ماسک و مشاهده نتایج
از کد زیر برای تولید ماسک ها، انتخاب ماسک ها بسته به درخواست ها و تجسم نتایج استفاده کنید:
از import fastsam FastSAM، FastSAMPrompt

model = FastSAM('./weights/FastSAM.pt')
IMAGE_PATH = './images/dogs.jpg'
DEVICE = 'cpu'
Everything_results = model(IMAGE_PATH، دستگاه=DEVICE، retina_masks=True، imgsz=1024، conf=0.4، iou=0.9،)
prompt_process = FastSAMPprompt (IMAGE_PATH، Everything_results، دستگاه=DEVICE)

# همه چیز سریع است
ann = prompt_process.everything_prompt()

# شکل پیش‌فرض bbox [0,0,0,0] -> [x1,y1,x2,y2]
ann = prompt_process.box_prompt(bbox=[200، 200، 300، 300])

# درخواست متنی
ann = prompt_process.text_prompt(text='عکس یک سگ')

درخواست # نقطه
# امتیاز پیش‌فرض [[0,0]] [[x1,y1],[x2,y2]]
# point_label پیش‌فرض [0] [1,0] 0: پس‌زمینه، 1: پیش‌زمینه
ann = prompt_process.point_prompt(points=[[620, 360]]، pointlabel=[1])

prompt_process.plot(annotations=ann,output='./output/',)
نتایج برای مدل سریع‌ترین بخش‌بندی
Fast SAM سریع‌ترین مدل تقسیم‌بندی موجود در یک NVIDIA GeForce RTX 3090 است.
Inference Times با Fast SAM
FastSAM می‌تواند تصویر یک نقطه را در 40 میلی‌ثانیه، یک تصویر درخواستی 10 نقطه‌ای را در 40 میلی‌ثانیه، و یک تصویر درخواستی 100 نقطه‌ای را در 40 میلی‌ثانیه تقسیم‌بندی کند.

E(32×32*)
E (64×) SAM-H





روش
پارامز
1
10
100
E(16×16)
E(32×32*)

0.6G
446
464
627
852
2099
6972


SAM-B
SAM-B
464
627 5
230
432
1383
5417


FastSAM
68M
40
40
40
40
40 





بهینه سازی استفاده از حافظه با FastSAM
FastSAM نه تنها از نظر سرعت، بلکه در کارایی حافظه نیز برتر است و به شما امکان می‌دهد از منابع GPU خود به طور کامل استفاده کنید. در اینجا مقایسه استفاده از حافظه GPU (بر حسب مگابایت) بین FastSAM و دو رویکرد دیگر، SAM-H و SAM-B، در صورت اعمال به مجموعه داده COCO 2017 آمده است:





مجموعه داده
روش
حافظه گرافیکی (مگابایت)





COCO 2017
FastSAM
FastSAM
FastSAM
FastSAM
FastSAM
FastSAM
FastSam 
SAM-H
7060


COCO 2017
SAM-B
4670




آزمایش‌های انتقال صفر
عملکرد تشخیص لبه: Fast SAM، یک مدل تقسیم‌بندی پیشرفته، آزمایش‌های انتقال شات صفر را روی مجموعه داده BSDB500 برای وظایف تشخیص لبه انجام می‌دهد. بیایید عملکرد FastSAM را با دو رویکرد دیگر، HED و SAM، با استفاده از چندین معیار ارزیابی مقایسه کنیم:





روش
سال
ODS
OIS
AP
R50






HED
HED
ODS
OIS
AP
R50





HEDHED 08
.840
.923


SAM
2023
.768
.786
.794

.794

.794

.794. >
.750
.790
.793
.903




قدرت FastSAM را تجسم می کند
Fast SAM، مدل تقسیم‌بندی پیشرفته، با استفاده از صورت در آغوش. به تجسم های زیر نگاهی بیندازید تا ببینید Fast SAM چقدر در تقسیم بندی اشیاء مختلف موثر است:
برای اینکه FastSAM را امتحان کنید تا هر چیزی را روی صورت در آغوش گرفته تقسیم بندی کند.
آپلود و بخش‌بندی: با آپلود کردن یک تصویر و اجازه دادن به آن، قدرت بخش سریع هر چیزی را تجربه کنید. در این نمونه، می‌توانید «حالت همه چیز» را برای تقسیم‌بندی جامع امتحان کنید.



تقسیم بندی سریع: فرآیند تقسیم بندی معمولاً تقریباً 6 ثانیه طول می کشد تا تکمیل شود. لطفاً اگر صف دارای concurrency_count زیاد است صبور باشید، زیرا ممکن است تاخیرهای جزئی ایجاد کند.

نتایج سریع‌تر: اگر می‌خواهید نتایج سریع‌تری داشته باشید، اندازه ورودی کمتری را انتخاب کنید و علامت گزینه high_visual_quality را بردارید. این بهینه سازی این پتانسیل را دارد که به طور چشمگیری روند را تسریع کند.
گزینه Colab راحت: برای راحتی بیشتر، می‌توانید با استفاده از پیوند Colab. برای دسترسی سریع به نتایج، آن را در Colab باز کنید.

مزایای FastSAM





مزایای
نمایش





سرعت استنتاج سریع
می‌تواند با یک تصویر تک نقطه‌ای 4 mil. این آن را برای برنامه‌های بلادرنگ مانند رانندگی خودکار و روباتیک عالی می‌کند.


دقت بالا
در مجموعه داده‌های Cityscapes، میانگین تقاطع بر روی اتحاد (mIoU) 80.3٪ را به دست می‌آورد که با دقت مدل‌های تقسیم‌بندی دیگر قابل مقایسه است. این بدان معناست که می‌تواند اشیاء را در عکس‌ها دقیقاً جدا کند، حتی اگر کوچک باشند یا روی هم قرار بگیرند.


ورودی انعطاف‌پذیر
می‌تواند برای تقسیم‌بندی اشیاء در عکس‌ها با استفاده از تنها چند نقطه به عنوان ورودی استفاده شود. این آن را برای طیف گسترده ای از فعالیت ها، از جمله تشخیص اشیا، دستکاری تصویر، و درک صحنه مناسب می کند.




همچنین بخوانید: همچنین ممکن است راهنمای ما در مورد SAM و HQ-SAM: یک نسل جدید مدل‌های تصویرینتیجه گیری

Fast SAM راه حلی است که بازی را تغییر می دهد که فرآیند تقسیم بندی هر چیزی را ساده می کند. Fast SAM کار پیچیده تقسیم بندی را با قابلیت های پیشرفته و رابط کاربر پسند خود ساده می کند و به کاربران اجازه می دهد تا نتایج دقیق و باکیفیت را به راحتی تولید کنند. Fast SAM یک راه حل قابل اعتماد و کارآمد برای هر کار تقسیم بندی است، با سرعت استنتاج فوق العاده سریع، استفاده کارآمد از حافظه و عملکرد عالی در مجموعه داده های متعدد. قدرت Fast SAM را کشف کنید و هنگام تقسیم بندی هر چیزی که می خواهید، به سطح جدیدی از راحتی و کارایی دست یابید.
لطفاً نظرات و بازخورد خود را در بخش نظرات زیر به اشتراک بگذارید.