پروژه gradient-free-optimizers

SimonBlanke/Gradient-Free-Optimizers

این پروژه یک کتابخانهٔ ساده و قابل اعتماد برای بهینه‌سازی بدون استفاده از گرادیان است که تکنیک‌های مختلفی از جمله بهینه‌سازی محلی، جهانی، مبتنی بر جمعیت و روش‌های ترتیبی را در فضای جستجوی عددی و گسسته ارائه می‌دهد. ️

کاربرد:

این کتابخانه زمانی مفید است که نتوان از روش‌های مبتنی بر گرادیان (مثل گرادیان نزولی) استفاده کرد — مثلاً وقتی تابع هدف غیرقابل دیفرانسیل، ناپیوسته یا تصادفی باشد. همچنین برای تنظیم هیپرپارامترهای مدل‌های یادگیری ماشین در فضای گسسته مناسب است.

در چه شرایطی بهتره استفاده شود؟

- وقتی فضای جستجو گسسته باشه (مثل تعداد لایه‌های شبکه عصبی)

- وقتی محاسبهٔ گرادیان ممکن یا عملی نباشه

- وقتی نیاز به روشی سریع و سبک بدون وابستگی‌های سنگین داشته باشیم

- وقتی می‌خواهیم از روش‌های فراابتکاری مثل الگوریتم ژنتیک یا جستجوی تصادفی استفاده کنیم

چند مثال از موارد استفاده

تنظیم هیپرپارامترهای مدل‌های یادگیری ماشین بدون نیاز به شبیه‌سازی گرادیان

بهینه‌سازی ترکیب ویژگی‌ها در مدل‌های دسته‌بندی

پیدا کردن بهترین ترکیب ابزارهای پردازش داده در یک پایپلاین گسسته

استفاده در محیط‌های تقویتی که تابع پاداش غیرهموار و گسسته است