استقرار کارآمد مدل هوش مصنوعی بر روی دستگاه های لبه از طریق طراحی مشترک سخت افزار-نرم افزار

مقدمه

تکثیر دستگاه‌های لبه فرصت‌های جدیدی را برای کاربردهای هوش مصنوعی (AI) ایجاد کرده است تا در زمان واقعی به کار گرفته شوند و برنامه‌هایی مانند خانه‌های هوشمند، وسایل نقلیه خودران و اتوماسیون صنعتی را قادر می‌سازند. با این حال، منابع محاسباتی محدود و محدودیت‌های توان دستگاه‌های لبه، چالش‌های مهمی را برای استقرار مدل هوش مصنوعی ایجاد می‌کند. در این مقاله، تلاقی هوش مصنوعی، مهندسی نرم‌افزار و معماری را برای بهینه‌سازی عملکرد دستگاه لبه، با بهره‌گیری از پیشرفت‌های اخیر در کارایی مدل هوش مصنوعی و تکنیک‌های طراحی مشترک سخت‌افزار-نرم‌افزار بررسی می‌کنیم.

**چالش های استقرار مدل هوش مصنوعی در دستگاه های لبه **

دستگاه های لبه با منابع محاسباتی محدود خود از جمله CPU، حافظه و مصرف انرژی مشخص می شوند. مدل‌های سنتی هوش مصنوعی، که اغلب برای استقرار مبتنی بر ابر طراحی شده‌اند، برای دستگاه‌های لبه بهینه‌سازی نشده‌اند. در نتیجه، آنها می توانند منجر به:

• کاهش عملکرد: مدل های هوش مصنوعی ممکن است به طور موثر روی دستگاه های لبه اجرا نشوند که منجر به کاهش زمان پاسخ و کاهش دقت می شود.
• مصرف انرژی: مدل های هوش مصنوعی می توانند انرژی قابل توجهی مصرف کنند که می تواند برای دستگاه های لبه ای که با باتری کار می کنند نگران کننده باشد.
• محدودیت‌های حافظه: مدل‌های هوش مصنوعی می‌توانند به مقدار زیادی حافظه نیاز داشته باشند، که می‌تواند برای دستگاه‌های لبه‌ای با منابع حافظه محدود یک چالش باشد.

تکنیک های طراحی مشترک سخت افزار و نرم افزار

برای مقابله با این چالش ها، تکنیک های طراحی مشترک سخت افزار-نرم افزار به عنوان یک راه حل امیدوارکننده ظاهر شده اند. این تکنیک ها شامل طراحی اجزای سخت افزاری و نرم افزاری یک دستگاه لبه به صورت پشت سر هم و بهینه سازی آنها برای استقرار مدل هوش مصنوعی است.

1. هرس مدل

هرس مدل شامل حذف وزن ها و اتصالات غیر ضروری از یک مدل هوش مصنوعی، کاهش اندازه و نیازهای محاسباتی آن است. این تکنیک را می توان هم برای شبکه های عصبی و هم برای درخت های تصمیم به کار برد.

``پایتون مشعل وارداتی torch.nn را به عنوان nn وارد کنید

کلاس ModelPruning(nn.Module): def init(self): super(ModelPruning, self).init() self.fc1 = nn.Linear(784, 128) self.fc2 = nn.Linear(128, 10)

دف جلو (خود، x):
    x = torch.relu(self.fc1(x))
    x = self.fc2 (x)
    برگردان x

model = ModelPruning() pruned_model = torch.nn.utils.prune_l1_unstructured(model, 'weight', 0.1)

### **2. تقطیر دانش**

تقطیر دانش شامل انتقال دانش از یک مدل بزرگ و پیچیده هوش مصنوعی به مدل کوچکتر و ساده تر است. از این تکنیک می توان برای کاهش اندازه و نیازهای محاسباتی یک مدل هوش مصنوعی استفاده کرد.

``پایتون
مشعل وارداتی
torch.nn را به عنوان nn وارد کنید

تقطیر دانش کلاس (nn.Module):
    def __init__(self):
        فوق العاده (تقطیر دانش، خود).__init__()
        self.fc1 = nn.Linear(784, 128)
        self.fc2 = nn.Linear(128, 10)

    دف جلو (خود، x):
        x = torch.relu(self.fc1(x))
        x = self.fc2 (x)
        برگردان x

mamoste_model = ModelPruning()
student_model = دانش تقطیر ()

**3. کوانتیزاسیون **

کوانتیزاسیون شامل کاهش دقت وزن و فعال سازی مدل هوش مصنوعی، کاهش نیازهای محاسباتی یک مدل هوش مصنوعی است.

``پایتون مشعل وارداتی torch.nn را به عنوان nn وارد کنید

Quantization کلاس (nn.Module): def init(self): فوق العاده (کوانتیزاسیون، خود).init() self.fc1 = nn.Linear(784, 128) self.fc2 = nn.Linear(128, 10)

دف جلو (خود، x):
    x = torch.relu(self.fc1(x))
    x = self.fc2 (x)
    برگردان x

model = ModelPruning() quantized_model = torch.quantization.quantize_dynamic(model, {torch.nn.Linear}, dtype=torch.qint8)

** 5 تا 10 فرمان/قطعات پرکاربرد برتر **

| فرمان/ قطعه | توضیحات |
| --- | --- |
| `torch.nn.utils.prune_l1_unstructured(model, 'weight', 0.1)` | هرس مدل با استفاده از تنظیم L1 |
| `torch.quantization.quantize_dynamic(model, {torch.nn.Linear}, dtype=torch.qint8)` | کوانتیزاسیون با استفاده از کوانتیزه پویا |
| `torch.nn.utils.kldistance(teacher_model, student_model)` | تقطیر دانش با استفاده از واگرایی KL |
| `torch.nn.utils.weight_norm(model.fc1)` | نرمال سازی وزن با استفاده از هنجار وزنی |
| `torch.nn.utils.clip_grad_norm_(model.parameters()، 1.0)` | برش گرادیان با استفاده از کلیپ grad norm |
| `torch.nn.utils.clip_grad_value_(model.parameters()، 1.0)` | برش گرادیان با استفاده از مقدار grad کلیپ |
| `torch.nn.utils.remove_weight_norm(model.fc1)` | حذف نرمال سازی وزن با استفاده از حذف هنجار وزن |
| `torch.nn.utils.fuse_conv_bn_eval(model.fc1)` | همجوشی لایه کانولوشن با استفاده از فیوز conv bn eval |
| `torch.nn.utils.fuse_bn_eval(model.fc2)` | همجوشی عادی سازی دسته ای با استفاده از فیوز bn eval |
| `torch.nn.utils.fuse_bn_eval(model.fc1)` | همجوشی عادی سازی دسته ای با استفاده از فیوز bn eval |

**تجسم**


`` نمودار
{
  "نوع": "نوار"،
  "داده": {
    "labels": ["مدل هرس"، "تقطیر دانش"، "کوانتیزاسیون"]،
    "مجموعه داده": {
      "label": "دقت"،
      "داده": [0.9، 0.85، 0.8]
    }
  }،
  "گزینه ها": {
    "عنوان": {
      "نمایش": درست،
      "text": "مقایسه دقت"
    }،
    "افسانه": {
      «نمایش»: درست است
    }
  }
}

نتیجه گیری

استقرار مدل هوش مصنوعی کارآمد در دستگاه های لبه به ترکیبی از تکنیک های طراحی مشترک سخت افزار و نرم افزار نیاز دارد. هرس مدل، تقطیر دانش و کوانتیزه کردن برخی از تکنیک‌هایی هستند که می‌توانند برای کاهش اندازه و نیازهای محاسباتی مدل‌های هوش مصنوعی مورد استفاده قرار گیرند. با استفاده از این تکنیک‌ها، توسعه‌دهندگان می‌توانند مدل‌های هوش مصنوعی را ایجاد کنند که برای دستگاه‌های لبه بهینه‌سازی شده‌اند و برنامه‌های بی‌درنگ مانند خانه‌های هوشمند، وسایل نقلیه خودران و اتوماسیون صنعتی را فعال می‌کنند.

کار آینده

کارهای آینده در این زمینه شامل:

• توسعه تکنیک های جدید طراحی مشترک سخت افزار-نرم افزار: محققان و توسعه دهندگان می توانند تکنیک های جدیدی را برای بهینه سازی مدل های هوش مصنوعی برای دستگاه های لبه کشف کنند.
• **بهبود الگوریتم‌های هرس مدل و تقطیر دانش **: توسعه الگوریتم‌های کارآمدتر برای هرس مدل و تقطیر دانش می‌تواند منجر به عملکرد و دقت بهتر شود.
• بررسی استفاده از سایر مدل‌های هوش مصنوعی: سایر مدل‌های هوش مصنوعی، مانند درخت‌های تصمیم‌گیری و جنگل‌های تصادفی، برای استقرار دستگاه لبه قابل بررسی هستند.

با ادامه پیشرفت در زمینه طراحی مشترک سخت‌افزار-نرم‌افزار، می‌توانیم مدل‌های هوش مصنوعی کارآمدتر و موثرتری را برای دستگاه‌های لبه ایجاد کنیم که طیف گسترده‌ای از برنامه‌ها و موارد استفاده را ممکن می‌سازد.