** ቀልጣፋ AI ሞዴል በሃርድዌር-ሶፍትዌር አብሮ ዲዛይን በኩል በ Edge መሳሪያዎች ላይ ማሰማራት ***

መግቢያ

የጠርዝ መሳሪያዎች መበራከት ለአርቴፊሻል ኢንተለጀንስ (AI) አፕሊኬሽኖች በቅጽበት እንዲሰማሩ አዳዲስ እድሎችን ፈጥሯል፣ ይህም እንደ ስማርት ቤቶች፣ ገዝ ተሽከርካሪዎች እና የኢንዱስትሪ አውቶሜሽን የመሳሰሉ መተግበሪያዎችን ያስችላል። ነገር ግን፣ ውስን የስሌት ሃብቶች እና የጠርዝ መሳሪያዎች የሃይል ገደቦች ለ AI ሞዴል መዘርጋት ከፍተኛ ፈተናዎችን ይፈጥራሉ። በዚህ ጽሑፍ ውስጥ የ AI ሞዴል ቅልጥፍናን እና የሃርድዌር-ሶፍትዌር አብሮ ዲዛይን ቴክኒኮችን በመጠቀም የቅርብ ጊዜውን እድገትን በመጠቀም የጠርዝ መሣሪያን አፈፃፀም ለማመቻቸት የ AI ፣ የሶፍትዌር ምህንድስና እና አርክቴክቸር መገናኛን እንቃኛለን።

** በ Edge መሳሪያዎች ላይ የ AI ሞዴል መዘርጋት ተግዳሮቶች ***

የጠርዝ መሳሪያዎች ሲፒዩ፣ ማህደረ ትውስታ እና የሃይል ፍጆታን ጨምሮ በውስን የስሌት ሃብቶቻቸው ተለይተው ይታወቃሉ። ብዙውን ጊዜ ለደመና-ተኮር ማሰማራት የተነደፉ ባህላዊ AI ሞዴሎች ለጫፍ መሳሪያዎች የተመቻቹ አይደሉም። በውጤቱም, ወደዚህ ሊመሩ ይችላሉ-

• ** የአፈጻጸም ውድቀት **: AI ሞዴሎች በጠርዝ መሳሪያዎች ላይ በብቃት ላይሰሩ ይችላሉ, ይህም ወደ ቀርፋፋ የምላሽ ጊዜ እና ትክክለኛነት ይቀንሳል. ** የኃይል ፍጆታ ***: AI ሞዴሎች ጉልህ የሆነ ኃይል ሊፈጁ ይችላሉ, ይህም በባትሪ ለሚሰሩ የጠርዝ መሳሪያዎች አሳሳቢ ሊሆን ይችላል. ** የማህደረ ትውስታ ገደቦች ***: AI ሞዴሎች ከፍተኛ መጠን ያለው ማህደረ ትውስታ ሊጠይቁ ይችላሉ, ይህም ውስን የማህደረ ትውስታ ሀብቶች ላላቸው የጠርዝ መሳሪያዎች ፈታኝ ሊሆን ይችላል.

** የሃርድዌር-ሶፍትዌር የጋራ ዲዛይን ዘዴዎች ***

እነዚህን ተግዳሮቶች ለመቅረፍ የሃርድዌር-ሶፍትዌር አብሮ ዲዛይን ቴክኒኮች እንደ ተስፋ ሰጭ መፍትሄ ብቅ አሉ። እነዚህ ቴክኒኮች ሁለቱንም የሃርድዌር እና የሶፍትዌር ክፍሎችን የጠርዝ መሳሪያን በአንድ ላይ በመንደፍ ለ AI ሞዴል ማሰማራት ማመቻቸትን ያካትታሉ።

1. ሞዴል መከርከም

ሞዴል መግረዝ አላስፈላጊ ክብደቶችን እና ግንኙነቶችን ከ AI ሞዴል ማስወገድን ያካትታል, መጠኑን እና የስሌት መስፈርቶችን ይቀንሳል. ይህ ዘዴ በሁለቱም የነርቭ መረቦች እና የውሳኔ ዛፎች ላይ ሊተገበር ይችላል.

`` ፓይቶን አስመጪ ችቦ አስመጣ torch.nn እንደ nn

ክፍል ModelPruning(nn.Module)፦ ዴፍ init(ራስ): ሱፐር (ሞዴል ፕሪንንግ፣ ራስን)።init() self.fc1 = nn.Linear(784, 128) self.fc2 = nn.Linear(128, 10)

ወደፊት መከላከል(ራስ፣ x)
    x = torch.relu(self.fc1(x))
    x = self.fc2(x)
    መመለስ x

ሞዴል = ሞዴል ፕሪንግ () pruned_model = torch.nn.utils.prune_l1_unstructured (ሞዴል፣ 'ክብደት'፣ 0.1)

### **2. የእውቀት መስፋፋት ***

የእውቀት መስፋፋት እውቀትን ከትልቅ ውስብስብ AI ሞዴል ወደ ትንሽ እና ቀላል ማስተላለፍን ያካትታል. ይህ ዘዴ የ AI ሞዴል መጠን እና ስሌት መስፈርቶችን ለመቀነስ ሊያገለግል ይችላል.

`` ፓይቶን
አስመጪ ችቦ
አስመጣ torch.nn እንደ nn

ክፍል የእውቀት ዝርዝር (nn.Module):
    ዴፍ __init__(ራስ):
        ልዕለ (የእውቀት ዲስቲልሽን፣ ራስን)።__init__()
        self.fc1 = nn.Linear(784, 128)
        self.fc2 = nn.Linear(128, 10)

    ወደፊት መከላከል(ራስ፣ x)
        x = torch.relu(self.fc1(x))
        x = self.fc2(x)
        መመለስ x

አስተማሪ_ሞዴል = ሞዴል መግረዝ()
ተማሪ_ሞዴል = የእውቀት እውቀት ()

3. መቁጠር

የቁጥር መጠን የ AI ሞዴል ክብደቶችን እና እንቅስቃሴዎችን ትክክለኛነት መቀነስ ፣ የ AI ሞዴል የሂሳብ መስፈርቶችን መቀነስ ያካትታል።

`` ፓይቶን አስመጪ ችቦ አስመጣ torch.nn እንደ nn

ክፍል መቁጠር(nn.Module)፦ ዴፍ init(ራስ): ሱፐር (Quantization, self).init() self.fc1 = nn.Linear(784, 128) self.fc2 = nn.Linear(128, 10)

ወደፊት መከላከል(ራስ፣ x)
    x = torch.relu(self.fc1(x))
    x = self.fc2(x)
    መመለስ x

ሞዴል = ሞዴል ፕሪንግ () quantized_model = torch.quantization.quantize_dynamic(ሞዴል፣ {torch.nn.Linear}፣ dtype=torch.qint8)

**ምርጥ 5-10 በብዛት ጥቅም ላይ የዋሉ ትዕዛዞች/ቅንጣዎች**

| ትዕዛዝ/ ቅንጣቢ | መግለጫ |
| --- | --- |
| `torch.nn.utils.prune_l1_ያልተደራጀ(ሞዴል፣ 'ክብደት'፣ 0.1)` | L1 normalization በመጠቀም ሞዴል መቁረጥ |
| `torch.quantization.quantize_dynamic(ሞዴል፣ {torch.nn.Linear}፣ dtype=torch.qint8)` | ተለዋዋጭ መጠንን በመጠቀም መቁጠር |
| `torch.nn.utils.kldistance(የአስተማሪ_ሞዴል፣ የተማሪ_ሞዴል)` | የ KL ልዩነትን በመጠቀም የእውቀት ማሰራጫ |
| `ችቦ.nn.utils.weight_norm(model.fc1)` | የክብደት መደበኛነትን በመጠቀም ክብደትን መደበኛ ማድረግ |
| `torch.nn.utils.clip_grad_norm_(model.parameters()፣ 1.0)` | ክሊፕ ግራድ ኖርም በመጠቀም የግራዲየንት መቆራረጥ |
| `torch.nn.utils.clip_grad_value_(model.parameters()፣ 1.0)` | የቅንጥብ ግራድ እሴትን በመጠቀም ቀስ በቀስ መቁረጥ |
| `ችቦ የክብደት መደበኛነትን በማስወገድ ክብደትን መደበኛ ማድረግ |
| `ችቦ.nn.utils.fuse_conv_bn_eval(model.fc1)` | fuse conv bn eval | በመጠቀም Convolutional layer fusion |
| `torch.nn.utils.fuse_bn_eval(model.fc2)` | ፊውዝ bn eval በመጠቀም ባች normalization ውህድ |
| `torch.nn.utils.fuse_bn_eval(model.fc1)` | ፊውዝ bn eval በመጠቀም ባች normalization ውህድ |

**እይታ**


`` ገበታ
{
  "አይነት": "ባር",
  "ውሂብ": {
    "labels": ["ሞዴል መግረዝ"፣ "የእውቀት ማሰራጫ"፣ "መቁጠር"]፣
    "የውሂብ ስብስቦች": {
      "label": "ትክክለኛነት",
      "ውሂብ"፡ [0.9, 0.85, 0.8]
    }
  }
  "አማራጮች": {
    "ርዕስ": {
      "ማሳያ": እውነት,
      "text": "ትክክለኛ ንጽጽር"
    }
    "አፈ ታሪክ": {
      "ማሳያ": እውነት
    }
  }
}

** መደምደሚያ**

በጠርዝ መሳሪያዎች ላይ ቀልጣፋ የ AI ሞዴል መዘርጋት የሃርድዌር እና የሶፍትዌር የጋራ ዲዛይን ቴክኒኮችን ጥምረት ይጠይቃል። የ AI ሞዴሎችን መጠን እና ስሌት መስፈርቶችን ለመቀነስ ከሚጠቅሙ ቴክኒኮች መካከል የሞዴል መግረዝ፣ የእውቀት ማጣራት እና መጠናዊ ናቸው። እነዚህን ቴክኒኮች በመጠቀም፣ ገንቢዎች እንደ ስማርት ቤቶች፣ ራስ ገዝ ተሽከርካሪዎች እና የኢንዱስትሪ አውቶማቲክ የመሳሰሉ የእውነተኛ ጊዜ መተግበሪያዎችን በማንቃት ለዳር መሳሪያዎች የተመቻቹ AI ሞዴሎችን መፍጠር ይችላሉ።

የወደፊት ስራ

በዚህ አካባቢ የወደፊት ሥራ የሚከተሉትን ያጠቃልላል ።

• ** አዲስ የሃርድዌር-ሶፍትዌር የጋራ ዲዛይን ቴክኒኮችን ማዳበር ***፡ ተመራማሪዎች እና ገንቢዎች የኤአይአይ ሞዴሎችን ለዳር መሣሪያዎች ለማሻሻል አዳዲስ ቴክኒኮችን ማሰስ ይችላሉ።
• የሞዴል መግረዝ እና የእውቀት መፈልፈያ ስልተ ቀመሮችን ማሻሻል፡ ለሞዴል መግረዝ እና የእውቀት መግረዝ የበለጠ ቀልጣፋ ስልተ ቀመሮችን ማዘጋጀት የተሻለ አፈጻጸም እና ትክክለኛነትን ያመጣል። ** የሌሎች AI ሞዴሎችን አጠቃቀም መመርመር ***: ሌሎች AI ሞዴሎች, እንደ ውሳኔ ዛፎች እና የዘፈቀደ ደኖች, የጠርዝ መሣሪያ ማሰማራትን ማሰስ ይቻላል.

የሃርድዌር-ሶፍትዌር የጋራ-ንድፍ መስክን ማራመድን በመቀጠል ለዳር መሣሪያዎች የበለጠ ቀልጣፋ እና ውጤታማ AI ሞዴሎችን መፍጠር እንችላለን ፣ ይህም ሰፊ አፕሊኬሽኖችን እና የአጠቃቀም ጉዳዮችን ማንቃት እንችላለን ።