Արդյունավետ արհեստական ​​ինտելեկտի մոդելի տեղադրում Edge սարքերի վրա՝ Hardware-Software Co-Design-ի միջոցով | B4N1

Արդյունավետ արհեստական ​​ինտելեկտի մոդելի տեղադրում Edge սարքերի վրա՝ Hardware-Software Co-Design-ի միջոցով

6 months ago · b4n1 Tiempo de lectura: 3 min

Ներածություն

Եզրային սարքերի տարածումը, ինչպիսիք են սմարթֆոնները, խելացի տան սարքերը և ինքնավար տրանսպորտային միջոցները, ստեղծել են այս սարքերում արհեստական ինտելեկտի մոդելների արդյունավետ տեղակայման հրատապ անհրաժեշտություն: AI մոդելի տեղակայման ավանդական մեթոդները հաճախ հիմնվում են ամպի վրա հիմնված ենթակառուցվածքի վրա, որը կարող է առաջացնել ուշացում, անվտանգության մտահոգություններ և էներգիայի մեծ սպառում: Այս մարտահրավերներին դիմակայելու համար ապարատային-ծրագրային համատեղ դիզայնը ի հայտ է եկել որպես խոստումնալից մոտեցում, որը հնարավորություն է տալիս օպտիմիզացնել AI մոդելի կատարողականը, էներգիայի սպառումը և ուշացումը ծայրամասային սարքերում:

AI-ի, Edge Computing-ի և Co-Design-ի խաչմերուկը

Եզրային հաշվարկը վերաբերում է տվյալների մշակմանը ցանցի եզրին, ավելի մոտ տվյալների աղբյուրին, այլ ոչ թե կենտրոնացված ամպի կամ տվյալների կենտրոնում: Մյուս կողմից, AI մոդելները պահանջում են զգալի հաշվողական ռեսուրսներ՝ մեծ քանակությամբ տվյալներ մշակելու և վերլուծելու համար: AI-ի, եզրային հաշվարկների և համատեղ նախագծման խաչմերուկը ներառում է ապարատային և ծրագրային բաղադրիչների համատեղ օպտիմիզացում՝ հասնելու AI մոդելի արդյունավետ տեղակայմանը եզրային սարքերում:

Սարքավորումների և ծրագրային ապահովման համատեղ դիզայնի առավելությունները

Սարքավորումների և ծրագրային ապահովման համատեղ ձևավորումն առաջարկում է մի քանի առավելություններ, այդ թվում՝

  • Բարելավված կատարողականություն. Օպտիմիզացնելով ապարատային և ծրագրային բաղադրիչները միասին՝ համատեղ դիզայնը կարող է հանգեցնել AI մոդելի կիրառման արդյունավետության զգալի բարելավման:
  • Նվազեցված էներգիայի սպառումը. համատեղ դիզայնը կարող է օգնել նվազեցնել էներգիայի սպառումը` օպտիմալացնելով ապարատային և ծրագրային բաղադրիչները ցածր էներգիայի շահագործման համար:
  • Ցածր ուշացում. համատեղ դիզայնը կարող է օգնել նվազեցնել ուշացումը՝ օպտիմալացնելով ապարատային և ծրագրային բաղադրիչները տվյալների արագ մշակման և հաղորդակցման համար:
  • Ավելացված ճկունություն. համատեղ դիզայնը կարող է թույլ տալ զարգացնել ավելի ճկուն և հարմարվող AI մոդելներ, որոնք կարող են հեշտությամբ տեղակայվել տարբեր եզրային սարքերում:

Գործնական ուշադրության կենտրոնում. Կոդի օրինակ

Եկեք դիտարկենք ապարատային-ծրագրային համատեղ նախագծման մի պարզ օրինակ՝ AI մոդելի տեղադրման եզրային սարքերում: Մենք կօգտագործենք հայտնի Python գրադարանը՝ TensorFlow, AI հիմնական մոդելը Raspberry Pi-ի վրա, որը հայտնի եզրային սարքի վրա տեղադրելու համար:

«Պիթոն». ներմուծել tensorflow որպես tf tensorflow.keras ներմուծման շերտերից

Սահմանեք AI մոդելի ճարտարապետությունը

մոդել = tf.keras.Հաջորդական ([ շերտեր. Conv2D(32, (3, 3), ակտիվացում='relu', input_shape=(28, 28, 1)), շերտեր.MaxPooling2D((2, 2)), շերտեր.հարթեցնել (), layers.Dense(64, activation='relu'), շերտեր.Խիտ (10, ակտիվացում='softmax') ])

Կազմեք մոդելը

model.compile(optimizer='adam', loss='sparse_categorical_crossentropy', չափումներ=['ճշգրտություն'])

Բեռնել MNIST տվյալների բազան

(X_train, y_train), (X_test, y_test) = tf.keras.datasets.mnist.load_data()

Նախապես մշակեք տվյալները

X_train = X_train.reshape(-1, 28, 28, 1).atype ('float32') / 255.0 X_test = X_test.reshape(-1, 28, 28, 1).atype ('float32') / 255.0

Մարզե՛ք մոդելին

model.fit (X_train, y_train, epochs=5, batch_size=128)

Գնահատեք մոդելը

test_loss, test_acc = model.evaluate(X_test, y_test) տպել (f'Փորձարկման ճշգրտություն՝ {test_acc:.2f}')


Այս կոդի օրինակը ցույց է տալիս AI-ի հիմնական մոդելի տեղակայումը Raspberry Pi-ի վրա՝ օգտագործելով TensorFlow: Մոդելը վերապատրաստվում է MNIST տվյալների բազայի վրա և գնահատվում է թեստային հավաքածուի վրա: Կոդը ցուցադրում է ապարատային-ծրագրային համատեղ նախագծման պարզությունն ու ճկունությունը՝ AI մոդելի տեղադրման եզրային սարքերում:

## Լավագույն 5-10 Ամենաօգտագործվող հրամաններ/հատվածներ

Ահա մի քանի առավել հաճախ օգտագործվող հրամաններ և հատվածներ ապարատային-ծրագրային համատեղ նախագծման համար.

* **TensorFlow**՝ «tf.keras.Sequential()», «tf.keras.layers.Conv2D()», «tf.keras.layers.MaxPooling2D()»:
* **Raspberry Pi**. «sudo apt-get update», «sudo apt-get install python3-pip», «pip3 install tensorflow»
* **Co-Design**՝ «co-design.py -h», «co-design.py -m <model_name>», «co-design.py -d <device_name>»:

## Վիզուալիզացիա

Ահա Chart.js-ի օգտագործմամբ ապարատային-ծրագրային համատեղ նախագծման առավելությունների արտացոլումը.

``` գծապատկեր
{
  «տեսակ»՝ «բար»,
  "տվյալներ": {
    «պիտակներ».
    «տվյալների հավաքածուներ»:
      {
        «պիտակ»: «Կատարում»,
        «տվյալներ»: [10, 20],
        "backgroundColor": "rgba(255, 99, 132, 0.2)",
        "borderColor": "rgba(255, 99, 132, 1)",
        «սահմանի լայնություն»՝ 1
      },
      {
        «պիտակ»: «Էլեկտրաէներգիայի սպառում»,
        «տվյալներ»: [50, 30],
        "backgroundColor": "rgba(54, 162, 235, 0.2)",
        "borderColor": "rgba(54, 162, 235, 1)",
        «սահմանի լայնություն»՝ 1
      },
      {
        "պիտակ": "Latency",
        «տվյալներ»: [100, 50],
        "backgroundColor": "rgba(255, 206, 86, 0.2)",
        "borderColor": "rgba(255, 206, 86, 1)",
        «սահմանի լայնություն»՝ 1
      }
    ]
  },
  «Ընտրանքներ»: {
    «վերնագիր»: {
      «ցուցադրում»՝ ճշմարիտ,
      "text": "Սարքավորումների և ծրագրակազմի համատեղ նախագծման առավելությունները"
    },
    «կշեռքներ»: {
      «yAxes»:
        {
          "ticks": {
            «beginAtZero»: ճիշտ է
          }
        }
      ]
    }
  }
}

Այս վիզուալիզացիան համեմատում է ավանդական արհեստական ինտելեկտի մոդելի ներդրման կատարողականը, էներգիայի սպառումը և հետաձգվածությունը ապարատային-ծրագրային համատեղ նախագծման հետ:

Եզրակացություն

Սարքավորումների և ծրագրային ապահովման համատեղ ձևավորումը ի հայտ է եկել որպես խոստումնալից մոտեցում եզրային սարքերում AI մոդելի արդյունավետ տեղակայման համար: Օպտիմալացնելով ապարատային և ծրագրային բաղադրիչները միասին՝ համատեղ նախագծումը կարող է հանգեցնել աշխատանքի արդյունավետության զգալի բարելավման, էներգիայի սպառման կրճատման և հետաձգման ավելի ցածր մակարդակի: Այս հոդվածը տրամադրել է ապարատային-ծրագրային համատեղ նախագծման առավելությունների և գործնական կիրառությունների մանրամասն ակնարկ, ներառյալ կոդի պարզ օրինակը և առավելությունների արտացոլումը: Քանի որ եզրային AI-ի պահանջարկը շարունակում է աճել, ապարատային-ծրագրային համատեղ դիզայնը, հավանաբար, ավելի ու ավելի կարևոր դեր կխաղա արդյունավետ և արդյունավետ AI մոդելների մշակման գործում:


¿Tienes preguntas?

Hablemos

Contáctame en LinkedIn