Luchdaich sìos am modal LLM agus tokenizer | B4N1

Luchdaich sìos am modal LLM agus tokenizer

3 months ago · b4n1 Read time: 6 min

A’ cur an gnìomh sgrùdadh tachartais fèin-ghluasadach le riochdairean DevOps agus LLMn

** Ro-ràdh**

Ann an cruth-tìre didseatach aig astar luath an latha an-diugh, tha dùbhlan a tha a’ sìor fhàs iom-fhillte mu choinneamh sgiobaidhean DevOps: comharrachadh agus fuasgladh thachartasan cho luath ‘s a ghabhas. Faodaidh modhan sgrùdaidh làimhe a bhith a’ toirt ùine agus buailteach do mhearachdan daonna, a’ leantainn gu ùine downt fada agus sàsachadh luchd-cleachdaidh nas ìsle. Gus dèiligeadh ris a’ chùis seo, tha sinn a’ sgrùdadh an eadar-ghearradh eadar fèin-ghluasad DevOps, sgrùdadh tachartais le cumhachd AI, agus àite nam Modalan Cànain Mòr (LLMn) ann a bhith ag àrdachadh innealan DevOps leithid AWS DevOps Agent agus Copado Agentia.

Staid an sgrùdaidh air tachartasan

Tha sgrùdadh tachartais na phàirt riatanach de DevOps, a’ toirt a-steach comharrachadh, mion-sgrùdadh agus fuasgladh chùisean a tha a’ toirt buaidh air siostaman bathar-bog. Tha dòighean traidiseanta an urra ri pròiseasan làimhe, leithid mion-sgrùdadh log, lorg mhearachdan, agus conaltradh le luchd-ùidh. Ged a tha na dòighean sin èifeachdach, faodaidh iad a bhith slaodach agus buailteach do mhearachdan, a 'leantainn gu:

  1. ** Barrachd ùine downt**: Faodaidh dòighean sgrùdaidh làimhe dàil a chuir air fuasgladh thachartasan, a’ leantainn gu ùine downt fada agus sàsachadh luchd-cleachdaidh nas ìsle.
  2. Mearachd daonna: Tha pròiseasan làimhe buailteach do mhearachd daonna, a dh’ fhaodadh leantainn gu breithneachadh ceàrr agus fuasgladh thachartasan.
  3. Cùisean scalability: Mar a bhios meud agus iom-fhillteachd shiostaman a’ fàs, tha dòighean sgrùdaidh làimhe a’ fàs nas duilghe a sgèile.

Dleastanas riochdairean DevOps ann an sgrùdadh thachartasan

Tha àite deatamach aig riochdairean DevOps, leithid AWS DevOps Agent agus Copado Agentia, ann a bhith ag fèin-ghluasad sgrùdadh tachartais. Faodaidh na riochdairean seo:

  1. Cruinneachadh agus sgrùdadh logaichean: Faodaidh riochdairean DevOps logaichean a chruinneachadh agus a sgrùdadh bho dhiofar thùsan, a’ toirt seachad seallaidhean luachmhor air adhbharan tachartais.
  2. Tracadh mhearachdan gu fèin-ghluasadach: Faodaidh àidseantan lorg mhearachdan a dhèanamh fèin-ghluasadach, a’ lughdachadh na h-ùine agus an oidhirp a tha riatanach airson sgrùdadh làimhe.
  3. Leasaich conaltradh: Faodaidh riochdairean conaltradh eadar sgiobaidhean, luchd-ùidh, agus siostaman a dhèanamh comasach, a’ dèanamh cinnteach gu bheil fiosrachadh mu thachartasan air a cho-roinn gu h-èifeachdach.

** Dleastanas LLMn ann an sgrùdadh thachartasan**

Tha Modalan Cànain Mòr (LLMn) air cruth-atharrachadh a dhèanamh air raon giollachd cànain nàdarra (NLP), a’ toirt cothrom dha innealan teacsa coltach ri duine a thuigsinn agus a ghineadh. Ann an co-theacsa sgrùdadh tachartais, faodaidh LLMs:

  1. Dèan mion-sgrùdadh air aithrisean tachartais: Faodaidh LLMs mion-sgrùdadh a dhèanamh air aithisgean tachartais, a’ comharrachadh prìomh fhiosrachadh agus pàtrain a dh’ fhaodadh a bhith a’ nochdadh bun-adhbhar tachartas.
  2. Cruthaich geàrr-chunntasan tachartais: Faodaidh LLM geàrr-chunntasan pongail a chruthachadh de dh’aithrisean tachartais, a’ cuideachadh le conaltradh agus co-dhùnaidhean.
  3. Thoir seachad molaidhean a tha mothachail air co-theacsa: Faodaidh LLMn molaidhean a tha mothachail air co-theacsa a thoirt seachad airson fuasgladh thachartasan, a’ toirt aire don t-siostam shònraichte, an àrainneachd, agus an luchd-ùidh a tha an sàs ann.

A’ cur an gnìomh sgrùdadh tachartais fèin-ghluasadach le riochdairean DevOps agus LLMn

Gus sgrùdadh tachartais fèin-ghluasadach a chuir an gnìomh le riochdairean DevOps agus LLMn, leanaidh sinn dòigh-obrach ceum air cheum:

  1. ** Amalachadh riochdairean DevOps **: Amalaich riochdairean DevOps, leithid AWS DevOps Agent agus Copado Agentia, leis an t-siostam riaghlaidh tachartais agad.
  2. Cruinnich agus dèan sgrùdadh air logaichean: Dèan rèiteachadh air riochdairean DevOps gus logaichean a chruinneachadh agus a sgrùdadh bho dhiofar thùsan, a’ toirt seachad seallaidhean luachmhor air adhbharan tachartais.
  3. Trèanadh modal LLM: Trèan modal LLM air seata dàta de dh’aithrisean tachartais, logaichean, agus fiosrachadh iomchaidh eile.
  4. ** Amalachadh LLM le riochdairean DevOps**: Amalaich am modal LLM le riochdairean DevOps, a’ leigeil leis an LLM aithisgean tachartais a sgrùdadh agus molaidhean a thoirt seachad airson fuasgladh thachartasan.
  5. Cleachd am fuasgladh: Cleachd am fuasgladh fèin-ghluasadach airson sgrùdadh tachartais, a’ dèanamh cinnteach gu bheil e scalable, earbsach agus tèarainte.

Còd Eisimpleir: Ag aonachadh LLM le riochdairean DevOps

Seo eisimpleir de chriomag còd ann am Python, a’ sealltainn mar a ghabhas modal LLM fhilleadh a-steach le àidseant DevOps:

logadh a-steach
bho chruth-atharrachaidh a-steach AutoModelForSequenceClassification, AutoTokenizer
bho aws_devops_agent import Agent


model = AutoModelForSequenceClassification.from_pretrained ("distilbert-base-uncased")
tokenizer = AutoTokenizer.from_pretrained ("distilbert-base-uncased")

# Tòisich àidseant DevOps
àidseant = àidseant()

# Mìnich gnìomh gus aithisgean tachartais a sgrùdadh a’ cleachdadh modal LLM
def analyze_incident_report(aithisg):
    # Dèan ro-làimh air an aithisg tachartais
    cuir a-steach = tokenizer.encode_plus (aithisg, 
                                    add_special_tokens=Fìor, 
                                    max_length = 512, 
                                    return_attention_mask=Fìor, 
                                    tilleadh_tensors = 'pt')
    
    # Dèan mion-sgrùdadh air an aithisg tachartais a’ cleachdadh modal LLM
    toraidhean = modail (cuir a-steach ['input_ids'], attention_mask = cuir a-steach ['attention_mask'])
    
    # Thoir a-mach an leubail clas ris a bheil dùil
    predicted_class = torch.argmax(outputs.logits)
    
    tilleadh ro-innse_class

# Mìnich gnìomh gus molaidhean a thoirt seachad airson fuasgladh thachartasan
def provide_suggestions(predicted_class):
    # Cleachd an leubail clas ris a bheil dùil gus molaidhean a thoirt seachad airson fuasgladh thachartasan
    ma tha dùil_class == 0:
        till "Thoir sùil air logaichean an t-siostaim airson mearachdan"
    elif predicted_class == 1:
        till "Dearbhaich an ceangal lìonra"
    eile:
        tilleadh "Cuir fios chun sgioba leasachaidh airson cuideachadh"

# Amalaich am modal LLM leis an àidseant DevOps
def event_restigation():
    # Cruinnich agus dèan sgrùdadh air logaichean bhon neach-ionaid DevOps
    logaichean = agent.get_logs()
    
    # Dèan sgrùdadh air na logaichean a’ cleachdadh modal LLM
    predicted_class = anailis_incident_report (logaichean)
    
    # Thoir seachad molaidhean airson fuasgladh thachartasan
    molaidhean = provide_suggestions (predicted_class)
    
    molaidhean tilleadh

# Cleachd am fuasgladh sgrùdaidh tachartais
tachartas_sgrùdadh()

** 5-10 Òrdughan/Biotag as motha a chleachdar**

Seo na 5-10 òrdughan / pìosan as motha a chleachdar airson an teicneòlais seo:

  1. aws devops agent get-logs: Cruinnich logaichean bhon àidseant DevOps.
  2. transformers.AutoModelForSequenceClassification.from_pretrained(): Luchdaich am modail LLM.
  3. tokenizer.encode_plus(): Dèan ro-phròiseas air an aithisg tachartais.
  4. model(inputs['input_ids'], attention_mask=puts['attention_mask']): Dèan sgrùdadh air an aithisg tachartais a' cleachdadh a' mhodail LLM.
  5. torch.argmax(outputs.logits): Thoir a-mach an leubail clas ris a bheil dùil.
  6. provide_suggestions(predicted_class): Thoir seachad molaidhean airson fuasgladh thachartasan.
  7. agent.get_logs(): Cruinnich logaichean bhon àidseant DevOps.
  8. analyze_incident_report(report): Dèan mion-sgrùdadh air an aithisg tachartais a' cleachdadh a' mhodail LLM.
  9. incident_investigation(): Cleachd am fuasgladh sgrùdaidh tachartais.
  10. torch.save(model.state_dict(),'model.pth'): Sàbhail am modail LLM.

Sealladh

Seo sealladh den fhuasgladh sgrùdaidh tachartas fèin-ghluasadach a’ cleachdadh Chart.js:

{
  "type": "bàr",
  "dàta": {
    "labels": ["Rannsachadh le làimh", "Rannsachadh fèin-obrachail"],
    "stòr-dàta": [
      {
        "label": "An t-àm airson fuasgladh",
        "dàta": [10, 2],
        "backgroundColor": ["rgba(255, 99, 132, 0.2)", "rgba(54, 162, 235, 0.2)"],
        "Crìochan": ["rgba(255, 99, 132, 1)", "rgba(54, 162, 235, 1)"],
        "Leud na crìche": 1
      }
    ]
  },
  "roghainnean": {
    "tiotal": {
      "taisbeanadh": fìor,
      "text": "An t-àm airson tachartasan a rèiteach"
    },
    "sgàilean": {
      "yAxes": [
        {
          "breacan": {
            "toiseach AtZero": fìor
          }
        }
      ]
    }
  }
}

Bidh an dealbh seo a’ dèanamh coimeas eadar an ùine airson tachartasan fhuasgladh a’ cleachdadh dòighean sgrùdaidh làimhe an coimeas ri modhan sgrùdaidh fèin-ghluasadach a’ cleachdadh riochdairean DevOps agus LLMn.

Co-dhùnadh

Le bhith a’ cur an gnìomh sgrùdadh tachartais fèin-ghluasadach le riochdairean DevOps agus LLMn faodaidh sin èifeachdas agus èifeachdas fuasgladh thachartasan a leasachadh gu mòr. Le bhith ag aonachadh riochdairean DevOps le LLMn, faodaidh buidhnean mion-sgrùdadh logaichean a dhèanamh fèin-ghluasadach, molaidhean a tha mothachail air co-theacsa a thoirt seachad airson fuasgladh thachartasan, agus an ùine airson tachartasan fhuasgladh. Tha sinn air sgrùdadh a dhèanamh air eadar-ghearradh fèin-ghluasad DevOps, sgrùdadh tachartais le cumhachd AI, agus àite LLMn ann a bhith ag àrdachadh innealan DevOps leithid AWS DevOps Agent agus Copado Agentia. Le bhith a’ leantainn an dòigh-obrach ceum air cheum a tha air a mhìneachadh san artaigil seo, faodaidh buidhnean fuasgladh sgrùdaidh tachartais fèin-ghluasadach scalable, earbsach agus tèarainte a chleachdadh.

Have Questions?

Let's Talk

Contact me on LinkedIn