Kargatu LLM eredua eta tokenizatzailea | B4N1

Kargatu LLM eredua eta tokenizatzailea

3 months ago · b4n1 Read time: 4 min

Intzidenteen ikerketa automatizatua ezartzea DevOps agenteekin eta LLMekin

Sarrera

Gaur egungo panorama digitalean, DevOps taldeek gero eta erronka konplexuagoa dute: gorabeherak identifikatzea eta ahalik eta azkarren konpontzea. Eskuzko ikerketa-metodoek denbora asko eta giza akatsak izateko joera izan dezakete, etenaldi luzea eta bezeroen gogobetetasuna murrizten dutenak. Arazo honi aurre egiteko, DevOps automatizazioaren, AI bidezko gertakarien ikerketaren eta Hizkuntza Eredu Handien (LLM) duten zeregina aztertzen ari gara AWS DevOps Agent eta Copado Agentia bezalako DevOps tresnak hobetzeko.

Istripuaren egungo egoeraren ikerketa

Gorabeheren ikerketa DevOps-en alderdi kritikoa da, software-sistemei eragiten dieten arazoen identifikazioa, analisia eta ebazpena barne. Metodo tradizionalak eskuzko prozesuetan oinarritzen dira, hala nola log azterketa, akatsen jarraipena eta interesdunekin komunikazioa. Metodo hauek eraginkorrak diren arren, motelak eta akatsak izateko joera izan dezakete, eta ondorioz:

  1. Etenaldi-denbora handitu: eskuzko ikerketa-metodoek gertakarien ebazpena atzeratu dezakete, eta, ondorioz, geldialdi-denbora luzeagoa da eta bezeroen gogobetetasuna murrizten da.
  2. Giza akatsa: Eskuzko prozesuek giza akatsak jasan ditzakete, eta horrek gertakarien diagnostiko okerra eta konponbidea ekar dezake.
  3. Eskalagarritasun arazoak: sistemen tamaina eta konplexutasuna hazten diren heinean, eskuzko ikerketa-metodoak gero eta zailagoak dira eskalatzea.

DevOps agenteen eginkizuna gertakarien ikerketan

DevOps agenteek, hala nola, AWS DevOps Agent eta Copado Agentia, funtsezko zeregina dute gertakarien ikerketa automatizatzeko. Eragile hauek honako hauek egin ditzakete:

  1. Bildu eta aztertu erregistroak: DevOps-eko agenteek hainbat iturritako erregistroak bildu eta azter ditzakete, gertakarien arrazoiei buruzko informazio baliotsua eskainiz.
  2. Erroren jarraipena automatizatu: Agenteek akatsen jarraipena automatiza dezakete, eskuzko ikerketak behar den denbora eta ahalegina murriztuz.
  3. Hobetu komunikazioa: Agenteek taldeen, interes-taldeen eta sistemen arteko komunikazioa erraztu dezakete, gertakarien informazioa modu eraginkorrean partekatzen dela ziurtatuz.

LLMen eginkizuna Gorabeheren Ikerketan

Lengoaia Eredu Handiek (LLM) hizkuntza naturalaren prozesamenduaren (NLP) eremua irauli dute, eta makinek gizakiaren antzeko testuak ulertzeko eta sortzeko aukera eman dute. Gertakarien ikerketaren testuinguruan, LLMek honako hauek egin ditzakete:

  1. Gertakarien txostenak aztertu: LLMek gertakarien txostenak azter ditzakete, gertakari baten jatorria adieraz dezaketen funtsezko informazioa eta ereduak identifikatuz.
  2. Sortu gertakarien laburpenak: LLMek gertakarien txostenen laburpen zehatzak sor ditzakete, komunikazioa eta erabakiak hartzea erraztuz.
  3. Eman testuinguruari buruzko iradokizunak: LLMek testuinguruari buruzko iradokizunak eman ditzakete gorabeherak konpontzeko, inplikatutako sistema, ingurune eta interes-talde zehatzak kontuan hartuta.

Intzidenteen ikerketa automatizatua ezartzea DevOps agenteekin eta LLMekin

DevOps agenteekin eta LLMekin gertakarien ikerketa automatizatua ezartzeko, urratsez urratseko ikuspegia jarraituko dugu:

  1. Integratu DevOps agenteak: Integratu DevOps agenteak, hala nola AWS DevOps Agent eta Copado Agentia, zure gorabeherak kudeatzeko sistemarekin.
  2. Bildu eta aztertu erregistroak: konfiguratu DevOps agenteak hainbat iturritako erregistroak biltzeko eta aztertzeko, gertakarien arrazoiei buruzko informazio baliotsua emanez.
  3. LLM eredu bat trebatu: trebatu LLM eredu bat gertakarien txostenen, erregistroen eta bestelako informazio garrantzitsuen datu multzo batean.
  4. Integratu LLM DevOps agenteekin: Integratu LLM eredua DevOps agenteekin, LLMri gertakarien txostenak aztertzeko eta gertakariak konpontzeko iradokizunak emateko aukera emanez.
  5. Inplementatu irtenbidea: inplementatu gertakariak ikertzeko irtenbide automatizatua, eskalagarria, fidagarria eta segurua dela ziurtatuz.

Adibidezko kodea: LLM integratzea DevOps agenteekin

Hona hemen adibide bat Python-en kode zati bat, LLM eredu bat DevOps agente batekin nola integratzen den erakusten duena:

inportazio erregistroa
transformadoreetatik inportatu AutoModelForSequenceClassification, AutoTokenizer
aws_devops_agent import Agent-etik


model = AutoModelForSequenceClassification.from_pretrained("distilbert-base-uncased")
tokenizer = AutoTokenizer.from_pretrained ("distilbert-base-uncased")

# Hasieratu DevOps agentea
agente = Agente ()

# LLM eredua erabiliz gertakarien txostenak aztertzeko funtzio bat definitu
def analisi_intzidentzia_txostena (txostena):
    # Aurrez prozesatu gertakarien txostena
    sarrerak = tokenizer.encode_plus (txostena, 
                                    add_special_tokens=Egia, 
                                    gehienez_luzera=512, 
                                    return_attention_mask=Egia, 
                                    return_tensors='pt')
    
    # Gertaeren txostena aztertzea LLM eredua erabiliz
    irteerak = eredua (sarrerak['sarrera_ids'], arreta_maskara=sarrerak['arreta_maskara'])
    
    # Atera aurreikusitako klasearen etiketa
    aurreikusi_klasea = torch.argmax(outputs.logits)
    
    itzuli aurreikusita_klasea

# Definitu funtzio bat gorabeherak konpontzeko iradokizunak emateko
def eman_iradokizunak(aurreikusitako_klasea):
    # Erabili aurreikusitako klasearen etiketa gorabeherak konpontzeko iradokizunak emateko
    aurreikusi_klasea == 0 bada:
        return "Begiratu sistemaren erregistroak akatsak dauden"
    elif aurreikusi_klasea == 1:
        itzuli "Egiaztatu sarearen konexioa"
    bestela:
        itzuli "Jarri laguntzarako garapen-taldearekin harremanetan"

# Integratu LLM eredua DevOps agentearekin
def incident_investigation():
    # Bildu eta aztertu DevOps agentearen erregistroak
    erregistroak = agent.get_logs()
    
    # Aztertu erregistroak LLM eredua erabiliz
    aurreikusi_klasea = analisi_intzidentzia_txostena (erregistroak)
    
    # Gorabeherak konpontzeko iradokizunak eman
    iradokizunak = eman_iradokizunak(aurreikusitako_klasea)
    
    iradokizunak itzultzea

# Gertaerak ikertzeko irtenbidea zabaldu
gertakari_ikerketa()

Erabiltzen diren 5-10 komando/zati nagusiak

Hona hemen teknologia honetarako gehien erabiltzen diren 5-10 komando/zatienak:

  1. aws devops agent get-logs: Bildu DevOps agentearen erregistroak.
  2. transformers.AutoModelForSequenceClassification.from_pretrained(): LLM eredua kargatu.
  3. tokenizer.encode_plus(): aurreprozesatu gertakarien txostena.
  4. model(inputs['input_ids'], attention_mask=inputs['attention_mask']): LLM eredua erabiliz gertakarien txostena aztertzea.
  5. torch.argmax(outputs.logits): aurreikusitako klase etiketa atera.
  6. provide_suggestions(predicted_class): gertakariak konpontzeko iradokizunak eman.
  7. agent.get_logs(): Bildu DevOps agentearen erregistroak.
  8. aztertu_intzidentzia_txostena(txostena): LLM eredua erabiliz gertakarien txostena aztertzea.
  9. incident_investigation(): gertakariak ikertzeko irtenbidea zabaldu.
  10. torch.save(model.state_dict(), 'model.pth'): Gorde LLM eredua.

Bistaratzea

Hona hemen Chart.js erabiliz gertakariak ikertzeko irtenbide automatizatuaren bistaratzea:

{
  "mota": "barra",
  "datuak": {
    "labels": ["Eskuzko ikerketa", "Ikerketa automatizatua"],
    "datu multzoak": [
      {
        "label": "Ebazteko garaia",
        "datuak": [10, 2],
        "backgroundColor": ["rgba (255, 99, 132, 0.2)", "rgba (54, 162, 235, 0.2)"],
        "borderColor": ["rgba (255, 99, 132, 1)", "rgba (54, 162, 235, 1)"],
        "borderWidth": 1
      }
    ]
  },
  "aukerak": {
    "titulua": {
      "bistaratu": egia,
      "text": "Gertaerak konpontzeko garaia"
    },
    "eskalak": {
      "yAxes": [
        {
          "ticks": {
            "beginAtZero": egia
          }
        }
      ]
    }
  }
}

Bistaratze honek eskuzko ikerketa-metodoak erabiliz gertakariak ebazteko denbora alderatzen du DevOps agenteak eta LLM-ak erabiliz ikerketa-metodo automatizatuen aldean.

Ondorioa

DevOps agenteekin eta LLMekin gertakarien ikerketa automatizatua ezartzeak gertakarien ebazpenaren eraginkortasuna eta eraginkortasuna nabarmen hobetu ditzake. DevOps agenteak LLMekin integratuz, erakundeek erregistroen analisia automatiza dezakete, testuinguruari buruzko iradokizunak eman ditzakete gorabeherak konpontzeko eta intzidentzia ebazteko denbora murriztu. DevOps automatizazioaren elkargunea, AI bidezko gertakarien ikerketa eta LLMek AWS DevOps Agent eta Copado Agentia bezalako DevOps tresnak hobetzeko duten eginkizuna aztertu dugu. Artikulu honetan azaltzen den urratsez urratseko ikuspegiari jarraituz, erakundeek gertakariak ikertzeko irtenbide automatizatu eskalagarria, fidagarria eta segurua inplementa dezakete.


Have Questions?

Let's Talk

Contact me on LinkedIn