Naložite model LLM in tokenizer | B4N1

Naložite model LLM in tokenizer

3 months ago · b4n1 Tiempo de lectura: 5 min

Izvajanje avtomatizirane preiskave incidentov z agenti DevOps in LLM-ji

Uvod

V današnjem hitrem digitalnem okolju se ekipe DevOps soočajo z vedno bolj zapletenim izzivom: čim hitrejše prepoznavanje in reševanje incidentov. Ročne preiskovalne metode so lahko dolgotrajne in nagnjene k človeškim napakam, kar vodi do daljših izpadov in zmanjšanega zadovoljstva strank. Da bi rešili to težavo, raziskujemo presečišče avtomatizacije DevOps, preiskav incidentov, ki jih poganja umetna inteligenca, in vloge velikih jezikovnih modelov (LLM) pri izboljšanju orodij DevOps, kot sta AWS DevOps Agent in Copado Agentia.

Trenutno stanje preiskave incidentov

Preiskava incidentov je kritičen vidik DevOps, ki vključuje identifikacijo, analizo in reševanje težav, ki vplivajo na programske sisteme. Tradicionalne metode se zanašajo na ročne postopke, kot so analiza dnevnikov, sledenje napakam in komunikacija z zainteresiranimi stranmi. Čeprav so te metode učinkovite, so lahko počasne in nagnjene k napakam, kar vodi do:

  1. Podaljšan čas nedelovanja: Ročne preiskovalne metode lahko odložijo reševanje incidenta, kar ima za posledico podaljšan čas nedelovanja in zmanjšano zadovoljstvo strank.
  2. Človeška napaka: Ročni procesi so dovzetni za človeške napake, kar lahko privede do nepravilne diagnoze in razrešitve incidentov.
  3. Težave z razširljivostjo: Ko velikost in kompleksnost sistemov rasteta, postaja ročne preiskovalne metode čedalje težje prilagajati.

Vloga agentov DevOps pri preiskavi incidentov

Agenti DevOps, kot sta AWS DevOps Agent in Copado Agentia, igrajo ključno vlogo pri avtomatizaciji preiskav incidentov. Ti agenti lahko:

  1. Zbirajte in analizirajte dnevnike: Agenti DevOps lahko zbirajo in analizirajo dnevnike iz različnih virov, kar zagotavlja dragocen vpogled v vzroke incidentov.
  2. Samodejno sledenje napakam: Agenti lahko avtomatizirajo sledenje napakam, kar zmanjša čas in trud, potreben za ročno preiskavo.
  3. Izboljšajte komunikacijo: Agenti lahko olajšajo komunikacijo med ekipami, deležniki in sistemi ter tako zagotovijo učinkovito izmenjavo informacij o incidentih.

Vloga LLM pri preiskavah incidentov

Veliki jezikovni modeli (LLM) so revolucionirali področje obdelave naravnega jezika (NLP) in strojem omogočili razumevanje in ustvarjanje besedila, podobnega človeku. V okviru preiskave incidenta lahko LLM:

  1. Analizirajte poročila o incidentih: LLM lahko analizirajo poročila o incidentih, pri čemer identificirajo ključne informacije in vzorce, ki lahko nakazujejo temeljni vzrok incidenta.
  2. Ustvarjanje povzetkov incidentov: LLM lahko ustvarijo jedrnate povzetke poročil o incidentih, kar olajša komunikacijo in sprejemanje odločitev.
  3. Zagotavljanje predlogov, ki se zavedajo konteksta: LLM-ji lahko zagotovijo predloge, ki se zavedajo konteksta, za reševanje incidentov, pri čemer upoštevajo določen sistem, okolje in vpletene deležnike.

Izvajanje avtomatizirane preiskave incidentov z agenti DevOps in LLM-ji

Za izvedbo avtomatizirane preiskave incidentov z agenti DevOps in LLM-ji bomo sledili pristopu korak za korakom:

  1. Integrirajte agente DevOps: Integrirajte agente DevOps, kot sta AWS DevOps Agent in Copado Agentia, s svojim sistemom za upravljanje incidentov.
  2. Zbirajte in analizirajte dnevnike: Konfigurirajte agente DevOps za zbiranje in analiziranje dnevnikov iz različnih virov, kar zagotavlja dragocen vpogled v vzroke incidentov.
  3. Usposobite model LLM: Usposobite model LLM na naboru podatkov poročil o incidentih, dnevnikov in drugih ustreznih informacij.
  4. Integrirajte LLM z agenti DevOps: Integrirajte model LLM z agenti DevOps, kar LLM-ju omogoči analizo poročil o incidentih in podajanje predlogov za reševanje incidentov.
  5. Namesti rešitev: Razmesti rešitev za samodejno preiskovanje incidentov in zagotovi, da je razširljiva, zanesljiva in varna.

Primer kode: Integracija LLM z agenti DevOps

Tukaj je primer izrezka kode v Pythonu, ki prikazuje, kako integrirati model LLM z agentom DevOps:

beleženje uvoza
iz transformatorjev uvoz AutoModelForSequenceClassification, AutoTokenizer
iz aws_devops_agent import Agent


model = AutoModelForSequenceClassification.from_pretrained("distilbert-base-uncased")
tokenizer = AutoTokenizer.from_pretrained("distilbert-base-uncased")

# Inicializirajte agenta DevOps
agent = Agent()

# Definirajte funkcijo za analizo poročil o incidentih z uporabo modela LLM
def analysis_incident_report(poročilo):
    # Vnaprej obdelajte poročilo o incidentu
    vhodi = tokenizer.encode_plus(poročilo, 
                                    add_special_tokens=Res, 
                                    max_length=512, 
                                    return_attention_mask=Res, 
                                    return_tensors='pt')
    
    # Analizirajte poročilo o incidentu z uporabo modela LLM
    izhodi = model(vhodi['input_ids'], attention_mask=inputs['attention_mask'])
    
    # Ekstrahirajte predvideno oznako razreda
    predvideni_razred = torch.argmax(outputs.logits)
    
    vrni predvideni_razred

# Definirajte funkcijo za zagotavljanje predlogov za reševanje incidentov
def provide_suggestions(predicted_class):
    # Uporabite oznako predvidenega razreda za podajanje predlogov za rešitev incidenta
    če je predvideni_razred == 0:
        return "Preveri sistemske dnevnike za napake"
    elif predvideni_razred == 1:
        return "Preveri omrežno povezljivost"
    drugače:
        return "Za pomoč se obrnite na razvojno skupino"

# Integrirajte model LLM z agentom DevOps
def incident_investigation():
    # Zbirajte in analizirajte dnevnike iz agenta DevOps
    dnevniki = agent.get_logs()
    
    # Analizirajte dnevnike z uporabo modela LLM
    predvideni_razred = analiza_poročila_o_incidentu(dnevniki)
    
    # Podajte predloge za rešitev incidenta
    predlogi = provide_suggestions(predicted_class)
    
    povratni predlogi

# Namestite rešitev za preiskavo incidentov
incident_investigation()

5–10 najbolj uporabljenih ukazov/izrezkov

Tukaj je 5-10 najbolj uporabljenih ukazov/delčkov za to tehnologijo:

  1. aws devops agent get-logs: Zberite dnevnike agenta DevOps.
  2. transformers.AutoModelForSequenceClassification.from_pretrained(): naloži model LLM.
  3. tokenizer.encode_plus(): Vnaprej obdelajte poročilo o incidentu.
  4. model(inputs['input_ids'], attention_mask=inputs['attention_mask']): Analizirajte poročilo o incidentu z uporabo modela LLM.
  5. torch.argmax(outputs.logits): Ekstrahirajte predvideno oznako razreda.
  6. provide_suggestions(predicted_class): Zagotovite predloge za rešitev incidenta.
  7. agent.get_logs(): Zberite dnevnike agenta DevOps.
  8. analyze_incident_report(report): Analizirajte poročilo o incidentu z uporabo modela LLM.
  9. incident_investigation(): Razmestite rešitev za preiskavo incidentov.
  10. torch.save(model.state_dict(), 'model.pth'): Shranite model LLM.

Vizualizacija

Tukaj je vizualizacija rešitve za avtomatizirano preiskavo incidentov z uporabo Chart.js:

{
  "vrsta": "bar",
  "podatki": {
    "labels": ["Ročna preiskava", "Samodejna preiskava"],
    "nabori podatkov": [
      {
        "label": "Čas za rešitev",
        "podatki": [10, 2],
        "Barva ozadja": ["rgba(255, 99, 132, 0,2)", "rgba(54, 162, 235, 0,2)"],
        "barva obrobe": ["rgba(255, 99, 132, 1)", "rgba(54, 162, 235, 1)"],
        "borderWidth": 1
      }
    ]
  },
  "možnosti": {
    "naslov": {
      "display": res,
      "text": "Čas je za razrešitev incidentov"
    },
    "tehtnice": {
      "yOsi": [
        {
          "ticks": {
            "beginAtZero": res
          }
        }
      ]
    }
  }
}

Ta vizualizacija primerja čas za reševanje incidentov z uporabo ročnih preiskovalnih metod v primerjavi z avtomatiziranimi preiskovalnimi metodami z uporabo agentov DevOps in LLM-jev.

Sklep

Izvedba avtomatizirane preiskave incidentov z agenti DevOps in LLM-ji lahko znatno izboljša učinkovitost in uspešnost reševanja incidentov. Z integracijo agentov DevOps z LLM-ji lahko organizacije avtomatizirajo analizo dnevnikov, zagotovijo predloge, ki se zavedajo konteksta, za reševanje incidentov in skrajšajo čas za reševanje incidentov. Raziskali smo presečišče avtomatizacije DevOps, preiskav incidentov, ki jih poganja umetna inteligenca, in vloge LLM-jev pri izboljšanju orodij DevOps, kot sta AWS DevOps Agent in Copado Agentia. Z upoštevanjem pristopa po korakih, opisanega v tem članku, lahko organizacije uvedejo razširljivo, zanesljivo in varno rešitev za samodejno preiskovanje incidentov.


¿Tienes preguntas?

Hablemos

Contáctame en LinkedIn