Carregueu el model LLM i el tokenizer | B4N1

Carregueu el model LLM i el tokenizer

6 months ago · b4n1 Read time: 5 min

Implementació de la investigació automatitzada d'incidències amb agents de DevOps i LLM

Introducció

En el panorama digital de ritme ràpid actual, els equips de DevOps s'enfronten a un repte cada cop més complex: identificar i resoldre incidents el més ràpidament possible. Els mètodes d'investigació manuals poden consumir molt de temps i ser propensos a errors humans, la qual cosa comporta un temps d'inactivitat prolongat i una disminució de la satisfacció del client. Per solucionar aquest problema, estem explorant la intersecció de l'automatització de DevOps, la investigació d'incidents impulsada per IA i el paper dels grans models de llenguatge (LLM) en la millora de les eines de DevOps com AWS DevOps Agent i Copado Agentia.

La investigació de l'estat actual de l'incident

La investigació d'incidències és un aspecte crític de DevOps, que implica la identificació, anàlisi i resolució de problemes que afecten els sistemes de programari. Els mètodes tradicionals es basen en processos manuals, com ara l'anàlisi de registres, el seguiment d'errors i la comunicació amb les parts interessades. Tot i que aquests mètodes són eficaços, poden ser lents i propensos a errors, donant lloc a:

  1. Augment del temps d'inactivitat: els mètodes d'investigació manuals poden retardar la resolució d'incidències, donant lloc a un temps d'inactivitat prolongat i una disminució de la satisfacció del client.
  2. Error humà: els processos manuals són susceptibles d'error humà, que poden comportar un diagnòstic i resolució incorrectes d'incidències.
  3. Problemes d'escalabilitat: a mesura que la mida i la complexitat dels sistemes creixen, els mètodes d'investigació manuals són cada cop més difícils d'escalar.

El paper dels agents de DevOps en la investigació d'incidents

Els agents DevOps, com AWS DevOps Agent i Copado Agentia, tenen un paper crucial en l'automatització de la investigació d'incidents. Aquests agents poden:

  1. Recolliu i analitzeu registres: els agents de DevOps poden recopilar i analitzar registres de diverses fonts, proporcionant informació valuosa sobre les causes dels incidents.
  2. Automatitzar el seguiment d'errors: els agents poden automatitzar el seguiment d'errors, reduint el temps i l'esforç necessaris per a la investigació manual.
  3. Millora la comunicació: els agents poden facilitar la comunicació entre equips, grups d'interès i sistemes, garantint que la informació d'incidències es comparteixi de manera eficient.

El paper dels LLM en la investigació d'incidents

Els grans models de llenguatge (LLM) han revolucionat el camp del processament del llenguatge natural (NLP), permetent que les màquines entenguin i generin text semblant a l'ésser humà. En el context de la investigació d'incidents, els LLM poden:

  1. Analitzar els informes d'incidències: els LLM poden analitzar els informes d'incidències, identificant informació clau i patrons que poden indicar la causa principal d'un incident.
  2. Generar resums d'incidències: els LLM poden generar resums concisos dels informes d'incidències, facilitant la comunicació i la presa de decisions.
  3. Proporcioneu suggeriments conscients del context: els LLM poden oferir suggeriments conscients del context per a la resolució d'incidències, tenint en compte el sistema, l'entorn i les parts interessades específiques.

Implementació de la investigació automatitzada d'incidències amb agents de DevOps i LLM

Per implementar la investigació d'incidents automatitzada amb agents de DevOps i LLM, seguirem un enfocament pas a pas:

  1. Integreu els agents DevOps: integreu els agents DevOps, com ara AWS DevOps Agent i Copado Agentia, amb el vostre sistema de gestió d'incidències.
  2. Recolliu i analitzeu els registres: configureu els agents de DevOps per recopilar i analitzar registres de diverses fonts, proporcionant informació valuosa sobre les causes dels incidents.
  3. Entrenar un model LLM: entrenar un model LLM en un conjunt de dades d'informes d'incidències, registres i altra informació rellevant.
  4. Integreu LLM amb agents de DevOps: integreu el model de LLM amb agents de DevOps, permetent al LLM analitzar informes d'incidències i oferir suggeriments per resoldre incidents.
  5. Implementeu la solució: implementeu la solució d'investigació d'incidents automatitzada, assegurant-vos que sigui escalable, fiable i segura.

Codi d'exemple: integració de LLM amb agents de DevOps

Aquí teniu un fragment de codi d'exemple a Python, que demostra com integrar un model LLM amb un agent DevOps:

registre d'importació
des de transformadors importen AutoModelForSequenceClassification, AutoTokenizer
des de l'agent d'importació aws_devops_agent


model = AutoModelForSequenceClassification.from_pretrained("distilbert-base-uncased")
tokenizer = AutoTokenizer.from_pretrained("distilbert-base-uncased")

# Inicialitzeu l'agent DevOps
agent = agent ()

# Definir una funció per analitzar informes d'incidències mitjançant el model LLM
def anàlisi_informe_incident(informe):
    # Tramitar prèviament l'informe d'incidència
    entrades = tokenizer.encode_plus (informe, 
                                    add_special_tokens=Veritat, 
                                    longitud_màx.=512, 
                                    return_attention_mask=Veritat, 
                                    return_tensors = 'pt')
    
    # Analitzar l'informe d'incidència mitjançant el model LLM
    sortides = model (entrades ['ids_entrada'], màscara_atenció = entrades ['màscara_atenció'])
    
    # Extreu l'etiqueta de classe prevista
    predicted_class = torch.argmax(outputs.logits)
    
    retorna predicted_class

# Definiu una funció per oferir suggeriments per a la resolució d'incidències
def provide_suggestions(predicted_class):
    # Utilitzeu l'etiqueta de classe prevista per oferir suggeriments per a la resolució d'incidències
    si predicted_class == 0:
        retornar "Comproveu si hi ha errors als registres del sistema"
    elif predicted_class == 1:
        retornar "Verificar la connectivitat de xarxa"
    altra cosa:
        tornar "Contacteu amb l'equip de desenvolupament per obtenir ajuda"

# Integra el model LLM amb l'agent DevOps
def incident_investigation():
    # Recolliu i analitzeu els registres de l'agent DevOps
    registres = agent.get_logs()
    
    # Analitzeu els registres mitjançant el model LLM
    classe_prevista = anàlisi_informe_incident (registres)
    
    # Proporcioneu suggeriments per a la resolució d'incidències
    suggeriments = provide_suggestions(predicted_class)
    
    retornar suggeriments

# Desplegueu la solució d'investigació d'incidències
investigació_incident()

Les 5-10 ordres/fragments més utilitzats

A continuació es mostren les 5-10 ordres/fragments de lloc més utilitzats per a aquesta tecnologia:

  1. aws devops agent get-logs: recopila els registres de l'agent DevOps.
  2. transformers.AutoModelForSequenceClassification.from_pretrained(): Carregueu el model LLM.
  3. tokenizer.encode_plus(): preprocessament de l'informe d'incidència.
  4. model(inputs['input_ids'], attention_mask=inputs['attention_mask']): Analitzeu l'informe d'incidència mitjançant el model LLM.
  5. torch.argmax(outputs.logits): extreu l'etiqueta de classe prevista.
  6. provide_suggestions(predicted_class): ofereix suggeriments per a la resolució d'incidències.
  7. agent.get_logs(): recopila els registres de l'agent DevOps.
  8. analyze_incident_report(report): analitzeu l'informe d'incidència mitjançant el model LLM.
  9. incident_investigation(): desplega la solució d'investigació d'incidències.
  10. torch.save(model.state_dict(), 'model.pth'): deseu el model LLM.

Visualització

Aquí teniu una visualització de la solució d'investigació d'incidents automatitzada amb Chart.js:

{
  "type": "bar",
  "dades": {
    "labels": ["Investigació manual", "Investigació automatitzada"],
    "conjunts de dades": [
      {
        "label": "Hora de resoldre",
        "dades": [10, 2],
        "backgroundColor": ["rgba(255, 99, 132, 0.2)", "rgba(54, 162, 235, 0.2)"],
        "borderColor": ["rgba(255, 99, 132, 1)", "rgba(54, 162, 235, 1)"],
        "borderWidth": 1
      }
    ]
  },
  "opcions": {
    "títol": {
      "visualització": cert,
      "text": "Hora de resoldre incidències"
    },
    "escales": {
      "yAxes": [
        {
          "ticks": {
            "beginAtZero": cert
          }
        }
      ]
    }
  }
}

Aquesta visualització compara el temps de resolució d'incidències mitjançant mètodes d'investigació manuals versus mètodes d'investigació automatitzats amb agents DevOps i LLM.

Conclusió

La implementació d'una investigació automatitzada d'incidències amb agents de DevOps i LLM pot millorar significativament l'eficiència i l'eficàcia de la resolució d'incidències. Mitjançant la integració dels agents de DevOps amb els LLM, les organitzacions poden automatitzar l'anàlisi dels registres, oferir suggeriments conscients del context per a la resolució d'incidències i reduir el temps per resoldre els incidents. Hem explorat la intersecció de l'automatització de DevOps, la investigació d'incidents impulsada per IA i el paper dels LLM per millorar les eines de DevOps com AWS DevOps Agent i Copado Agentia. Seguint l'enfocament pas a pas descrit en aquest article, les organitzacions poden implementar una solució automatitzada d'investigació d'incidents escalable, fiable i segura.


Have Questions?

Let's Talk

Contact me on LinkedIn