Charger le modèle LLM et le tokenizer | B4N1

Charger le modèle LLM et le tokenizer

3 months ago · b4n1 Read time: 6 min

Mise en œuvre d'une enquête automatisée sur les incidents avec des agents DevOps et des LLM

Présentation

Dans le paysage numérique actuel, en évolution rapide, les équipes DevOps sont confrontées à un défi de plus en plus complexe : identifier et résoudre les incidents le plus rapidement possible. Les méthodes d'enquête manuelles peuvent prendre du temps et être sujettes à des erreurs humaines, entraînant des temps d'arrêt prolongés et une diminution de la satisfaction des clients. Pour résoudre ce problème, nous explorons l'intersection de l'automatisation DevOps, des enquêtes sur les incidents basées sur l'IA et le rôle des grands modèles linguistiques (LLM) dans l'amélioration des outils DevOps tels qu'AWS DevOps Agent et Copado Agentia.

L'état actuel de l'enquête sur les incidents

L'enquête sur les incidents est un aspect critique du DevOps, impliquant l'identification, l'analyse et la résolution des problèmes affectant les systèmes logiciels. Les méthodes traditionnelles reposent sur des processus manuels, tels que l'analyse des journaux, le suivi des erreurs et la communication avec les parties prenantes. Bien que ces méthodes soient efficaces, elles peuvent être lentes et sujettes à des erreurs, entraînant :

  1. Temps d'arrêt accrus : les méthodes d'enquête manuelles peuvent retarder la résolution des incidents, entraînant des temps d'arrêt prolongés et une diminution de la satisfaction des clients.
  2. Erreur humaine : les processus manuels sont sujets à des erreurs humaines, ce qui peut conduire à un diagnostic et à une résolution incorrects des incidents.
  3. Problèmes d'évolutivité : à mesure que la taille et la complexité des systèmes augmentent, les méthodes d'investigation manuelles deviennent de plus en plus difficiles à faire évoluer.

Le rôle des agents DevOps dans les enquêtes sur les incidents

Les agents DevOps, tels qu'AWS DevOps Agent et Copado Agentia, jouent un rôle crucial dans l'automatisation des enquêtes sur les incidents. Ces agents peuvent :

  1. Collecter et analyser les journaux : les agents DevOps peuvent collecter et analyser les journaux provenant de diverses sources, fournissant ainsi des informations précieuses sur les causes des incidents.
  2. Automatiser le suivi des erreurs : les agents peuvent automatiser le suivi des erreurs, réduisant ainsi le temps et les efforts requis pour une enquête manuelle.
  3. Améliorer la communication : les agents peuvent faciliter la communication entre les équipes, les parties prenantes et les systèmes, garantissant ainsi que les informations sur les incidents sont partagées efficacement.

Le rôle des LLM dans les enquêtes sur les incidents

Les grands modèles linguistiques (LLM) ont révolutionné le domaine du traitement du langage naturel (NLP), permettant aux machines de comprendre et de générer du texte de type humain. Dans le cadre d’une enquête sur incident, les LLM peuvent :

  1. Analyser les rapports d'incident : les LLM peuvent analyser les rapports d'incident, identifiant les informations clés et les modèles pouvant indiquer la cause première d'un incident.
  2. Générer des résumés d'incidents : les LLM peuvent générer des résumés concis des rapports d'incident, facilitant ainsi la communication et la prise de décision.
  3. Fournir des suggestions contextuelles : les LLM peuvent fournir des suggestions contextuelles pour la résolution des incidents, en tenant compte du système spécifique, de l'environnement et des parties prenantes impliquées.

Mise en œuvre d'une enquête automatisée sur les incidents avec des agents DevOps et des LLM

Pour mettre en œuvre une enquête automatisée sur les incidents avec des agents DevOps et des LLM, nous suivrons une approche étape par étape :

  1. Intégrez des agents DevOps : intégrez des agents DevOps, tels qu'AWS DevOps Agent et Copado Agentia, à votre système de gestion des incidents.
  2. Collecter et analyser les journaux : configurez les agents DevOps pour collecter et analyser les journaux provenant de diverses sources, fournissant ainsi des informations précieuses sur les causes des incidents.
  3. Former un modèle LLM : entraînez un modèle LLM sur un ensemble de données de rapports d'incidents, de journaux et d'autres informations pertinentes.
  4. Intégrer LLM aux agents DevOps : intégrez le modèle LLM aux agents DevOps, permettant au LLM d'analyser les rapports d'incident et de fournir des suggestions pour la résolution des incidents.
  5. Déployer la solution : déployez la solution d'enquête automatisée sur les incidents, en vous assurant qu'elle est évolutive, fiable et sécurisée.

Exemple de code : Intégration de LLM avec des agents DevOps

Voici un exemple d'extrait de code en Python, montrant comment intégrer un modèle LLM à un agent DevOps :

journalisation des importations
à partir des transformateurs, importez AutoModelForSequenceClassification, AutoTokenizer
depuis l'agent d'importation aws_devops_agent


model = AutoModelForSequenceClassification.from_pretrained("distilbert-base-uncased")
tokenizer = AutoTokenizer.from_pretrained("distilbert-base-uncased")

# Initialiser l'agent DevOps
agent = Agent()

# Définir une fonction pour analyser les rapports d'incidents à l'aide du modèle LLM
def analyse_incident_report (rapport) :
    # Prétraiter le rapport d'incident
    entrées = tokenizer.encode_plus (rapport, 
                                    add_special_tokens=Vrai, 
                                    longueur_max = 512, 
                                    return_attention_mask=Vrai, 
                                    return_tensors='pt')
    
    # Analyser le rapport d'incident à l'aide du modèle LLM
    sorties = modèle (entrées ['input_ids'], attention_mask=inputs ['attention_mask'])
    
    # Extraire l'étiquette de classe prédite
    predict_class = torch.argmax (outputs.logits)
    
    retourner la classe_prédite

# Définir une fonction pour fournir des suggestions de résolution d'incidents
def provide_suggestions (predicted_class) :
    # Utilisez l'étiquette de classe prédite pour fournir des suggestions de résolution d'incident
    si predit_class == 0 :
        return "Vérifiez les erreurs dans les journaux système"
    elif predit_class == 1 :
        return "Vérifier la connectivité réseau"
    sinon :
        return "Contactez l'équipe de développement pour obtenir de l'aide"

# Intégrer le modèle LLM avec l'agent DevOps
def incident_investigation() :
    # Collecter et analyser les logs de l'agent DevOps
    journaux = agent.get_logs()
    
    # Analyser les logs à l'aide du modèle LLM
    predict_class = analyse_incident_report (journaux)
    
    # Fournir des suggestions pour la résolution des incidents
    suggestions = provide_suggestions (predicted_class)
    
    renvoyer des suggestions

# Déployer la solution d'enquête sur incident
incident_investigation()

Top 5 à 10 des commandes/extraits les plus utilisés

Voici les 5 à 10 commandes/extraits les plus utilisés pour cette technologie :

  1. aws devops agent get-logs : collectez les journaux de l'agent DevOps.
  2. transformers.AutoModelForSequenceClassification.from_pretrained() : chargez le modèle LLM.
  3. tokenizer.encode_plus() : prétraitez le rapport d'incident.
  4. model(inputs['input_ids'], attention_mask=inputs['attention_mask']) : Analysez le rapport d'incident à l'aide du modèle LLM.
  5. torch.argmax(outputs.logits) : extrayez l'étiquette de classe prédite.
  6. provide_suggestions(predicted_class) : fournissez des suggestions pour la résolution des incidents.
  7. agent.get_logs() : collectez les journaux de l'agent DevOps.
  8. analyze_incident_report(report) : analysez le rapport d'incident à l'aide du modèle LLM.
  9. incident_investigation() : Déployez la solution d'enquête sur les incidents.
  10. torch.save(model.state_dict(), 'model.pth') : Enregistrez le modèle LLM.

Visualisation

Voici une visualisation de la solution d'enquête automatisée sur les incidents à l'aide de Chart.js :

{
  "type": "barre",
  "données": {
    "labels": ["Enquête manuelle", "Enquête automatisée"],
    "ensembles de données": [
      {
        "label": "Il est temps de résoudre",
        "données": [10, 2],
        "backgroundColor": ["rgba(255, 99, 132, 0.2)", "rgba(54, 162, 235, 0.2)"],
        "borderColor": ["rgba(255, 99, 132, 1)", "rgba(54, 162, 235, 1)"],
        "borderWidth": 1
      }
    ]
  },
  "options": {
    "titre": {
      "affichage": vrai,
      "text": "Il est temps de résoudre les incidents"
    },
    "échelles": {
      "yAxes": [
        {
          "tiques": {
            "beginAtZero": vrai
          }
        }
      ]
    }
  }
}

Cette visualisation compare le temps nécessaire pour résoudre les incidents à l'aide de méthodes d'investigation manuelles par rapport aux méthodes d'investigation automatisées utilisant des agents DevOps et des LLM.

Conclusion

La mise en œuvre d'une enquête automatisée sur les incidents avec des agents DevOps et des LLM peut améliorer considérablement l'efficience et l'efficacité de la résolution des incidents. En intégrant des agents DevOps aux LLM, les organisations peuvent automatiser l'analyse des journaux, fournir des suggestions contextuelles pour la résolution des incidents et réduire le temps de résolution des incidents. Nous avons exploré l'intersection de l'automatisation DevOps, des enquêtes sur les incidents basées sur l'IA et le rôle des LLM dans l'amélioration des outils DevOps tels qu'AWS DevOps Agent et Copado Agentia. En suivant l'approche étape par étape décrite dans cet article, les organisations peuvent déployer une solution automatisée d'enquête sur les incidents évolutive, fiable et sécurisée.

Have Questions?

Let's Talk

Contact me on LinkedIn