LLM modelini və tokenizeri yükləyin | B4N1

LLM modelini və tokenizeri yükləyin

6 months ago · b4n1 Read time: 5 min

DevOps Agentləri və LLM-lər ilə Avtomatlaşdırılmış İnsident Araşdırmasının həyata keçirilməsi

Giriş

Bu günün sürətli rəqəmsal mənzərəsində DevOps komandaları getdikcə daha mürəkkəb bir problemlə üzləşirlər: hadisələri mümkün qədər tez müəyyən etmək və həll etmək. Əllə araşdırma metodları vaxt aparan və insan səhvinə meylli ola bilər ki, bu da uzun müddət dayanma müddətinə və müştəri məmnuniyyətinin azalmasına səbəb olur. Bu problemi həll etmək üçün biz DevOps avtomatlaşdırmasının kəsişməsini, süni intellektlə işləyən insident araşdırmasını və AWS DevOps Agent və Copado Agentia kimi DevOps alətlərinin təkmilləşdirilməsində Böyük Dil Modellərinin (LLM) rolunu araşdırırıq.

Hadisə Təhqiqatının Hazırkı Vəziyyəti

Hadisənin təhqiqatı DevOps-un kritik aspektidir və proqram sistemlərinə təsir edən problemlərin müəyyənləşdirilməsi, təhlili və həllini əhatə edir. Ənənəvi üsullar log təhlili, səhvlərin izlənməsi və maraqlı tərəflərlə ünsiyyət kimi əl proseslərinə əsaslanır. Bu üsullar təsirli olsa da, yavaş və səhvlərə meylli ola bilər, bu da aşağıdakılara səbəb olur:

  1. Artan dayanma müddəti: Əllə araşdırma üsulları insidentlərin həllini gecikdirə bilər, nəticədə uzun müddət dayanma vaxtı və müştəri məmnuniyyətinin azalması ilə nəticələnir.
  2. İnsan səhvi: Manual proseslər insan səhvinə həssasdır və bu, yanlış diaqnoz və insidentlərin həllinə səbəb ola bilər.
  3. Məsələlərin miqyası: Sistemlərin ölçüsü və mürəkkəbliyi artdıqca, əl ilə araşdırma metodlarının miqyası getdikcə çətinləşir.

Hadisələrin Təhqiqatında DevOps Agentlərinin Rolu

AWS DevOps Agent və Copado Agentia kimi DevOps agentləri insidentlərin araşdırılmasının avtomatlaşdırılmasında mühüm rol oynayır. Bu agentlər:

  1. Qeydləri toplayın və təhlil edin: DevOps agentləri müxtəlif mənbələrdən qeydləri toplayıb təhlil edə, hadisənin səbəbləri ilə bağlı dəyərli fikirlər təqdim edə bilər.
  2. Səhv izləməni avtomatlaşdırın: Agentlər səhvlərin izlənilməsini avtomatlaşdıra, əllə araşdırma üçün tələb olunan vaxtı və səyi azalda bilər.
  3. Ünsiyyəti təkmilləşdirin: Agentlər komandalar, maraqlı tərəflər və sistemlər arasında əlaqəni asanlaşdıraraq insident məlumatının səmərəli şəkildə paylaşılmasını təmin edə bilər.

Hadisələrin Təhqiqatında LLM-lərin Rolu

Böyük Dil Modelləri (LLMs) təbii dil emalı (NLP) sahəsində inqilab edərək, maşınlara insana bənzər mətni başa düşməyə və yaratmağa imkan verdi. Hadisənin araşdırılması kontekstində LLM-lər:

  1. Hadisə hesabatlarını təhlil edin: LLM-lər insidentin əsas səbəbini göstərə biləcək əsas məlumatları və nümunələri müəyyən edərək insident hesabatlarını təhlil edə bilər.
  2. Hadisələrin xülasəsini yaradın: LLM-lər ünsiyyət və qərar qəbul etməyi asanlaşdıraraq insident hesabatlarının qısa xülasəsini yarada bilər.
  3. Kontekstdən xəbərdar olan təkliflər təqdim edin: LLM-lər konkret sistemi, ətraf mühiti və cəlb olunmuş maraqlı tərəfləri nəzərə alaraq insidentin həlli üçün kontekstdən xəbərdar olan təkliflər verə bilər.

DevOps Agentləri və LLM ilə Avtomatlaşdırılmış İnsident Təhqiqatının həyata keçirilməsi

DevOps agentləri və LLM ilə avtomatlaşdırılmış insident təhqiqatını həyata keçirmək üçün biz addım-addım yanaşmaya əməl edəcəyik:

  1. DevOps agentlərini inteqrasiya edin: AWS DevOps Agent və Copado Agentia kimi DevOps agentlərini hadisələrin idarə edilməsi sisteminizlə inteqrasiya edin.
  2. Logları toplayın və təhlil edin: Hadisənin səbəbləri haqqında dəyərli fikirlər təqdim edərək müxtəlif mənbələrdən qeydləri toplamaq və təhlil etmək üçün DevOps agentlərini konfiqurasiya edin.
  3. LLM modelini öyrədin: LLM modelini insident hesabatları, qeydlər və digər müvafiq məlumatların verilənlər toplusunda məşq edin.
  4. LLM-i DevOps agentləri ilə inteqrasiya edin: LLM modelini DevOps agentləri ilə inteqrasiya edin, LLM-ə insident hesabatlarını təhlil etmək və insidentlərin həlli üçün təkliflər təqdim etmək imkanı verin.
  5. Həllini yerləşdirin: Avtomatlaşdırılmış insident təhqiqat həllini tətbiq edin, onun miqyaslana bilən, etibarlı və təhlükəsiz olmasını təmin edin.

Nümunə Kod: LLM-nin DevOps Agentləri ilə inteqrasiyası

Budur, bir LLM modelinin DevOps agenti ilə necə inteqrasiya olunacağını nümayiş etdirən Python-da nümunə kod parçası:

idxal girişi
transformatorlardan AutoModelForSequenceClassification, AutoTokenizer idxal edir
aws_devops_agent idxal agentindən


model = AutoModelForSequenceClassification.from_pretrained("distilbert-base-uncased")
tokenizer = AutoTokenizer.from_pretrained("distilbert-base-uncased")

# DevOps agentini işə salın
agent = Agent ()

# LLM modelindən istifadə edərək hadisə hesabatlarını təhlil etmək funksiyasını təyin edin
def analiz_hadisə_hesabatı(hesabat):
    # Hadisə hesabatını əvvəlcədən emal edin
    girişlər = tokenizer.encode_plus(hesabat, 
                                    add_special_tokens=Düzdür, 
                                    maksimum_uzunluq=512, 
                                    return_attention_mask=Düzdür, 
                                    return_tensors = 'pt')
    
    # LLM modelindən istifadə edərək hadisə hesabatını təhlil edin
    çıxışlar = model(girişlər['input_ids'], diqqət_mask=girişlər['diqqət_mask'])
    
    # Təxmin edilən sinif etiketini çıxarın
    proqnozlaşdırılan_sinif = məşəl.argmax(çıxışlar.logits)
    
    proqnozlaşdırılan_sinifi qaytarın

# Hadisənin həlli üçün təkliflər vermək üçün funksiya təyin edin
def təminat_təklifləri(proqnozlaşdırılan_sinif):
    # Hadisənin həlli üçün təkliflər vermək üçün proqnozlaşdırılan sinif etiketindən istifadə edin
    əgər proqnozlaşdırılan_sinif == 0:
        "Sistem qeydlərini səhvlər üçün yoxlayın" qaytarın
    elif proqnozlaşdırılan_class == 1:
        "Şəbəkə bağlantısını yoxlayın" qaytarın
    başqa:
        qayıt "Yardım üçün inkişaf komandası ilə əlaqə saxlayın"

# LLM modelini DevOps agenti ilə inteqrasiya edin
def insident_investigation():
    # DevOps agentindən qeydləri toplayın və təhlil edin
    qeydlər = agent.get_logs()
    
    # LLM modelindən istifadə edərək qeydləri təhlil edin
    proqnozlaşdırılan_sinif = analiz_hadisə_hesabatı(loglar)
    
    # Hadisənin həlli üçün təkliflər verin
    təkliflər = təmin etmək_təkliflər (proqnozlaşdırılan_sinif)
    
    təklifləri qaytarın

# Hadisənin araşdırılması həllini tətbiq edin
insident_investigation()

Ən çox istifadə olunan 5-10 əmr/parça

Bu texnologiya üçün ən çox istifadə edilən 5-10 əmr/parçalar bunlardır:

  1. aws devops agent get-logs: DevOps agentindən qeydləri toplayın.
  2. transformers.AutoModelForSequenceClassification.from_pretrained(): LLM modelini yükləyin.
  3. tokenizer.encode_plus(): Hadisə hesabatını əvvəlcədən emal edin.
  4. model(inputs['input_ids'], notice_mask=inputs['diqqət_mask']): LLM modelindən istifadə edərək hadisə hesabatını təhlil edin.
  5. torch.argmax(outputs.logits): Proqnozlaşdırılan sinif etiketini çıxarın.
  6. təkliflər_təmin et(təxmin edilən_sinif): Hadisənin həlli üçün təkliflər verin.
  7. agent.get_logs(): DevOps agentindən qeydləri toplayın.
  8. analyze_indent_report(report): LLM modelindən istifadə edərək hadisə hesabatını təhlil edin.
  9. insident_investigation(): Hadisənin araşdırılması həllini yerləşdirin.
  10. torch.save(model.state_dict(), 'model.pth'): LLM modelini yadda saxlayın.

Vizuallaşdırma

Budur, Chart.js-dən istifadə edərək insidentlərin araşdırılması üzrə avtomatlaşdırılmış həllin vizuallaşdırılması:

{
  "növ": "bar",
  "data": {
    "etiketlər": ["Əl ilə araşdırma", "Avtomatlaşdırılmış araşdırma"],
    "verilənlər dəsti": [
      {
        "label": "Həll etmə vaxtıdır",
        "data": [10, 2],
        "backgroundColor": ["rgba(255, 99, 132, 0.2)", "rgba(54, 162, 235, 0.2)"],
        "borderColor": ["rgba(255, 99, 132, 1)", "rgba(54, 162, 235, 1)"],
        "borderWidth": 1
      }
    ]
  },
  "seçimlər": {
    "başlıq": {
      "ekran": doğru,
      "text": "Hadisələri həll etmək vaxtıdır"
    },
    "tərəzi": {
      "yAxes": [
        {
          "gənə": {
            "beginAtZero": doğrudur
          }
        }
      ]
    }
  }
}

Bu vizuallaşdırma, DevOps agentləri və LLM-lərdən istifadə edən avtomatlaşdırılmış araşdırma metodları ilə əl ilə araşdırma metodlarından istifadə etməklə insidentləri həll etmək üçün vaxtı müqayisə edir.

Nəticə

DevOps agentləri və LLM-lərlə avtomatlaşdırılmış insident təhqiqatının həyata keçirilməsi insidentlərin həllinin səmərəliliyini və effektivliyini əhəmiyyətli dərəcədə artıra bilər. DevOps agentlərini LLM-lərə inteqrasiya etməklə təşkilatlar qeydlərin təhlilini avtomatlaşdıra, insidentlərin həlli üçün kontekstdən xəbərdar təkliflər verə və insidentlərin həlli üçün vaxtı azalda bilər. Biz DevOps avtomatlaşdırmasının kəsişməsini, süni intellektlə işləyən insident araşdırmasını və AWS DevOps Agent və Copado Agentia kimi DevOps alətlərinin təkmilləşdirilməsində LLM-lərin rolunu araşdırdıq. Bu məqalədə təsvir olunan addım-addım yanaşmaya əməl etməklə, təşkilatlar miqyaslana bilən, etibarlı və təhlükəsiz avtomatlaşdırılmış insidentlərin araşdırılması həllini tətbiq edə bilər.


Have Questions?

Let's Talk

Contact me on LinkedIn