LLM үлгісін және токенизаторды жүктеңіз | B4N1

LLM үлгісін және токенизаторды жүктеңіз

3 months ago · b4n1 Read time: 4 min

DevOps агенттерімен және LLM-мен автоматтандырылған инциденттерді зерттеуді енгізу

Кіріспе

Бүгінгі қарқынды цифрлық ландшафтта DevOps командалары барған сайын күрделі мәселеге тап болады: оқиғаларды мүмкіндігінше тез анықтау және шешу. Қолмен зерттеу әдістері уақытты қажет етеді және адам қателігіне бейім болуы мүмкін, бұл ұзақ уақыт тоқтап қалуға және тұтынушылардың қанағаттанушылығының төмендеуіне әкеледі. Бұл мәселені шешу үшін біз DevOps автоматикасының қиылысуын, AI-мен жұмыс істейтін оқиғаларды зерттеуді және AWS DevOps Agent және Copado Agentia сияқты DevOps құралдарын жақсартудағы Үлкен тіл үлгілерінің (LLMs) рөлін зерттеп жатырмыз.

Оқиғаны тергеудің қазіргі жағдайы

Оқиғаларды тергеу бағдарламалық жүйелерге әсер ететін мәселелерді анықтауды, талдауды және шешуді қамтитын DevOps қызметінің маңызды аспектісі болып табылады. Дәстүрлі әдістер журналды талдау, қателерді бақылау және мүдделі тараптармен байланыс сияқты қолмен жұмыс істейтін процестерге сүйенеді. Бұл әдістер тиімді болғанымен, олар баяу және қателерге бейім болуы мүмкін, бұл:

  1. Тұтыну уақытының ұлғаюы: Қолмен зерттеу әдістері оқиғаны шешуді кешіктіруі мүмкін, бұл ұзаққа созылатын тоқтап қалуға және тұтынушылардың қанағаттанушылығының төмендеуіне әкеледі.
  2. Адамдық қате: Қолмен орындалатын процестер адам қателігіне бейім, бұл қате диагнозға және инциденттерді шешуге әкелуі мүмкін.
  3. Масштабтау мәселелері: Жүйелердің көлемі мен күрделілігі өскен сайын қолмен зерттеу әдістерін масштабтау қиындай түседі.

Оқиғаларды тергеудегі DevOps агенттерінің рөлі

AWS DevOps Agent және Copado Agentia сияқты DevOps агенттері оқиғаны тергеуді автоматтандыруда шешуші рөл атқарады. Бұл агенттер:

  1. Журналдарды жинау және талдау: DevOps агенттері оқиғалардың себептері туралы құнды түсініктер бере отырып, әртүрлі көздерден журналдарды жинап, талдай алады.
  2. Қателерді бақылауды автоматтандыру: Агенттер қателерді бақылауды автоматтандырып, қолмен тексеруге қажетті уақыт пен күш-жігерді азайта алады.
  3. Байланысты жақсарту: Агенттер оқиға туралы ақпараттың тиімді бөлісілуін қамтамасыз ете отырып, топтар, мүдделі тараптар және жүйелер арасындағы байланысты жеңілдете алады.

Оқиғаларды тергеудегі LLM рөлі

Үлкен тілдік модельдер (LLM) табиғи тілді өңдеу (NLP) саласында төңкеріс жасап, машиналарға адамға ұқсас мәтінді түсінуге және жасауға мүмкіндік берді. Оқиғаларды тергеу контекстінде LLMs:

  1. Оқиға туралы есептерді талдау: LLM оқиғалардың негізгі себебін көрсететін негізгі ақпарат пен үлгілерді анықтай отырып, оқиға есептерін талдай алады.
  2. Оқиғалар туралы қорытындыларды жасау: LLM-тер байланыс пен шешім қабылдауды жеңілдете отырып, оқиға туралы есептердің қысқаша қорытындыларын жасай алады.
  3. Мәтінмәнді ескеретін ұсыныстарды қамтамасыз ету: LLM арнайы жүйені, қоршаған ортаны және тартылған мүдделі тараптарды ескере отырып, оқиғаны шешу үшін контекстті ескеретін ұсыныстар бере алады.

DevOps агенттерімен және LLM-мен автоматтандырылған инциденттерді зерттеуді енгізу

DevOps агенттерімен және LLM-мен инциденттерді автоматтандырылған тергеуді жүзеге асыру үшін біз қадамдық тәсілді қолданамыз:

  1. DevOps агенттерін біріктіру: AWS DevOps Agent және Copado Agentia сияқты DevOps агенттерін оқиғаны басқару жүйесімен біріктіріңіз.
  2. Журналдарды жинау және талдау: оқиғалардың себептері туралы құнды түсініктер бере отырып, әртүрлі көздерден журналдарды жинау және талдау үшін DevOps агенттерін конфигурациялаңыз.
  3. LLM үлгісін үйрету: оқиға есептерінің, журналдардың және басқа да тиісті ақпараттың деректер жиынында LLM үлгісін жаттықтыру.
  4. LLM-ді DevOps агенттерімен біріктіру: LLM үлгісін DevOps агенттерімен біріктіріп, LLM-ге оқиға есептерін талдауға және оқиғаны шешу бойынша ұсыныстар беруге мүмкіндік беріңіз.
  5. Шешімді қолдану: оның масштабталатын, сенімді және қауіпсіз екендігіне көз жеткізіп, инциденттерді зерттеудің автоматтандырылған шешімін қолданыңыз.

Мысал коды: LLM-ді DevOps агенттерімен біріктіру

LLM үлгісін DevOps агентімен біріктіру жолын көрсететін Python тіліндегі мысал код үзіндісі:

импортты тіркеу
трансформаторлардан AutoModelForSequenceClassification, AutoTokenizer импорттау
aws_devops_agent импорт агентінен


модель = AutoModelForSequenceClassification.from_pretrained("distilbert-base-uncased")
токенизатор = AutoTokenizer.from_pretrained("distilbert-base-uncased")

# DevOps агентін инициализациялаңыз
агент = Агент()

# LLM үлгісін пайдаланып оқиға есептерін талдау функциясын анықтаңыз
def талдау_оқиға_есеп (есеп):
    # Оқиға туралы есепті алдын ала өңдеңіз
    кірістер = tokenizer.encode_plus(есеп, 
                                    add_special_tokens=Рас, 
                                    максимум_ұзындығы=512, 
                                    return_attention_mask=Рас, 
                                    return_tensors = 'pt')
    
    # LLM үлгісін пайдаланып оқиға есебін талдаңыз
    шығыстар = үлгі(кірістер['input_ids'], назар_маск=кірістер['назар_маск'])
    
    # Болжалды сынып белгісін шығарып алыңыз
    болжанған_сынып = torch.argmax(outputs.logits)
    
    болжанған_сыныпты қайтару

# Оқиғаны шешу бойынша ұсыныстар беру функциясын анықтаңыз
def қамтамасыз ету_ұсыныстары(болжалды_сынып):
    # Оқиғаны шешу бойынша ұсыныстар беру үшін болжанған сынып белгісін пайдаланыңыз
    егер болжанған_сынып == 0:
        «Жүйе журналдарын қателерге тексеру» қайтару
    elif болжанған_сынып == 1:
        «Желі қосылымын тексеру» қайтару
    басқа:
        қайтару «Көмек алу үшін әзірлеу тобына хабарласыңыз»

# LLM үлгісін DevOps агентімен біріктіріңіз
def insident_investigation():
    # DevOps агентінен журналдарды жинаңыз және талдаңыз
    журналдар = agent.get_logs()
    
    # LLM үлгісін пайдаланып журналдарды талдаңыз
    болжанған_сынып = талдау_оқиға_есеп (журналдар)
    
    # Оқиғаны шешу бойынша ұсыныстар беріңіз
    ұсыныстар = ұсыну_ұсынымдары(болжалды_сынып)
    
    ұсыныстарды қайтару

# Оқиғаны тергеу шешімін қолданыңыз
оқиға_тергеу()

Ең көп қолданылатын 5-10 пәрмендер/үзінділер

Міне, осы технология үшін ең көп қолданылатын 5-10 командалар/үзінділер:

  1. aws devops agent get-logs: DevOps агентінен журналдарды жинаңыз.
  2. transformers.AutoModelForSequenceClassification.from_pretrained(): LLM үлгісін жүктеңіз.
  3. tokenizer.encode_plus(): оқиға есебін алдын ала өңдеу.
  4. model(inputs['input_ids'], focus_mask=inputs['attention_mask']): LLM үлгісін пайдаланып оқиға есебін талдаңыз.
  5. torch.argmax(outputs.logits): болжанған сынып белгісін шығарып алыңыз.
  6. ұсыныстарды_ұсыну(болжалды_сынып): оқиғаны шешуге арналған ұсыныстарды қамтамасыз ету.
  7. agent.get_logs(): DevOps агентінен журналдарды жинаңыз.
  8. анализ_оқиға_есеп(есеп): оқиға туралы есепті LLM үлгісі арқылы талдаңыз.
  9. incident_investigation(): оқиғаны зерттеу шешімін қолданыңыз.
  10. torch.save(model.state_dict(), 'model.pth'): LLM үлгісін сақтаңыз.

визуализация

Мұнда Chart.js көмегімен инциденттерді тергеудің автоматтандырылған шешімінің визуализациясы берілген:

{
  "түрі": "бар",
  «деректер»: {
    "labels": ["Қолмен тергеу", "Автоматтандырылған тергеу"],
    "деректер жинағы": [
      {
        "label": "Шешетін уақыт",
        "деректер": [10, 2],
        "backgroundColor": ["rgba(255, 99, 132, 0.2)", "rgba(54, 162, 235, 0.2)"],
        "borderColor": ["rgba(255, 99, 132, 1)", "rgba(54, 162, 235, 1)"],
        "borderWidth": 1
      }
    ]
  },
  "опциялар": {
    «атауы»: {
      "дисплей": шын,
      "text": "Оқиғаларды шешу уақыты"
    },
    «таразы»: {
      "yAxes": [
        {
          «кенелер»: {
            "beginAtZero": шын
          }
        }
      ]
    }
  }
}

Бұл визуализация оқиғаларды қолмен тергеу әдістерімен шешу уақытын DevOps агенттері мен LLM көмегімен автоматтандырылған тергеу әдістерімен салыстырады.

Қорытынды

DevOps агенттерімен және LLM-мен автоматтандырылған инциденттерді тергеуді енгізу оқиғаны шешудің тиімділігі мен тиімділігін айтарлықтай жақсарта алады. DevOps агенттерін LLM-мен біріктіру арқылы ұйымдар журналдарды талдауды автоматтандырады, оқиғаларды шешу үшін мәтінмәнді ескеретін ұсыныстарды бере алады және оқиғаларды шешу уақытын қысқарта алады. Біз DevOps автоматикасының қиылысуын, AI-мен жұмыс істейтін оқиғаларды зерттеуді және AWS DevOps Agent және Copado Agentia сияқты DevOps құралдарын жақсартудағы LLM рөлін зерттедік. Осы мақалада сипатталған қадамдық тәсілді орындау арқылы ұйымдар масштабталатын, сенімді және қауіпсіз автоматтандырылған оқиғаны тергеу шешімін қолдана алады.


Have Questions?

Let's Talk

Contact me on LinkedIn