LLM загвар болон токенизаторыг ачаална уу | B4N1

LLM загвар болон токенизаторыг ачаална уу

3 months ago · b4n1 Read time: 5 min

DevOps агентууд болон LLM-үүдтэй автоматжуулсан ослын мөрдөн байцаалтыг хэрэгжүүлэх

Танилцуулга

Өнөөгийн хурдацтай хөгжиж буй дижитал орчинд DevOps багууд улам бүр төвөгтэй сорилттой тулгардаг: ослыг аль болох хурдан тодорхойлж, шийдвэрлэх. Гар аргаар мөрдөн шалгах арга нь цаг хугацаа их шаарддаг бөгөөд хүний ​​алдаа гаргахад өртөмтгий байж болох бөгөөд энэ нь удаан хугацаагаар зогсох, хэрэглэгчийн сэтгэл ханамжийг бууруулахад хүргэдэг. Энэ асуудлыг шийдвэрлэхийн тулд бид DevOps автоматжуулалт, хиймэл оюун ухаанаар ажилладаг ослын судалгаа, AWS DevOps Agent болон Copado Agentia зэрэг DevOps хэрэгслүүдийг сайжруулахад том хэлний загваруудын (LLMs) гүйцэтгэх үүргийн уулзварыг судалж байна.

Осол хэргийн мөрдөн байцаалтын өнөөгийн байдал

Гэнэтийн ослын судалгаа нь програм хангамжийн системд нөлөөлж буй асуудлыг тодорхойлох, дүн шинжилгээ хийх, шийдвэрлэхтэй холбоотой DevOps-ийн чухал хэсэг юм. Уламжлалт аргууд нь бүртгэлийн дүн шинжилгээ, алдааг хянах, оролцогч талуудтай харилцах зэрэг гарын авлагын процесст тулгуурладаг. Эдгээр аргууд нь үр дүнтэй боловч удаан бөгөөд алдаа гаргах хандлагатай байдаг бөгөөд энэ нь:

  1. ** Сул зогсолтыг нэмэгдүүлэх**: Гар аргаар шалгах аргууд нь ослын шийдвэрлэх ажиллагааг удаашруулж, улмаар сул зогсолтыг уртасгаж, хэрэглэгчийн сэтгэл ханамжийг бууруулдаг.
  2. Хүний алдаа: Гарын авлагын үйл явц нь хүний ​​алдаанд өртөмтгий байдаг бөгөөд энэ нь буруу оношлох, зөрчлийг шийдвэрлэхэд хүргэдэг.
  3. ** Өргөтгөх боломжийн асуудлууд**: Системийн хэмжээ, нарийн төвөгтэй байдал нэмэгдэхийн хэрээр гарын авлагын судалгааны аргуудыг масштаблахад улам хэцүү болж байна.

Осол хэргийн мөрдөн байцаалтад DevOps агентуудын гүйцэтгэх үүрэг

AWS DevOps Agent, Copado Agentia зэрэг DevOps агентууд ослын мөрдөн байцаалтыг автоматжуулахад чухал үүрэг гүйцэтгэдэг. Эдгээр агентууд:

  1. Лог цуглуулж, дүн шинжилгээ хийх: DevOps агентууд янз бүрийн эх сурвалжаас лог цуглуулж, дүн шинжилгээ хийж, ослын шалтгаануудын талаар үнэ цэнэтэй ойлголт өгөх боломжтой.
  2. Алдаа хянах автоматжуулалт: Агентууд алдааны хяналтыг автоматжуулж, гар аргаар мөрдөн шалгахад шаардагдах цаг хугацаа, хүчин чармайлтыг багасгах боломжтой.
  3. Харилцааныг сайжруулах: Агентууд нь баг, оролцогч талууд болон системүүдийн хоорондын харилцаа холбоог хөнгөвчлөх, ослын талаарх мэдээллийг үр дүнтэй хуваалцах боломжийг олгодог.

Осол хэргийн мөрдөн байцаалтад LLM-ийн гүйцэтгэх үүрэг

Том хэлний загварууд (LLMs) нь байгалийн хэл боловсруулах (NLP) салбарт хувьсгал хийж, машинуудад хүнтэй төстэй текстийг ойлгох, үүсгэх боломжийг олгосон. Ослын мөрдөн байцаалтын хүрээнд LLMs нь:

  1. Ойл явдлын тайланд дүн шинжилгээ хийх: LLM нь ослын тайланд дүн шинжилгээ хийж, ослын үндсэн шалтгааныг харуулж болох гол мэдээлэл, хэв маягийг тодорхойлох боломжтой.
  2. Ойл явдлын хураангуйг гаргах: LLM нь ослын тайлангийн товч хураангуйг гаргаж, харилцаа холбоо, шийдвэр гаргах үйл явцыг хөнгөвчлөх боломжтой.
  3. Нөхцөл байдлын талаархи саналуудыг өгөх: LLM нь тодорхой систем, хүрээлэн буй орчин, оролцогч талуудыг харгалзан тухайн тохиолдлыг шийдвэрлэхэд контекстэд нийцсэн саналуудыг өгөх боломжтой.

DevOps агентууд болон LLM-тэй хамтран ослын автомат мөрдөн байцаалтыг хэрэгжүүлэх

DevOps агентууд болон LLM-уудтай ослын автомат судалгааг хэрэгжүүлэхийн тулд бид алхам алхмаар арга барилыг баримтална:

  1. DevOps агентуудыг нэгтгэх: AWS DevOps Agent болон Copado Agentia зэрэг DevOps агентуудыг ослын удирдлагын системтэйгээ нэгтгэ.
  2. Бүртгэл цуглуулж, дүн шинжилгээ хийх: Янз бүрийн эх сурвалжаас бүртгэл цуглуулж, дүн шинжилгээ хийхээр DevOps агентуудыг тохируулж, ослын шалтгаануудын талаар үнэ цэнэтэй ойлголтыг өгнө.
  3. ** LLM загварыг сургах**: Ослын тайлан, бүртгэл болон бусад холбогдох мэдээллийн өгөгдлийн багц дээр LLM загварыг сургах.
  4. LLM-ийг DevOps агентуудтай нэгтгэх: LLM загварыг DevOps агентуудтай нэгтгэснээр LLM-д ослын тайланд дүн шинжилгээ хийж, ослыг шийдвэрлэх талаар санал өгөх боломжийг олгоно.
  5. Шийдвэрийг ашиглах: Ослын мөрдөн байцаалтын автоматжуулсан шийдлийг өргөжүүлэх боломжтой, найдвартай, аюулгүй байдлыг хангах.

Жишээ код: LLM-ийг DevOps Agents-тай нэгтгэх

LLM загварыг DevOps агенттай хэрхэн нэгтгэхийг харуулсан Python дээрх жишээ кодын хэсэг энд байна:

импортын бүртгэл
трансформаторуудаас AutoModelForSequenceClassification, AutoTokenizer импортлох
aws_devops_agent импортын агентаас


загвар = AutoModelForSequenceClassification.from_pretrained("distilbert-base-uncased")
токенизатор = AutoTokenizer.from_pretrained("distilbert-base-uncased")

# DevOps агентыг эхлүүлэх
агент = Агент()

# LLM загварыг ашиглан ослын тайланд дүн шинжилгээ хийх функцийг тодорхойлно
def задлан шинжилгээ хийх_үйл явдлын_тайлан(тайлан):
    # Ослын тайланг урьдчилан боловсруулах
    оролт = tokenizer.encode_plus(тайлан, 
                                    add_special_tokens=Үнэн, 
                                    хамгийн_урт=512, 
                                    return_attention_mask=Үнэн, 
                                    return_tensors = 'pt')
    
    # LLM загвар ашиглан ослын тайланд дүн шинжилгээ хийх
    гаралт = загвар(оролт['оролтын_ids'], анхаарал_маск=оролтууд['анхаарал_маск'])
    
    # Урьдчилан таамагласан ангийн шошгыг задлах
    таамагласан_анги = бамбар.argmax(гаралт.логит)
    
    таамагласан_ангиа буцаана

# Ослыг шийдвэрлэх талаар санал өгөх функцийг тодорхойлох
def хангах_санал (урьдчилан таамагласан_анги):
    # Урьдчилан таамагласан ангийн шошгыг ашиглан ослыг шийдвэрлэх зөвлөмжийг өгнө үү
    хэрэв таамагласан_анги == 0:
        "Системийн бүртгэлд алдаа байгаа эсэхийг шалгах" буцах
    elif таамагласан_анги == 1:
        "Сүлжээний холболтыг шалгах" гэснийг буцаана.
    өөр:
        "Тусламж авахын тулд хөгжлийн багтай холбоо барина уу" буцах

# LLM загварыг DevOps агенттай нэгтгэх
def event_investigation():
    # DevOps агентаас бүртгэл цуглуулж, дүн шинжилгээ хийнэ үү
    бүртгэл = agent.get_logs()
    
    # LLM загвар ашиглан бүртгэлд дүн шинжилгээ хийх
    таамагласан_анги = дүн шинжилгээ хийх_үйл явдлын_тайлан(логууд)
    
    # Бэрхшээлийг шийдвэрлэх талаар санал өгөх
    саналууд = өгөх_санал (урьдчилан таамагласан_анги)
    
    саналуудыг буцаах

# Ослын мөрдөн байцаалтын шийдлийг ашиглах
тохиолдлын_мөрдөн байцаалт()

Хамгийн их ашиглагддаг 5-10 тушаал/хэсэг

Энэ технологид хамгийн их ашиглагддаг 5-10 тушаал/хэсэг:

  1. aws devops agent get-logs: DevOps агентаас бүртгэл цуглуулна.
  2. transformers.AutoModelForSequenceClassification.from_pretrained(): LLM загварыг ачаална уу.
  3. tokenizer.encode_plus(): Ослын тайланг урьдчилан боловсруулах.
  4. model(inputs['input_ids'], notice_mask=inputs['antention_mask']): LLM загвар ашиглан ослын тайланд дүн шинжилгээ хийнэ үү.
  5. torch.argmax(outputs.logits): Урьдчилан таамагласан ангийн шошгыг задлах.
  6. санал_өгөх(урьдчилан таамагласан_анги): Осолдлыг шийдвэрлэх талаар санал өгөх.
  7. agent.get_logs(): DevOps агентаас бүртгэл цуглуулна.
  8. analyze_indent_report(report): LLM загвар ашиглан ослын тайланд дүн шинжилгээ хийнэ.
  9. investigation_investigation(): Ослын мөрдөн байцаалтын шийдлийг ашиглах.
  10. torch.save(model.state_dict(), 'model.pth'): LLM загварыг хадгал.

Дүрслэл

Chart.js ашиглан ослын автоматжуулсан шийдлийн дүрслэлийг энд үзүүлэв.

{
  "төрөл": "бар",
  "өгөгдөл": {
    "шошго": ["Гараар шалгах", "Автоматжуулсан мөрдөн байцаалт"],
    "өгөгдлийн багц": [
      {
        "label": "Шийдвэрлэх цаг",
        "өгөгдөл": [10, 2],
        "backgroundColor": ["rgba(255, 99, 132, 0.2)", "rgba(54, 162, 235, 0.2)"],
        "borderColor": ["rgba(255, 99, 132, 1)", "rgba(54, 162, 235, 1)"],
        "хилийн өргөн": 1
      }
    ]
  },
  "сонголт": {
    "гарчиг": {
      "дэлгэц": үнэн,
      "text": "Болдлуудыг шийдвэрлэх цаг"
    },
    "масштаб": {
      "yAxes": [
        {
          "хачиг": {
            "beginAtZero": үнэн
          }
        }
      ]
    }
  }
}

Энэхүү дүрслэл нь гар аргаар мөрдөн байцаалтын аргыг ашиглан ослыг шийдвэрлэх хугацааг DevOps агент болон LLM ашиглан автоматжуулсан мөрдөн байцаалтын аргуудтай харьцуулсан болно.

Дүгнэлт

DevOps агентууд болон LLM-тэй хамтран ослын автоматжуулсан мөрдөн байцаалтыг хэрэгжүүлэх нь ослыг шийдвэрлэх үр ашиг, үр нөлөөг эрс сайжруулж чадна. DevOps агентуудыг LLM-тэй нэгтгэснээр байгууллагууд бүртгэлд дүн шинжилгээ хийх ажлыг автоматжуулж, ослыг шийдвэрлэх контекстэд суурилсан зөвлөмжийг өгч, зөрчлийг шийдвэрлэх хугацааг багасгах боломжтой. Бид DevOps автоматжуулалт, хиймэл оюун ухаанаар ажилладаг ослын судалгаа, AWS DevOps Agent болон Copado Agentia зэрэг DevOps хэрэгслийг сайжруулахад LLM-ийн гүйцэтгэх үүргийн уулзварыг судалсан. Энэ нийтлэлд дурдсан алхам алхмаар арга барилыг дагаснаар байгууллагууд масштабтай, найдвартай, аюулгүй ослын мөрдөн байцаалтын автоматжуулсан шийдлийг ашиглаж чадна.

Have Questions?

Let's Talk

Contact me on LinkedIn