Įkelkite sistemos žurnalus | B4N1

Įkelkite sistemos žurnalus

3 months ago · b4n1 Read time: 3 min

** Dirbtinio intelekto valdomų „DevOps“ vamzdynų su DSPy ir „LangChain“ suderinimas, skirtas aktyviam incidentų tyrimui ir sprendimui krašto kompiuterinėse aplinkose**

Įvadas

Didėjantis šiuolaikinių programinės įrangos sistemų sudėtingumas kartu su didėjančia duomenų apdorojimo ir analizės realiuoju laiku paklausa lėmė pažangių skaičiavimo aplinkų atsiradimą. Šios aplinkos, kurioms būdingos paskirstytos, autonominės ir nevienalytės sistemos, kelia didelių iššūkių „DevOps“ komandoms. Šiame straipsnyje mes išnagrinėsime, kaip panaudoti naujausius AI valdomų kodų peržiūros įrankių ir AIOps platformų, ypač DSPy ir LangChain, pažangą, kad būtų galima aktyviai tirti incidentus ir juos išspręsti kraštinėse skaičiavimo aplinkose.

** AI, „DevOps“ ir „Edge Computing“ sankirta**

Kraštinės skaičiavimo aplinkos pasižymi paskirstytomis, autonominėmis ir nevienalytėmis sistemomis, todėl „DevOps“ komandoms gali būti sudėtinga laiku ir efektyviai aptikti ir išspręsti incidentus. Siekiant išspręsti šį iššūkį, dirbtinio intelekto valdomi kodo peržiūros įrankiai ir AIOps platformos pasirodė kaip perspektyvus sprendimas. Šie įrankiai naudoja mašininio mokymosi algoritmus ir natūralios kalbos apdorojimo metodus, kad būtų galima analizuoti sistemos žurnalus, našumo metriką ir kitus duomenų šaltinius, todėl „DevOps“ komandos gali aptikti anomalijas ir numatyti galimus incidentus prieš jiems įvykstant.

DSPy: Python biblioteka, skirta dirbtinio intelekto kodo peržiūrai

DSPy yra „Python“ biblioteka, leidžianti kūrėjams išnaudoti AI valdomų kodo peržiūros įrankių galią savo „DevOps“ vamzdynuose. DSPy suteikia paprastą ir intuityvią API, skirtą integruoti mašininio mokymosi algoritmus ir natūralios kalbos apdorojimo metodus į kodo peržiūros darbo eigą. Naudodami DSPy kūrėjai gali analizuoti sistemos žurnalus, našumo metrikas ir kitus duomenų šaltinius, kad aptiktų anomalijas ir nuspėtų galimus incidentus.

LangChain: AI valdomų AIOps platformų kūrimo sistema

„LangChain“ yra DI pagrindu veikiančių AIOps platformų kūrimo sistema, kuri leidžia aktyviai tirti incidentus ir juos išspręsti pažangiose skaičiavimo aplinkose. „LangChain“ teikia iš anksto sukurtų komponentų ir API rinkinį, skirtą integruoti mašininio mokymosi algoritmus, natūralios kalbos apdorojimo metodus ir kitus dirbtinio intelekto įrankius į AIOps platformas. Naudodami „LangChain“, kūrėjai gali sukurti pasirinktines AIOps platformas, kurios panaudotų naujausius dirbtinio intelekto kodo peržiūros įrankių ir AIOps platformų pažangą.

** Dirbtinio intelekto valdomų „DevOps“ vamzdynų suderinimas su DSPy ir „LangChain“**

Norėdami organizuoti dirbtinio intelekto „DevOps“ vamzdynus su DSPy ir „LangChain“, kūrėjai gali atlikti šiuos veiksmus:

  1. Integruokite DSPy į „DevOps“ dujotiekį: kūrėjai gali integruoti DSPy į „DevOps“ dujotiekį naudodami DSPy API sistemos žurnalams, našumo metrikai ir kitiems duomenų šaltiniams analizuoti.
  2. Naudokite „LangChain“, kad sukurtumėte tinkintą AIOps platformą: kūrėjai gali naudoti „LangChain“, kad sukurtų tinkintą AIOps platformą, kuri panaudotų naujausius dirbtinio intelekto kodo peržiūros įrankių ir AIOps platformų pažangą.
  3. Integruokite AIOps platformą į „DevOps“ dujotiekį: kūrėjai gali integruoti AIOps platformą į „DevOps“ dujotiekį naudodami „LangChain“ API sistemos žurnalams, našumo metrikai ir kitiems duomenų šaltiniams analizuoti.

Praktinis pavyzdys: DSPy naudojimas sistemos žurnalams analizuoti

Štai paprastas pavyzdys, kaip naudoti DSPy sistemos žurnalams analizuoti:

importuoti dspy


logs = dspy.load_logs('system_logs.log')

# Analizuokite sistemos žurnalus naudodami mašininio mokymosi algoritmą
anomalijos = dspy.analyze_logs(logs, algorithm='MLP')

# Spausdinkite anomalijas
spausdinimas (anomalijos)

Šiame pavyzdyje įkeliame sistemos žurnalus naudodami funkciją „dspy.load_logs“, analizuojame žurnalus naudodami mašininio mokymosi algoritmą (MLP) naudodami funkciją „dspy.analyze_logs“ ir išspausdiname anomalijas.

5–10 dažniausiai naudojamų komandų / fragmentų

Čia yra 5–10 dažniausiai naudojamų DSPy ir LangChain komandų / fragmentų:

  1. `dspy.load_logs('system_logs.log')': įkelia sistemos žurnalus.
  2. `dspy.analyze_logs(logs, algorithm='MLP')': analizuoja sistemos žurnalus naudodamas mašininio mokymosi algoritmą.
  3. „langchain.build_aiops_platform()“: sukuria pasirinktinę AIOps platformą naudojant „LangChain“.
  4. „langchain.integrate_aiops_platform()“: integruoja AIOps platformą į „DevOps“ dujotiekį.
  5. „dspy.visualize_anomalies(anomalies)“: vizualizuoja anomalijas naudojant diagramą.
  6. `langchain.use_ml_algorithm(logs, algorithm='SVM')': sistemos žurnalams analizuoti naudoja mašininio mokymosi algoritmą (SVM).
  7. „dspy.print_anomalies(anomalies)“: spausdina anomalijas.
  8. `langchain.use_nlp_techniques(logs, tehnikas=['NER', 'POS'])': sistemos žurnalams analizuoti naudoja natūralios kalbos apdorojimo metodus (NER, POS).
  9. `dspy.save_anomalies(anomalies, 'anomalies.csv')': išsaugo anomalijas CSV faile.
  10. „langchain.use_custom_aiops_platform()“: naudoja tinkintą AIOps platformą, sukurtą naudojant „LangChain“.

Vizualizacija

Štai pavyzdys, kaip vizualizuoti anomalijas naudojant diagramą:

{
  "tipas": "juosta",
  "duomenys": {
    "etiketės": ["1 anomalija", "2 anomalija", "3 anomalija"],
    "duomenų rinkiniai": [
      {
        "label": "Anomalijos",
        "duomenys": [10, 20, 30],
        "backgroundColor": "rgba(255, 99, 132, 0.2)",
        "borderColor": "rgba(255, 99, 132, 1)",
        "borderWidth": 1
      }
    ]
  },
  "parinktys": {
    "pavadinimas": {
      "display": tiesa,
      "text": "Anomalijos"
    },
    "legenda": {
      ekranas: tiesa
    }
  }
}

Šiame pavyzdyje mes naudojame Chart.js biblioteką, kad sukurtume juostinę diagramą, vaizduojančią anomalijas.

Išvada

Šiame straipsnyje mes ištyrėme, kaip panaudoti naujausius AI valdomų kodų peržiūros įrankių ir AIOps platformų, ypač DSPy ir LangChain, pažangą, kad būtų galima aktyviai tirti incidentus ir juos išspręsti krašto kompiuterijos aplinkoje. Pateikėme praktinį pavyzdį, kaip naudoti DSPy sistemos žurnalams analizuoti, ir vizualizavome anomalijas naudodami diagramą. Taip pat pateikėme 5–10 dažniausiai naudojamų DSPy ir LangChain komandų / fragmentų sąrašą. Vykdydami šiame straipsnyje nurodytus veiksmus, kūrėjai gali sukurti pasirinktines AIOps platformas, kurios panaudotų naujausius AI valdomų kodų peržiūros įrankių ir AIOps platformų pažangą, įgalindamos aktyvų incidentų tyrimą ir sprendimą kraštinėse skaičiavimo aplinkose.


Have Questions?

Let's Talk

Contact me on LinkedIn