Ielādējiet sistēmas žurnālus | B4N1

Ielādējiet sistēmas žurnālus

6 months ago · b4n1 Read time: 3 min

Ar AI darbināmu DevOps cauruļvadu organizēšana ar DSPy un LangChain proaktīvai incidentu izmeklēšanai un risināšanai malu skaitļošanas vidēs

Ievads

Mūsdienu programmatūras sistēmu pieaugošā sarežģītība apvienojumā ar pieaugošo pieprasījumu pēc reāllaika datu apstrādes un analīzes ir novedusi pie malas skaitļošanas vides rašanās. Šīs vides, kurām raksturīgas sadalītas, autonomas un neviendabīgas sistēmas, rada ievērojamas problēmas DevOps komandām. Šajā rakstā mēs izpētīsim, kā izmantot jaunākos sasniegumus ar AI darbināmos koda pārskatīšanas rīkos un AIOps platformās, īpaši DSPy un LangChain, lai nodrošinātu proaktīvu incidentu izmeklēšanu un atrisināšanu malu skaitļošanas vidēs.

** AI, DevOps un Edge Computing krustpunkts**

Edge skaitļošanas vidēm ir raksturīgas sadalītas, autonomas un neviendabīgas sistēmas, kas DevOps komandām var apgrūtināt savlaicīgu un efektīvu incidentu atklāšanu un atrisināšanu. Lai risinātu šo izaicinājumu, ar AI darbināmi kodu pārskatīšanas rīki un AIOps platformas ir kļuvušas par daudzsološu risinājumu. Šie rīki izmanto mašīnmācīšanās algoritmus un dabiskās valodas apstrādes metodes, lai analizētu sistēmas žurnālus, veiktspējas metriku un citus datu avotus, ļaujot DevOps komandām atklāt anomālijas un paredzēt iespējamos incidentus pirms to rašanās.

DSPy: Python bibliotēka ar AI darbināma koda pārskatīšanai

DSPy ir Python bibliotēka, kas ļauj izstrādātājiem savos DevOps konveijeros izmantot ar AI darbinātu koda pārskatīšanas rīku jaudu. DSPy nodrošina vienkāršu un intuitīvu API mašīnmācīšanās algoritmu un dabiskās valodas apstrādes metožu integrēšanai koda pārskatīšanas darbplūsmās. Izmantojot DSPy, izstrādātāji var analizēt sistēmas žurnālus, veiktspējas rādītājus un citus datu avotus, lai atklātu anomālijas un paredzētu iespējamos incidentus.

LangChain: ietvars ar AI darbināmu AIOps platformu izveidei

LangChain ir ietvars ar AI darbināmu AIOps platformu izveidei, kas nodrošina proaktīvu incidentu izmeklēšanu un atrisināšanu malu skaitļošanas vidēs. LangChain nodrošina iepriekš izveidotu komponentu un API komplektu, lai AIOps platformās integrētu mašīnmācīšanās algoritmus, dabiskās valodas apstrādes metodes un citus ar AI darbināmus rīkus. Izmantojot LangChain, izstrādātāji var izveidot pielāgotas AIOps platformas, kas izmanto jaunākos sasniegumus ar AI darbināmos koda pārskatīšanas rīkos un AIOps platformās.

Ar AI darbinātu DevOps cauruļvadu organizēšana ar DSPy un LangChain

Lai organizētu ar AI darbinātus DevOps cauruļvadus ar DSPy un LangChain, izstrādātāji var veikt tālāk norādītās darbības.

  1. Integrējiet DSPy DevOps konveijerā: izstrādātāji var integrēt DSPy DevOps konveijerā, izmantojot DSPy API, lai analizētu sistēmas žurnālus, veiktspējas rādītājus un citus datu avotus. 2. Izmantojiet LangChain, lai izveidotu pielāgotu AIOps platformu: izstrādātāji var izmantot LangChain, lai izveidotu pielāgotu AIOps platformu, kas izmanto jaunākos sasniegumus ar AI darbināmos koda pārskatīšanas rīkos un AIOps platformās. 3. Integrējiet AIOps platformu DevOps konveijerā: izstrādātāji var integrēt AIOps platformu DevOps konveijerā, izmantojot LangChain API, lai analizētu sistēmas žurnālus, veiktspējas rādītājus un citus datu avotus.

Praktisks piemērs: DSPy izmantošana sistēmas žurnālu analīzei

Šeit ir vienkāršs piemērs, kā izmantot DSPy, lai analizētu sistēmas žurnālus:

importēt dspy


žurnāli = dspy.load_logs('system_logs.log')

# Analizējiet sistēmas žurnālus, izmantojot mašīnmācīšanās algoritmu
anomālijas = dspy.analyze_logs(logs, algorithm='MLP')

# Izdrukājiet anomālijas
druka (anomālijas)

Šajā piemērā mēs ielādējam sistēmas žurnālus, izmantojot funkciju "dspy.load_logs", analizējam žurnālus, izmantojot mašīnmācīšanās algoritmu (MLP), izmantojot funkciju "dspy.analyze_logs", un izdrukājam anomālijas.

5–10 populārākās komandas/fragmenti

Šeit ir 5–10 populārākās DSPy un LangChain komandas/fragmenti:

  1. `dspy.load_logs('system_logs.log')': ielādē sistēmas žurnālus.
  2. `dspy.analyze_logs(logs, algorithm='MLP')': analizē sistēmas žurnālus, izmantojot mašīnmācīšanās algoritmu.
  3. "langchain.build_aiops_platform()": izveido pielāgotu AIOps platformu, izmantojot LangChain.
  4. "langchain.integrate_aiops_platform()": integrē AIOps platformu DevOps konveijerā.
  5. "dspy.visualize_anomalies(anomalies)": vizualizē anomālijas, izmantojot diagrammu.
  6. `langchain.use_ml_algorithm(logs, algorithm='SVM')': izmanto mašīnmācīšanās algoritmu (SVM), lai analizētu sistēmas žurnālus.
  7. "dspy.print_anomalies(anomalies)": izdrukā anomālijas.
  8. `langchain.use_nlp_techniques(logs, tehnikas=['NER', 'POS'])': izmanto dabiskās valodas apstrādes metodes (NER, POS), lai analizētu sistēmas žurnālus.
  9. `dspy.save_anomalies(anomalies, 'anomalies.csv')': saglabā anomālijas CSV failā.
  10. langchain.use_custom_aiops_platform(): izmanto pielāgotu AIOps platformu, kas izveidota, izmantojot LangChain.

Vizualizācija

Šeit ir piemērs, kā vizualizēt anomālijas, izmantojot diagrammu:

{
  "tips": "josla",
  "dati": {
    "iezīmes": ["Anomālija 1", "Anomālija 2", "Anomālija 3"],
    "datu kopas": [
      {
        "label": "Anomālijas",
        "dati": [10, 20, 30],
        "backgroundColor": "rgba(255, 99, 132, 0.2)",
        "borderColor": "rgba(255, 99, 132, 1)",
        "borderWidth": 1
      }
    ]
  },
  "opcijas": {
    "title": {
      "displejs": patiess,
      "teksts": "Anomālijas"
    },
    "leģenda": {
      "displejs": patiess
    }
  }
}

Šajā piemērā mēs izmantojam Chart.js bibliotēku, lai izveidotu joslu diagrammu, kas vizualizē anomālijas.

Secinājums

Šajā rakstā mēs izpētījām, kā izmantot jaunākos sasniegumus ar AI darbināmos koda pārskatīšanas rīkos un AIOps platformās, īpaši DSPy un LangChain, lai nodrošinātu proaktīvu incidentu izmeklēšanu un atrisināšanu malu skaitļošanas vidēs. Mēs sniedzām praktisku piemēru, kā izmantot DSPy, lai analizētu sistēmas žurnālus, un vizualizējām anomālijas, izmantojot diagrammu. Mēs arī nodrošinājām sarakstu ar 5–10 visbiežāk izmantotajām komandām/fragmentiem DSPy un LangChain. Veicot šajā rakstā aprakstītās darbības, izstrādātāji var izveidot pielāgotas AIOps platformas, kas izmanto jaunākos sasniegumus ar AI darbināmos koda pārskatīšanas rīkos un AIOps platformās, nodrošinot proaktīvu incidentu izmeklēšanu un atrisināšanu malu skaitļošanas vidēs.


Have Questions?

Let's Talk

Contact me on LinkedIn