Naloži sistemske dnevnike | B4N1

Naloži sistemske dnevnike

3 months ago · b4n1 Read time: 4 min

Urejanje cevovodov DevOps, ki jih poganja umetna inteligenca, z DSPy in LangChain za proaktivno preiskovanje in reševanje incidentov v robnih računalniških okoljih

Uvod

Vse večja kompleksnost sodobnih sistemov programske opreme je skupaj z naraščajočim povpraševanjem po obdelavi in analizi podatkov v realnem času povzročila nastanek robnih računalniških okolij. Ta okolja, za katera je značilna prisotnost porazdeljenih, avtonomnih in heterogenih sistemov, predstavljajo velike izzive za ekipe DevOps. V tem članku bomo raziskali, kako izkoristiti najnovejši napredek v orodjih za pregledovanje kode, ki jih poganja umetna inteligenca, in platformah AIOps, posebej DSPy in LangChain, da omogočimo proaktivno preiskavo in reševanje incidentov v robnih računalniških okoljih.

Presečišče AI, DevOps in robnega računalništva

Za robna računalniška okolja je značilna prisotnost porazdeljenih, avtonomnih in heterogenih sistemov, zaradi česar je lahko ekipam DevOps izziv za odkrivanje in reševanje incidentov na pravočasen in učinkovit način. Za reševanje tega izziva so se kot obetavna rešitev izkazala orodja za pregled kode, ki jih poganja AI, in platforme AIOps. Ta orodja izkoriščajo algoritme strojnega učenja in tehnike obdelave naravnega jezika za analizo sistemskih dnevnikov, meritev zmogljivosti in drugih virov podatkov, kar ekipam DevOps omogoča odkrivanje nepravilnosti in napovedovanje morebitnih incidentov, preden se zgodijo.

DSPy: knjižnica Python za pregled kode, ki jo poganja AI

DSPy je knjižnica Python, ki razvijalcem omogoča, da v svojih cevovodih DevOps izkoristijo moč orodij za pregled kode, ki jih poganja AI. DSPy ponuja preprost in intuitiven API za integracijo algoritmov strojnega učenja in tehnik obdelave naravnega jezika v delovne tokove pregleda kode. Z DSPy lahko razvijalci analizirajo sistemske dnevnike, meritve zmogljivosti in druge vire podatkov, da odkrijejo anomalije in predvidijo potencialne incidente.

LangChain: ogrodje za izgradnjo platform AIOps, ki jih poganja AI

LangChain je ogrodje za izgradnjo platform AIOps, ki jih poganja umetna inteligenca in ki omogočajo proaktivno preiskavo incidentov in reševanje v robnih računalniških okoljih. LangChain ponuja nabor vnaprej izdelanih komponent in API-jev za integracijo algoritmov strojnega učenja, tehnik obdelave naravnega jezika in drugih orodij, ki jih poganja AI, v platforme AIOps. Z LangChain lahko razvijalci zgradijo platforme AIOps po meri, ki izkoriščajo najnovejše napredke v orodjih za pregled kode, ki jih poganja AI, in platformah AIOps.

Urejanje cevovodov DevOps, ki jih poganja AI, z DSPy in LangChain

Za orkestriranje cevovodov DevOps, ki jih poganja AI z DSPy in LangChain, lahko razvijalci sledijo tem korakom:

  1. Integrirajte DSPy v cevovod DevOps: razvijalci lahko integrirajo DSPy v cevovod DevOps z uporabo API-ja DSPy za analizo sistemskih dnevnikov, meritev zmogljivosti in drugih virov podatkov.
  2. Uporabite LangChain za izgradnjo platforme AIOps po meri: razvijalci lahko uporabljajo LangChain za izgradnjo platforme AIOps po meri, ki izkorišča najnovejše napredke v orodjih za pregled kode, ki jih poganja AI, in platformah AIOps.
  3. Integrirajte platformo AIOps v cevovod DevOps: razvijalci lahko integrirajo platformo AIOps v cevovod DevOps z uporabo API-ja LangChain za analizo sistemskih dnevnikov, meritev uspešnosti in drugih virov podatkov.

Praktični primer: uporaba DSPy za analizo sistemskih dnevnikov

Tukaj je preprost primer, kako uporabiti DSPy za analizo sistemskih dnevnikov:

uvozi dspy


dnevniki = dspy.load_logs('system_logs.log')

# Analizirajte sistemske dnevnike z uporabo algoritma strojnega učenja
anomalije = dspy.analyze_logs(dnevniki, algoritem='MLP')

# Natisnite anomalije
natisni (anomalije)

V tem primeru naložimo sistemske dnevnike s funkcijo dspy.load_logs, analiziramo dnevnike z uporabo algoritma strojnega učenja (MLP) z uporabo funkcije dspy.analyze_logs in natisnemo anomalije.

5–10 najbolj uporabljenih ukazov/izrezkov

Tukaj je 5-10 najbolj uporabljenih ukazov/delčkov za DSPy in LangChain:

  1. dspy.load_logs('system_logs.log'): naloži sistemske dnevnike.
  2. dspy.analyze_logs(logs, algorithm='MLP'): Analizira sistemske dnevnike z uporabo algoritma strojnega učenja.
  3. langchain.build_aiops_platform(): zgradi platformo AIOps po meri z uporabo LangChain.
  4. langchain.integrate_aiops_platform(): integrira platformo AIOps v cevovod DevOps.
  5. dspy.visualize_anomalies(anomalies): Vizualizira anomalije z uporabo grafikona.
  6. langchain.use_ml_algorithm(logs, algorithm='SVM'): uporablja algoritem strojnega učenja (SVM) za analizo sistemskih dnevnikov.
  7. dspy.print_anomalies(anomalije): Natisne anomalije.
  8. langchain.use_nlp_techniques(logs, techniques=['NER', 'POS']): uporablja tehnike obdelave naravnega jezika (NER, POS) za analizo sistemskih dnevnikov.
  9. dspy.save_anomalies(anomalies, 'anomalies.csv'): Shrani anomalije v datoteko CSV.
  10. langchain.use_custom_aiops_platform(): uporablja platformo AIOps po meri, zgrajeno z uporabo LangChain.

Vizualizacija

Tukaj je primer, kako vizualizirati anomalije z uporabo grafikona:

{
  "vrsta": "bar",
  "podatki": {
    "labels": ["Anomalija 1", "Anomalija 2", "Anomalija 3"],
    "nabori podatkov": [
      {
        "label": "Anomalije",
        "podatki": [10, 20, 30],
        "Barva ozadja": "rgba(255, 99, 132, 0,2)",
        "borderColor": "rgba(255, 99, 132, 1)",
        "borderWidth": 1
      }
    ]
  },
  "možnosti": {
    "naslov": {
      "display": res,
      "text": "Anomalije"
    },
    "legenda": {
      "display": res
    }
  }
}

V tem primeru uporabimo knjižnico Chart.js za ustvarjanje paličnega grafikona, ki vizualizira anomalije.

Sklep

V tem članku smo raziskali, kako izkoristiti najnovejši napredek v orodjih za pregledovanje kode, ki jih poganja umetna inteligenca, in platformah AIOps, posebej DSPy in LangChain, da omogočimo proaktivno preiskavo in reševanje incidentov v robnih računalniških okoljih. Zagotovili smo praktičen primer, kako uporabiti DSPy za analizo sistemskih dnevnikov in vizualizirali anomalije z uporabo grafikona. Zagotovili smo tudi seznam 5–10 najbolj uporabljenih ukazov/delčkov za DSPy in LangChain. Z upoštevanjem korakov, opisanih v tem članku, lahko razvijalci zgradijo platforme AIOps po meri, ki izkoriščajo najnovejši napredek v orodjih za pregledovanje kode, ki jih poganja umetna inteligenca, in platformah AIOps, kar omogoča proaktivno preiskavo incidentov in reševanje v okoljih robnega računalništva.


Have Questions?

Let's Talk

Contact me on LinkedIn