Загрузіце сістэмныя журналы

Аркестрацыя канвеераў DevOps на базе штучнага інтэлекту з дапамогай DSPy і LangChain для актыўнага расследавання і вырашэння інцыдэнтаў у асяроддзі межавых вылічэнняў

Уводзіны

Рост складанасці сучасных праграмных сістэм у спалучэнні з ростам попыту на апрацоўку і аналіз дадзеных у рэжыме рэальнага часу прывялі да з'яўлення перспектыўных вылічальных асяроддзяў. Гэтыя асяроддзя, якія характарызуюцца наяўнасцю размеркаваных, аўтаномных і гетэрагенных сістэм, ствараюць значныя праблемы для каманд DevOps. У гэтым артыкуле мы вывучым, як выкарыстоўваць найноўшыя дасягненні ў інструментах праверкі кода на базе штучнага інтэлекту і платформах AIOps, у прыватнасці DSPy і LangChain, каб уключыць актыўнае расследаванне інцыдэнтаў і іх дазвол у перспектыўных вылічальных асяроддзях.

Скрыжаванне AI, DevOps і памежных вылічэнняў

Перыядычныя вылічальныя асяроддзя характарызуюцца наяўнасцю размеркаваных, аўтаномных і гетэрагенных сістэм, што можа зрабіць складаным для каманд DevOps своечасовае і эфектыўнае выяўленне і вырашэнне інцыдэнтаў. Для вырашэння гэтай задачы перспектыўным рашэннем з'явіліся інструменты праверкі кода на базе AI і платформы AIOps. Гэтыя інструменты выкарыстоўваюць алгарытмы машыннага навучання і метады апрацоўкі натуральнай мовы для аналізу сістэмных журналаў, паказчыкаў прадукцыйнасці і іншых крыніц даных, што дазваляе камандам DevOps выяўляць анамаліі і прагназаваць магчымыя інцыдэнты да іх узнікнення.

DSPy: Бібліятэка Python для агляду кода на базе AI

DSPy - гэта бібліятэка Python, якая дазваляе распрацоўшчыкам выкарыстоўваць магчымасці інструментаў праверкі кода на базе штучнага інтэлекту ў сваіх канвеерах DevOps. DSPy забяспечвае просты і інтуітыўна зразумелы API для інтэграцыі алгарытмаў машыннага навучання і метадаў апрацоўкі натуральнай мовы ў працоўныя працэсы праверкі кода. З дапамогай DSPy распрацоўшчыкі могуць аналізаваць сістэмныя журналы, паказчыкі прадукцыйнасці і іншыя крыніцы даных, каб выяўляць анамаліі і прагназаваць магчымыя інцыдэнты.

LangChain: структура для стварэння платформаў AIOps на базе AI

LangChain - гэта аснова для стварэння платформ AIOps на аснове штучнага інтэлекту, якія забяспечваюць актыўнае расследаванне інцыдэнтаў і іх дазвол у перспектыўных вылічальных асяроддзях. LangChain забяспечвае набор гатовых кампанентаў і API для інтэграцыі алгарытмаў машыннага навучання, метадаў апрацоўкі натуральнай мовы і іншых інструментаў на базе штучнага інтэлекту ў платформы AIOps. З дапамогай LangChain распрацоўшчыкі могуць ствараць індывідуальныя платформы AIOps, якія выкарыстоўваюць найноўшыя дасягненні ў інструментах прагляду кода на базе AI і платформах AIOps.

Аркестрацыя канвеераў DevOps на базе штучнага інтэлекту з дапамогай DSPy і LangChain

Каб арганізаваць канвееры DevOps на базе штучнага інтэлекту з DSPy і LangChain, распрацоўшчыкі могуць выканаць наступныя дзеянні:

Інтэграцыя DSPy у канвеер DevOps: распрацоўшчыкі могуць інтэграваць DSPy у канвеер DevOps з дапамогай API DSPy для аналізу сістэмных журналаў, паказчыкаў прадукцыйнасці і іншых крыніц даных.
Выкарыстоўвайце LangChain для стварэння карыстальніцкай платформы AIOps: распрацоўшчыкі могуць выкарыстоўваць LangChain для стварэння карыстальніцкай платформы AIOps, якая выкарыстоўвае апошнія дасягненні ў інструментах прагляду кода на базе AI і платформах AIOps.
Інтэграцыя платформы AIOps у канвеер DevOps: распрацоўшчыкі могуць інтэграваць платформу AIOps у канвеер DevOps з дапамогай API LangChain для аналізу сістэмных журналаў, паказчыкаў прадукцыйнасці і іншых крыніц даных.

Практычны прыклад: выкарыстанне DSPy для аналізу сістэмных журналаў

Вось просты прыклад таго, як выкарыстоўваць DSPy для аналізу сістэмных журналаў:

імпарт dspy


часопісы = dspy.load_logs('system_logs.log')

# Прааналізуйце сістэмныя журналы з дапамогай алгарытму машыннага навучання
анамаліі = dspy.analyze_logs(журналы, алгарытм='MLP')

# Раздрукуйце анамаліі
друк (анамаліі)

У гэтым прыкладзе мы загружаем сістэмныя журналы з дапамогай функцыі dspy.load_logs, аналізуем журналы з дапамогай алгарытму машыннага навучання (MLP) з дапамогай функцыі dspy.analyze_logs і друкуем анамаліі.

Топ-5-10 найбольш часта выкарыстоўваюцца каманд/фрагментаў

Вось 5-10 найбольш часта выкарыстоўваюцца каманд/фрагментаў для DSPy і LangChain:

dspy.load_logs('system_logs.log'): загружае сістэмныя журналы.
dspy.analyze_logs(logs, algorithm='MLP'): аналізуе сістэмныя журналы з дапамогай алгарытму машыннага навучання.
langchain.build_aiops_platform(): стварае карыстальніцкую платформу AIOps з выкарыстаннем LangChain.
langchain.integrate_aiops_platform(): інтэгруе платформу AIOps у канвеер DevOps.
dspy.visualize_anomalies(anomalies): візуалізуе анамаліі з дапамогай дыяграмы.
langchain.use_ml_algorithm(logs, algorithm='SVM'): выкарыстоўвае алгарытм машыннага навучання (SVM) для аналізу сістэмных журналаў.
dspy.print_anomalies(anomalies): друкуе анамаліі.
langchain.use_nlp_techniques(logs, techniques=['NER', 'POS']): выкарыстоўвае метады апрацоўкі натуральнай мовы (NER, POS) для аналізу сістэмных журналаў.
dspy.save_anomalies(anomalies, 'anomalies.csv'): Захоўвае анамаліі ў файл CSV.
langchain.use_custom_aiops_platform(): выкарыстоўвае карыстальніцкую платформу AIOps, створаную з выкарыстаннем LangChain.

Візуалізацыя

Вось прыклад візуалізацыі анамалій з дапамогай дыяграмы:

{
  "тып": "бар",
  "дадзеныя": {
    "labels": ["Анамалія 1", "Анамалія 2", "Анамалія 3"],
    "наборы дадзеных": [
      {
        "label": "Анамаліі",
        "дадзеныя": [10, 20, 30],
        "backgroundColor": "rgba(255, 99, 132, 0,2)",
        "borderColor": "rgba(255, 99, 132, 1)",
        "borderWidth": 1
      }
    ]
  },
  "параметры": {
    "назва": {
      "дысплей": праўда,
      "text": "Анамаліі"
    },
    "легенда": {
      "дысплей": праўда
    }
  }
}

У гэтым прыкладзе мы выкарыстоўваем бібліятэку Chart.js для стварэння гістаграмы, якая візуалізуе анамаліі.

Выснова

У гэтым артыкуле мы вывучылі, як выкарыстоўваць найноўшыя дасягненні ў інструментах праверкі кода на базе штучнага інтэлекту і платформах AIOps, у прыватнасці DSPy і LangChain, каб уключыць актыўнае расследаванне інцыдэнтаў і іх дазвол у перспектыўных вылічальных асяроддзях. Мы далі практычны прыклад таго, як выкарыстоўваць DSPy для аналізу сістэмных журналаў і візуалізавалі анамаліі з дапамогай дыяграмы. Мы таксама прадставілі спіс 5-10 найбольш часта выкарыстоўваюцца каманд/фрагментаў для DSPy і LangChain. Выконваючы крокі, апісаныя ў гэтым артыкуле, распрацоўшчыкі могуць ствараць карыстальніцкія платформы AIOps, якія выкарыстоўваюць апошнія дасягненні ў інструментах прагляду кода на базе штучнага інтэлекту і платформах AIOps, што дазваляе актыўна расследаваць інцыдэнты і вырашаць іх у краявых вылічальных асяроддзях.

Загрузіце сістэмныя журналы

Have Questions?