Направите цевовод за унос података | B4N1

Направите цевовод за унос података

3 months ago · b4n1 Read time: 4 min

Оркестрирање ДевОпс-а са АИ помоћу ДСПи-а и ЛангЦхаин-а: скалабилна архитектура за аутоматизовану истрагу инцидената

У данашњем брзом дигиталном окружењу, ДевОпс тимови се суочавају са све сложенијим изазовом: ефикасно и ефикасно идентификовање и решавање инцидената. Како се обим и брзина издавања софтвера убрзавају, расте и вероватноћа грешака и кршења безбедности. Да би остале испред кривуље, организације морају усвојити иновативне стратегије које користе моћ вештачке интелигенције (АИ) за аутоматизацију истраге и решавања инцидената.

У овом чланку ћемо се позабавити детаљима техничке имплементације коришћења ДСПи-а и ЛангЦхаин-а за креирање скалабилне архитектуре за аутоматизовану истрагу инцидента. Комбиновањем предности ове две најсавременије технологије, показаћемо како да изградимо робустан и ефикасан систем који побољшава ДевОпс ефикасност и ефективност.

Разумевање ДСПи-а и ЛангЦхаин-а

Пре него што уђемо у техничку имплементацију, хајде да укратко представимо ДСПи и ЛангЦхаин.

ДСПи

ДСПи је Питхон библиотека која пружа интерфејс високог нивоа за прављење и примену апликација које покреће вештачка интелигенција. Нуди низ функција, укључујући:

  • Послуживање модела: ДСПи вам омогућава да сервирате АИ моделе као АПИ-је, што олакшава њихову интеграцију у постојеће апликације.
  • Управљање моделом: ДСПи пружа алате за управљање АИ моделима, укључујући примену модела, надгледање и верзионисање.
  • Интеграција података: ДСПи омогућава беспрекорну интеграцију са различитим изворима података, укључујући базе података, АПИ-је и системе датотека.

ЛангЦхаин

ЛангЦхаин је Питхон библиотека која пружа оквир за изградњу конверзацијских АИ апликација. Нуди низ функција, укључујући:

  • Интерфејси за разговор: ЛангЦхаин омогућава креирање конверзацијских интерфејса, као што су цхатботови и гласовни асистенти.
  • Обрада природног језика (НЛП): ЛангЦхаин обезбеђује алате за НЛП задатке, укључујући класификацију текста, анализу осећања и препознавање ентитета.
  • Управљање графовима знања: ЛангЦхаин омогућава креирање и управљање графовима знања, који су неопходни за конверзацијске АИ апликације.

Изградња скалабилне архитектуре

Да бисмо изградили скалабилну архитектуру за аутоматизовано истраживање инцидената, комбинућемо предности ДСПи-а и ЛангЦхаин-а. Наша архитектура ће се састојати од следећих компоненти:

  1. Уношење података: Користићемо ДСПи за унос података из различитих извора, укључујући евиденције, метрике и АПИ-је.
  2. Обрада података: Користићемо ДСПи за обраду унетих података, примењујући АИ моделе за идентификацију потенцијалних инцидената.
  3. Откривање инцидената: Користићемо ЛангЦхаин да креирамо конверзацијски интерфејс за откривање инцидената, омогућавајући корисницима да комуницирају са системом и обезбеде контекст за истрагу инцидента.
  4. Управљање графом знања: Користићемо ЛангЦхаин да креирамо и управљамо графиконом знања, који ће чувати информације о инцидентима, укључујући њихове узроке, ефекте и решења.
  5. Резолуција: Користићемо ДСПи да применимо АИ моделе за решавање инцидената, користећи графикон знања за информисање доношења одлука.

Техничка имплементација

Хајде да заронимо у детаље техничке имплементације наше архитектуре.

Уношење података

Користићемо ДСПи за унос података из различитих извора, укључујући евиденције, метрике и АПИ-је. Направићемо цевовод за унос података користећи класу ДатаПипелине ДСПи-а, која ће управљати обрадом и складиштењем података.

увоз дспи као дсп


пипелине = дсп.ДатаПипелине()

# Додајте изворе података у цевовод
пипелине.адд_соурце("логс", дсп.ЛогСоурце())
пипелине.адд_соурце("метрицс", дсп.МетрицСоурце())
пипелине.адд_соурце("апи", дсп.АПИСоурце())

# Покрените цевовод
пипелине.старт()

Обрада података

Користићемо ДСПи за обраду прогутаних података, примењујући АИ моделе да идентификујемо потенцијалне инциденте. Направићемо цевовод за обраду података користећи ДСПи ДатаПипелине класу, која ће се бавити обрадом и складиштењем података.

увоз дспи као дсп

# Креирајте цевовод за обраду података
пипелине = дсп.ДатаПипелине()

# Додајте АИ моделе у цевовод
пипелине.адд_модел("инцидент_детецтион", дсп.ИнцидентДетецтионМодел())
пипелине.адд_модел("аномали_детецтион", дсп.АномалиДетецтионМодел())

# Покрените цевовод
пипелине.старт()

Откривање инцидената

Користићемо ЛангЦхаин да креирамо конверзацијски интерфејс за откривање инцидената, омогућавајући корисницима да комуницирају са системом и обезбеде контекст за истрагу инцидента.

импорт лангцхаин као лц

# Креирајте конверзацијски интерфејс
интерфејс = лц.ЦонверсатионалИнтерфаце()

# Додајте цхатбот у интерфејс
интерфаце.адд_цхатбот("инцидент_детецтион", лц.Цхатбот())

# Покрените интерфејс
интерфејс.старт()

Управљање графом знања

Користићемо ЛангЦхаин да креирамо и управљамо графиконом знања, који ће чувати информације о инцидентима, укључујући њихове узроке, ефекте и решења.

импорт лангцхаин као лц

# Направите графикон знања
граф = лц.КновледгеГрапх()

# Додајте чворове на графикон
грапх.адд_ноде("инцидент1", лц.Ноде())
грапх.адд_ноде("инцидент2", лц.Ноде())

# Додајте ивице графу
грапх.адд_едге("инцидент1", "инцидент2", лц.Едге())

Резолуција

Користићемо ДСПи да применимо АИ моделе за решавање инцидената, користећи графикон знања за доношење одлука.

увоз дспи као дсп

# Направите цевовод резолуције
пипелине = дсп.ДатаПипелине()

# Додајте АИ моделе у цевовод
пипелине.адд_модел("инцидент_ресолутион", дсп.ИнцидентРесолутионМодел())

# Покрените цевовод
пипелине.старт()

Топ 5-10 најчешће коришћених команди/исјечака

Ево 5-10 најчешће коришћених команди/исјечака за ДСПи и ЛангЦхаин:

ДСПи

  • дсп.ДатаПипелине(): Креира цевовод података за унос и обраду података.
  • дсп.адд_соурце(): Додаје извор података у цевовод.
  • дсп.адд_модел(): Додаје АИ модел у цевовод.
  • дсп.старт(): Покреће цевовод.
  • дсп.стоп(): Зауставља цевовод.

ЛангЦхаин

  • лц.ЦонверсатионалИнтерфаце(): Креира конверзацијски интерфејс за откривање инцидената.
  • лц.адд_цхатбот(): Додаје цхатбот у интерфејс.
  • лц.старт(): Покреће интерфејс.
  • лц.КновледгеГрапх(): Креира графикон знања за управљање инцидентима.
  • лц.адд_ноде(): Додаје чвор на графикон.
  • лц.адд_едге(): Додаје ивицу графу.

Визуелизација

Ево визуелизације наше архитектуре користећи Цхарт.јс:

{
  "типе": "пиеЦхарт",
  "подаци": {
    "ознаке": ["Уношење података", "Обрада података", "Откривање инцидената", "Управљање графиконом знања", "Резолуција"],
    "сетови података": [
      {
        "лабел": "Компоненте архитектуре",
        "подаци": [30, 20, 20, 15, 15],
        "бацкгроундЦолор": [
          "ргба(255, 99, 132, 0.2)",
          "ргба(54, 162, 235, 0.2)",
          "ргба(255, 206, 86, 0.2)",
          "ргба(75, 192, 192, 0.2)",
          "ргба(153, 102, 255, 0.2)"
        ],
        "бордерЦолор": [
          "ргба (255, 99, 132, 1)",
          "ргба (54, 162, 235, 1)",
          "ргба (255, 206, 86, 1)",
          "ргба (75, 192, 192, 1)",
          "ргба(153, 102, 255, 1)"
        ],
        "бордерВидтх": 1
      }
    ]
  },
  "опције": {
    "наслов": {
      "приказ": истина,
      "текст": "Компоненте архитектуре"
    },
    "легенда": {
      "приказ": истина
    }
  }
}

Ова визуелизација приказује пет компоненти наше архитектуре, при чему компоненте за унос и обраду података заузимају највећи удео.

Закључак

У овом чланку смо демонстрирали како да изградимо скалабилну архитектуру за аутоматизовану истрагу инцидената користећи ДСПи и ЛангЦхаин. Комбиновањем предности ове две најсавременије технологије, створили смо робустан и ефикасан систем који побољшава ДевОпс ефикасност и ефективност. Такође смо дали практичан пример имплементације, укључујући исечке кода и визуелизацију архитектуре. Усвајањем ове архитектуре, организације могу да побољшају своје време одговора на инциденте, смање време застоја и побољшају укупну поузданост система.


Have Questions?

Let's Talk

Contact me on LinkedIn