Məlumat qəbulu kəməri yaradın | B4N1

Məlumat qəbulu kəməri yaradın

3 months ago · b4n1 Read time: 5 min

DSPy və LangChain ilə süni intellektlə işləyən DevOps-un təşkili: Avtomatlaşdırılmış insidentlərin təhqiqatı üçün genişləndirilə bilən arxitektura

Bu günün sürətli rəqəmsal mənzərəsində DevOps komandaları getdikcə daha mürəkkəb bir problemlə üzləşirlər: insidentləri səmərəli və effektiv şəkildə müəyyən etmək və həll etmək. Proqram təminatının buraxılışlarının həcmi və sürəti sürətləndikcə səhvlər və təhlükəsizlik pozuntuları ehtimalı artır. Əyridən qabaqda qalmaq üçün təşkilatlar hadisələrin araşdırılması və həllini avtomatlaşdırmaq üçün Süni İntellektin (AI) gücündən istifadə edən innovativ strategiyalar qəbul etməlidirlər.

Bu yazıda biz DSPy və LangChain-dən istifadənin texniki icra təfərrüatlarını araşdıracağıq ki, insidentlərin avtomatlaşdırılmış təhqiqatı üçün genişləndirilə bilən arxitektura yaradılsın. Bu iki qabaqcıl texnologiyanın güclü tərəflərini birləşdirərək, biz DevOps-un səmərəliliyini və effektivliyini artıran möhkəm və səmərəli sistemin necə qurulacağını nümayiş etdirəcəyik.

DSPy və LangChain-i başa düşmək

Texniki tətbiqə keçməzdən əvvəl DSPy və LangChain-i qısaca təqdim edək.

DSPy

DSPy, süni intellektlə işləyən tətbiqləri qurmaq və yerləşdirmək üçün yüksək səviyyəli interfeys təmin edən Python kitabxanasıdır. O, bir sıra funksiyaları təklif edir, o cümlədən:

  • Model xidməti: DSPy sizə AI modellərinə API kimi xidmət göstərməyə imkan verir və onları mövcud proqramlara inteqrasiya etməyi asanlaşdırır.
  • Model idarəçiliyi: DSPy, model yerləşdirmə, monitorinq və versiyalaşdırma daxil olmaqla, AI modellərini idarə etmək üçün alətlər təqdim edir.
  • Məlumat inteqrasiyası: DSPy verilənlər bazası, API-lər və fayl sistemləri daxil olmaqla müxtəlif məlumat mənbələri ilə qüsursuz inteqrasiyaya imkan verir.

LangChain

LangChain, danışıq süni intellekt tətbiqləri yaratmaq üçün çərçivə təmin edən Python kitabxanasıdır. O, bir sıra funksiyaları təklif edir, o cümlədən:

  • Danışıq interfeysləri: LangChain chatbotlar və səsli köməkçilər kimi danışıq interfeyslərinin yaradılmasına imkan verir.
  • Natural Language Processing (NLP): LangChain mətn təsnifatı, sentiment təhlili və varlığın tanınması daxil olmaqla NLP tapşırıqları üçün alətlər təqdim edir.
  • Bilik qrafikinin idarə edilməsi: LangChain danışıq süni intellekt tətbiqləri üçün vacib olan bilik qrafiklərinin yaradılmasına və idarə olunmasına imkan verir.

Ölçəklənən Arxitekturanın qurulması

Avtomatlaşdırılmış insident təhqiqatı üçün genişləndirilə bilən arxitektura yaratmaq üçün biz DSPy və LangChain-in güclü tərəflərini birləşdirəcəyik. Arxitekturamız aşağıdakı komponentlərdən ibarət olacaq:

  1. Məlumatların qəbulu: Biz loglar, ölçülər və API-lər daxil olmaqla müxtəlif mənbələrdən məlumatları qəbul etmək üçün DSPy-dən istifadə edəcəyik.
  2. Məlumatların Emalı: Potensial insidentləri müəyyən etmək üçün AI modellərini tətbiq edərək qəbul edilmiş məlumatları emal etmək üçün DSPy-dən istifadə edəcəyik.
  3. İnsidentin Aşkarlanması: Biz LangChain-dən insidentin aşkarlanması üçün danışıq interfeysi yaratmaq üçün istifadə edəcəyik ki, bu da istifadəçilərə sistemlə qarşılıqlı əlaqə yaratmağa və insidentin araşdırılması üçün kontekst təmin etməyə imkan verir.
  4. Bilik Qrafikinin İdarə Edilməsi: Biz LangChain-dən bilik qrafiki yaratmaq və idarə etmək üçün istifadə edəcəyik, bu, hadisələr, o cümlədən onların səbəbləri, təsirləri və həlli yolları haqqında məlumatı saxlayacaq.
  5. Qətiyyət: Qərarların qəbulunu məlumatlandırmaq üçün bilik qrafikindən istifadə edərək hadisələri həll etmək üçün AI modellərini tətbiq etmək üçün DSPy-dən istifadə edəcəyik.

Texniki Tətbiq

Memarlığımızın texniki icra detallarına nəzər salaq.

Məlumat qəbulu

Biz loglar, ölçülər və API-lər daxil olmaqla müxtəlif mənbələrdən məlumatları qəbul etmək üçün DSPy-dən istifadə edəcəyik. Biz DSPy-nin DataPipeline sinifindən istifadə edərək məlumat qəbulu kəməri yaradacağıq ki, bu da verilənlərin emalı və saxlanmasını idarə edəcək.

dspy-ni dsp kimi idxal edin


boru kəməri = dsp.DataPipeline()

# Boru kəmərinə məlumat mənbələri əlavə edin
pipeline.add_source("logs", dsp.LogSource())
pipeline.add_source("metrik", dsp.MetricSource())
pipeline.add_source("api", dsp.APISource())

# Boru kəmərini işə salın
pipeline.start()

Məlumatların emalı

Potensial insidentləri müəyyən etmək üçün süni intellekt modellərini tətbiq etməklə qəbul edilmiş məlumatları emal etmək üçün DSPy-dən istifadə edəcəyik. Biz DSPy-nin DataPipeline sinifindən istifadə edərək verilənlərin emalı və saxlanmasını idarə edəcək məlumat emal boru kəməri yaradacağıq.

dspy-ni dsp kimi idxal edin

# Məlumat emal boru kəməri yaradın
boru kəməri = dsp.DataPipeline()

# Boru kəmərinə AI modelləri əlavə edin
pipeline.add_model("insident_detection", dsp.IncidentDetectionModel())
pipeline.add_model("anomaly_detection", dsp.AnomalyDetectionModel())

# Boru kəmərini işə salın
pipeline.start()

Hadisənin Aşkarlanması

Biz LangChain-dən insidentin aşkarlanması üçün danışıq interfeysi yaratmaq üçün istifadə edəcəyik ki, bu da istifadəçilərə sistemlə əlaqə saxlamağa və insident araşdırması üçün kontekst təmin etməyə imkan verir.

lc olaraq langchain idxal edin

# Danışıq interfeysi yaradın
interfeys = lc.ConversationalInterface()

# İnterfeys üçün chatbot əlavə edin
interface.add_chatbot("insident_detection", lc.Chatbot())

# İnterfeys işə başlayın
interface.start()

Bilik Qrafikinin İdarə Edilməsi

Hadisələr, o cümlədən onların səbəbləri, təsirləri və həlli yolları haqqında məlumatı saxlayacaq bilik qrafiki yaratmaq və idarə etmək üçün LangChain-dən istifadə edəcəyik.

lc olaraq langchain idxal edin

# Bilik qrafiki yaradın
qrafik = lc.KnowledgeGraph()

# Qrafikə qovşaqlar əlavə edin
graph.add_node("insident1", lc.Node())
graph.add_node("insident2", lc.Node())

# Qrafikə kənarlar əlavə edin
graph.add_edge("hadisə1", "hadisə2", lc.Edge())

Qətnamə

Qərarların qəbulunu məlumatlandırmaq üçün bilik qrafikindən istifadə edərək hadisələri həll etmək üçün AI modellərini tətbiq etmək üçün DSPy-dən istifadə edəcəyik.

dspy-ni dsp kimi idxal edin

# Qətnamə boru kəməri yaradın
boru kəməri = dsp.DataPipeline()

# Boru kəmərinə AI modelləri əlavə edin
pipeline.add_model("insident_resolution", dsp.IncidentResolutionModel())

# Boru kəmərini işə salın
pipeline.start()

Ən çox istifadə edilən 5-10 əmr/parça

DSPy və LangChain üçün ən çox istifadə olunan 5-10 əmr/parçalar bunlardır:

DSPy

  • dsp.DataPipeline(): Məlumatların qəbulu və emalı üçün məlumat kəməri yaradır.
  • dsp.add_source(): Boru kəmərinə məlumat mənbəyi əlavə edir.
  • dsp.add_model(): Boru kəmərinə AI modeli əlavə edir.
  • dsp.start(): Boru kəmərini işə salır.
  • dsp.stop(): Boru kəmərini dayandırır.

LangChain

  • lc.ConversationalInterface(): Hadisənin aşkarlanması üçün danışıq interfeysi yaradır.
  • lc.add_chatbot(): interfeysə chatbot əlavə edir.
  • lc.start(): interfeysi işə salır.
  • lc.KnowledgeGraph(): Hadisələrin idarə edilməsi üçün bilik qrafiki yaradır.
  • lc.add_node(): Qrafikə qovşaq əlavə edir.
  • lc.add_edge(): Qrafikə kənar əlavə edir.

Vizuallaşdırma

Chart.js-dən istifadə edərək arxitekturamızın vizuallaşdırılması budur:

{
  "type": "pieChart",
  "data": {
    "etiketlər": ["Məlumatların qəbulu", "Məlumatların emalı", "İnsidentin aşkarlanması", "Bilik qrafikinin idarə edilməsi", "Qətiyyət"],
    "verilənlər dəsti": [
      {
        "label": "Memarlıq komponentləri",
        "data": [30, 20, 20, 15, 15],
        "fon Rəngi": [
          "rgba(255, 99, 132, 0.2)",
          "rgba(54, 162, 235, 0.2)",
          "rgba(255, 206, 86, 0.2)",
          "rgba(75, 192, 192, 0.2)",
          "rgba(153, 102, 255, 0.2)"
        ],
        "borderColor": [
          "rgba(255, 99, 132, 1)",
          "rgba(54, 162, 235, 1)",
          "rgba(255, 206, 86, 1)",
          "rgba(75, 192, 192, 1)",
          "rgba(153, 102, 255, 1)"
        ],
        "borderWidth": 1
      }
    ]
  },
  "seçimlər": {
    "başlıq": {
      "ekran": doğru,
      "text": "Memarlıq komponentləri"
    },
    "əfsanə": {
      "ekran": doğrudur
    }
  }
}

Bu vizuallaşdırma memarlığımızın beş komponentini göstərir, məlumatların qəbulu və emal komponentləri ən böyük payı tutur.

Nəticə

Bu yazıda biz DSPy və LangChain istifadə edərək avtomatlaşdırılmış insident təhqiqatı üçün genişləndirilə bilən arxitekturanın necə qurulacağını nümayiş etdirdik. Bu iki qabaqcıl texnologiyanın güclü tərəflərini birləşdirərək, biz DevOps-un səmərəliliyini və effektivliyini artıran möhkəm və səmərəli sistem yaratdıq. Kod parçaları və arxitekturanın vizuallaşdırılması da daxil olmaqla, praktik tətbiq nümunəsini də təqdim etdik. Bu arxitekturanı qəbul etməklə təşkilatlar insidentlərə cavab vaxtlarını yaxşılaşdıra, dayanma müddətini azalda və ümumi sistemin etibarlılığını artıra bilər.

Have Questions?

Let's Talk

Contact me on LinkedIn