Өгөгдөл хүлээн авах шугам үүсгэх | B4N1

Өгөгдөл хүлээн авах шугам үүсгэх

6 months ago · b4n1 Read time: 5 min

DSPy болон LangChain-тай хиймэл оюун ухаанаар ажилладаг DevOps-ийг зохион байгуулах: Осол гэмтлийг автоматжуулсан мөрдөн шалгах зориулалттай өргөтгөх боломжтой архитектур

Өнөөгийн хурдацтай хөгжиж буй дижитал орчинд DevOps-ийн багууд улам бүр төвөгтэй сорилттой тулгарч байна: ослыг үр дүнтэй, үр дүнтэйгээр тодорхойлж, шийдвэрлэх. Програм хангамжийн хувилбарын хэмжээ, хурд нэмэгдэхийн хэрээр алдаа, аюулгүй байдлын зөрчлийн магадлал нэмэгддэг. Урьдчилан сэргийлэхийн тулд байгууллагууд ослын мөрдөн байцаалт, шийдвэрлэх ажиллагааг автоматжуулахын тулд хиймэл оюун ухааны (AI) хүчийг ашиглах шинэлэг стратеги хэрэгжүүлэх ёстой.

Энэ нийтлэлд бид DSPy болон LangChain-ийг ашиглан ослын автоматжуулсан мөрдөн байцаалтад зориулж өргөтгөх боломжтой архитектурыг бий болгох техникийн хэрэгжилтийн нарийн ширийнийг судлах болно. Эдгээр хоёр дэвшилтэт технологийн давуу талыг нэгтгэснээр бид DevOps-ийн үр ашиг, үр ашгийг дээшлүүлэх хүчирхэг, үр ашигтай системийг хэрхэн бүтээхийг харуулах болно.

DSPy болон LangChain-ийн тухай ойлголт

Техникийн хэрэгжилтэд орохын өмнө DSPy болон LangChain-ийг товч танилцуулъя.

DSPy

DSPy бол хиймэл оюун ухаанаар ажилладаг программуудыг бүтээх, ашиглах өндөр түвшний интерфейсээр хангадаг Python номын сан юм. Энэ нь олон төрлийн функцуудыг санал болгодог, үүнд:

  • Үйлчилгээний загвар: DSPy нь хиймэл оюун ухааны загваруудыг API хэлбэрээр ашиглах боломжийг олгож, тэдгээрийг одоо байгаа програмуудад нэгтгэхэд хялбар болгодог.
  • Загварын менежмент: DSPy нь загвар байршуулах, хянах, хувилбар гаргах зэрэг хиймэл оюун ухааны загваруудыг удирдах хэрэгслээр хангадаг.
  • Өгөгдлийн интеграцчилал: DSPy нь мэдээллийн сан, API, файлын систем зэрэг янз бүрийн мэдээллийн эх сурвалжтай саадгүй нэгтгэх боломжийг олгодог.

LangChain

LangChain бол Python номын сан бөгөөд харилцан ярианы AI програмуудыг бий болгох хүрээг бүрдүүлдэг. Энэ нь олон төрлийн функцуудыг санал болгодог, үүнд:

  • Ярианы интерфэйс: LangChain нь чатбот болон дуут туслах зэрэг харилцан ярианы интерфейс үүсгэх боломжийг олгодог.
  • Байгалийн хэлний боловсруулалт (NLP): LangChain нь текстийн ангилал, мэдрэмжийн дүн шинжилгээ, аж ахуйн нэгжийг таних зэрэг NLP даалгаврын хэрэгслээр хангадаг.
  • Мэдлэгийн графикийн удирдлага: LangChain нь харилцан ярианы хиймэл оюун ухааны хэрэглээнд зайлшгүй шаардлагатай мэдлэгийн график үүсгэх, удирдах боломжийг олгодог.

** Өргөтгөх боломжтой архитектурыг бий болгох**

Ослын автоматжуулсан мөрдөн байцаалтад зориулж өргөтгөх боломжтой архитектурыг бий болгохын тулд бид DSPy болон LangChain-ийн давуу талыг хослуулах болно. Манай архитектур нь дараахь бүрэлдэхүүн хэсгүүдээс бүрдэнэ.

  1. Өгөгдөл залгих: Бид DSPy-г бүртгэл, хэмжүүр, API зэрэг янз бүрийн эх сурвалжаас мэдээлэл авахдаа ашиглах болно.
  2. Өгөгдөл боловсруулах: Бид DSPy ашиглан залгисан өгөгдлийг боловсруулж, болзошгүй ослыг тодорхойлохын тулд хиймэл оюун ухааны загваруудыг ашиглана.
  3. Осол илрүүлэх: Бид LangChain-ийг ашиглан осол илрүүлэх харилцан ярианы интерфэйсийг бий болгож, хэрэглэгчдэд системтэй харилцаж, ослын мөрдөн байцаалтын нөхцөлөөр хангах боломжийг олгоно.
  4. Мэдлэгийн графикийн менежмент: Бид LangChain-ийг ашиглан мэдлэгийн графикийг үүсгэж, удирдах бөгөөд энэ нь ослын талаарх мэдээлэл, түүний шалтгаан, үр дагавар, шийдвэрлэх арга зам зэрэг мэдээллийг хадгалах болно.
  5. Шийдвэрлэл: Бид шийдвэр гаргахад мэдлэгийн график ашиглан тохиолдлуудыг шийдвэрлэхийн тулд хиймэл оюун ухааны загваруудыг ашиглахын тулд DSPy ашиглана.

Техникийн хэрэгжилт

Архитектурынхаа техникийн хэрэгжилтийн нарийн ширийн зүйлийг авч үзье.

Өгөгдөл залгих

Бид DSPy-г бүртгэл, хэмжүүр, API зэрэг янз бүрийн эх сурвалжаас мэдээлэл авахдаа ашиглах болно. Бид DSPy-ийн DataPipeline ангиллыг ашиглан өгөгдөл дамжуулах хоолой үүсгэх бөгөөд энэ нь өгөгдөл боловсруулах, хадгалах ажлыг зохицуулах болно.

dspy-г dsp болгон импортлох


дамжуулах хоолой = dsp.DataPipeline()

# Дамжуулах хоолойд мэдээллийн эх үүсвэр нэмнэ
pipeline.add_source("логууд", dsp.LogSource())
pipeline.add_source("хэмжээ", dsp.MetricSource())
pipeline.add_source("api", dsp.APISource())

# Дамжуулах хоолойг эхлүүлэх
pipeline.start()

Мэдээлэл боловсруулах

Бид DSPy-г ашиглан залгисан өгөгдлийг боловсруулж, болзошгүй ослыг тодорхойлохын тулд AI загваруудыг ашиглана. Бид DSPy-ийн DataPipeline классыг ашиглан өгөгдөл боловсруулах шугамыг үүсгэх бөгөөд энэ нь өгөгдөл боловсруулах, хадгалах ажлыг зохицуулах болно.

dspy-г dsp болгон импортлох

# Өгөгдөл боловсруулах шугам үүсгэх
дамжуулах хоолой = dsp.DataPipeline()

# AI загваруудыг дамжуулах хоолойд нэмнэ үү
pipeline.add_model("тохиолдлын_илрүүлэх", dsp.IncidentDetectionModel())
pipeline.add_model("гажиг_илрүүлэх", dsp.AnomalyDetectionModel())

# Дамжуулах хоолойг эхлүүлэх
pipeline.start()

Осол илрүүлэх

Бид LangChain-ийг ашиглан осол илрүүлэх харилцан ярианы интерфейсийг бий болгож, хэрэглэгчдэд системтэй харилцаж, ослын мөрдөн байцаалтын нөхцөлөөр хангах боломжийг олгоно.

langchain-ийг lc болгон импортлох

# Харилцааны интерфейс үүсгэх
интерфэйс = lc.ConversationalInterface()

# Интерфейст чатбот нэмнэ үү
интерфейс.add_chatbot("тохиолдлын_илрүүлэх", lc.Chatbot())

# Интерфэйсийг эхлүүлнэ үү
interface.start()

Мэдлэгийн график менежмент

Бид LangChain-ийг мэдлэгийн график үүсгэх, удирдахад ашиглах бөгөөд энэ нь ослын талаарх мэдээлэл, түүний шалтгаан, үр дагавар, шийдвэрлэх арга замыг хадгалах болно.

langchain-ийг lc болгон импортлох

# Мэдлэгийн график үүсгэх
график = lc.KnowledgeGraph()

# График дээр зангилаа нэмнэ үү
graph.add_node("тохиолдол1", lc.Node())
graph.add_node("тохиолдол2", lc.Node())

# График дээр ирмэг нэмнэ үү
graph.add_edge("тохиолдол1", "тохиолдол2", lc.Edge())

Тогтоол

Бид шийдвэр гаргалтанд мэдээлэл өгөх мэдлэгийн графикийг ашиглан ослыг шийдвэрлэхийн тулд AI загваруудыг ашиглахын тулд DSPy ашиглах болно.

dspy-г dsp болгон импортлох

# Шийдвэрлэх шугам үүсгэх
дамжуулах хоолой = dsp.DataPipeline()

# AI загваруудыг дамжуулах хоолойд нэмнэ үү
pipeline.add_model("тохиолдлын_тодорхойлолт", dsp.IncidentResolutionModel())

# Дамжуулах хоолойг эхлүүлэх
pipeline.start()

Хамгийн их ашиглагддаг 5-10 тушаал/хэсэг

DSPy болон LangChain-д хамгийн их ашиглагддаг 5-10 тушаал/хэсэг энд байна:

DSPy

  • dsp.DataPipeline(): Өгөгдөл хүлээн авах, боловсруулахад зориулсан өгөгдөл дамжуулах шугам үүсгэдэг.
  • dsp.add_source(): Дамжуулах хоолойд өгөгдлийн эх үүсвэр нэмнэ.
  • dsp.add_model(): AI загварыг дамжуулах хоолойд нэмнэ.
  • dsp.start(): Дамжуулах хоолойг эхлүүлнэ.
  • dsp.stop(): Дамжуулах хоолойг зогсооно.

LangChain

  • lc.ConversationalInterface(): Осол илрүүлэхийн тулд харилцан ярианы интерфейс үүсгэдэг.
  • lc.add_chatbot(): Интерфэйсэд чатбот нэмдэг.
  • lc.start(): Интерфэйсийг эхлүүлнэ.
  • lc.KnowledgeGraph(): Ослын менежментийн мэдлэгийн график үүсгэдэг.
  • lc.add_node(): Графикт зангилаа нэмнэ.
  • lc.add_edge(): Графикт ирмэг нэмнэ.

Дүрслэл

Chart.js ашиглан манай архитектурын дүрслэл энд байна:

{
  "төрөл": "дүрээ диаграм",
  "өгөгдөл": {
    "шошго": ["Өгөгдөл залгих", "Өгөгдөл боловсруулах", "Ойл явдлыг илрүүлэх", "Мэдлэгийн графикийн удирдлага", "Шийдвэрлэл"],
    "өгөгдлийн багц": [
      {
        "label": "Архитектурын бүрэлдэхүүн хэсэг",
        "өгөгдөл": [30, 20, 20, 15, 15],
        "арын өнгө": [
          "rgba(255, 99, 132, 0.2)",
          "rgba(54, 162, 235, 0.2)",
          "rgba(255, 206, 86, 0.2)",
          "rgba(75, 192, 192, 0.2)",
          "rgba(153, 102, 255, 0.2)"
        ],
        "borderColor": [
          "rgba(255, 99, 132, 1)",
          "rgba(54, 162, 235, 1)",
          "rgba(255, 206, 86, 1)",
          "rgba(75, 192, 192, 1)",
          "rgba(153, 102, 255, 1)"
        ],
        "хилийн өргөн": 1
      }
    ]
  },
  "сонголт": {
    "гарчиг": {
      "дэлгэц": үнэн,
      "текст": "Архитектурын бүрэлдэхүүн хэсгүүд"
    },
    "домог": {
      "дэлгэц": үнэн
    }
  }
}

Энэхүү дүрслэл нь манай архитектурын таван бүрэлдэхүүн хэсгийг харуулдаг бөгөөд өгөгдөл хүлээн авах, боловсруулах бүрэлдэхүүн хэсгүүд хамгийн их хувийг эзэлдэг.

Дүгнэлт

Энэ нийтлэлд бид DSPy болон LangChain ашиглан ослын автоматжуулсан мөрдөн байцаалтад зориулж өргөтгөх боломжтой архитектурыг хэрхэн бүтээхийг харуулсан. Эдгээр хоёр дэвшилтэт технологийн давуу талыг нэгтгэснээр бид DevOps-ийн үр ашиг, үр ашгийг дээшлүүлдэг бат бөх, үр ашигтай системийг бий болгосон. Бид мөн кодын хэсгүүд болон архитектурын дүрслэл зэрэг практик хэрэгжилтийн жишээг өгсөн. Энэхүү архитектурыг хэрэгжүүлснээр байгууллагууд ослын хариу өгөх хугацааг сайжруулж, зогсолтыг багасгаж, системийн ерөнхий найдвартай байдлыг сайжруулж чадна.

Have Questions?

Let's Talk

Contact me on LinkedIn