Оқиғаларды алдын ала зерттеу және шешу үшін DSPy және LangChain көмегімен AI-мен жұмыс істейтін DevOps құбырларын ұйымдастыру

Кіріспе

Заманауи бағдарламалық жүйелердің үнемі өсіп келе жатқан күрделілігі оқиғалардың жиілігі мен ауырлығының артуына әкеліп соқты, бұл оқиғаларды алдын ала зерттеу мен шешуді DevOps қызметінің маңызды аспектісіне айналдырды. Жасанды интеллект (AI) және машиналық оқыту (ML) DevOps құбырларын жақсарту үшін қуатты құрал ретінде пайда болды, бұл AI басқаратын автоматтандыру мен ұйымдастыруға оқиғаларды бизнеске әсер етпес бұрын анықтауға және шешуге мүмкіндік береді. Бұл мақалада біз DSPy және LangChain арқылы AI-мен жұмыс істейтін DevOps құбырларын қалай енгізу керектігін, AIOps және RAG үлгілерін пайдалана отырып, оқиғаларды алдын ала зерттеуге және шешуге және инциденттерді автоматтандырылған тергеу үшін AWS DevOps Агентімен біріктіруге назар аударамыз.

DSPy және LangChain шолуы

DSPy - бұл AI-мен жұмыс істейтін DevOps құбырларын құрудың және орналастырудың қарапайым және тиімді әдісін ұсынатын Python кітапханасы. Ол әзірлеушілерге әртүрлі AI және ML үлгілерін, соның ішінде табиғи тілді өңдеуді (NLP), компьютерлік көруді және болжамды талдауды өздерінің DevOps құбырларына біріктіруге мүмкіндік береді. Екінші жағынан, LangChain - бұл Python кітапханасы, ол әзірлеушілерге модульдік және масштабталатын архитектураны пайдаланып кең ауқымды AI үлгілерін құруға және орналастыруға мүмкіндік береді.

DSPy және LangChain көмегімен AI-мен жұмыс істейтін DevOps құбырларын енгізу

DSPy және LangChain көмегімен AI-мен жұмыс істейтін DevOps құбырларын енгізу үшін біз келесі қадамдарды орындауымыз керек:

Деректерді жинау: журналдар, көрсеткіштер және конфигурация файлдары сияқты әртүрлі көздерден сәйкес деректерді жинаңыз.
Деректерді алдын ала өңдеу: Жиналған деректерді талдау мен модельдеуге дайындау үшін алдын ала өңдеу.
Модельді оқыту: оқиғаларды анықтау және болжау үшін алдын ала өңделген деректерді пайдалана отырып, AI және ML үлгілерін жаттықтырыңыз.
Модельді орналастыру: DSPy және LangChain арқылы оқытылған үлгілерді DevOps құбырына орналастырыңыз.
Оқиғаны зерттеу: оқиғаларды зерттеу және негізгі себептерді анықтау үшін орналастырылған үлгілерді пайдаланыңыз.
Оқиғаны шешу: оқиғаларды белсенді түрде шешу үшін оқиғаны зерттеуден алынған түсініктерді пайдаланыңыз.

Код мысалы: DSPy және LangChain көмегімен қарапайым RAG үлгісін енгізу

Мұнда DSPy және LangChain көмегімен RAG (түбірлік себептерді талдау) үлгісін енгізу жолын көрсететін қарапайым код мысалы берілген:

dspy импорттау
langchain импортынан LMChain

# Алдын ала өңделген деректерді жүктеңіз
деректер = pd.read_csv("data.csv")

# RAG үлгісін анықтаңыз
rag_model = dspy.RAGModel(
    input_features=["журнал_деңгейі", "қате_хабарлама"],
    output_features=["root_cause"]
)

# RAG үлгісін жаттықтырыңыз
rag_model.train(деректер)

# RAG үлгісін қолданыңыз
llm_chain = LLMCchain(
    модель="davinci:002",
    максимум_ұзындығы=2048
)
rag_model.deploy(llm_chain)

# Оқиғаларды зерттеу үшін орналастырылған RAG үлгісін пайдаланыңыз
оқиға_деректер = pd.DataFrame({
    "лог_level": ["ERROR"],
    "error_message": ["Бірдеңе дұрыс болмады"]
})
root_cause = rag_model.predict(оқиға_деректер)
басып шығару(түбірлік_себеп)

Бұл код мысалы DSPy және LangChain көмегімен қарапайым RAG үлгісін іске асыру жолын көрсетеді. RAG үлгісі журнал деңгейін және қате туралы хабарды енгізу мүмкіндіктері ретінде қабылдайды және оқиғаның негізгі себебін болжайды.

Ең көп қолданылатын 5-10 пәрмендер/үзінділер

Міне, DSPy және LangChain үшін ең көп қолданылатын 5-10 командалар/үзінділер:

dspy.RAGModel(input_features, output_features): көрсетілген кіріс және шығыс мүмкіндіктері бар RAG үлгісін анықтаңыз.
dspy.RAGModel.train(data): берілген деректерді пайдаланып RAG үлгісін жаттықтырыңыз.
dspy.RAGModel.deploy(llm_chain): LangChain LLMChain арқылы оқытылған RAG үлгісін орналастырыңыз.
llm_chain = LLMChain(model, max_length): көрсетілген үлгі және максималды ұзындығы бар LangChain LLMChain жасаңыз.
rag_model.predict(data): оқиғаның негізгі себебін болжау үшін орналастырылған RAG үлгісін пайдаланыңыз.
dspy.DataPreprocessor(input_data): DSPy арқылы деректерді алдын ала өңдеу құбырын анықтаңыз.
dspy.ModelTrainer(модель, деректер): DSPy арқылы AI немесе ML үлгісін жаттықтырыңыз.
dspy.ModelDeployer(model, llm_chain): DSPy және LangChain арқылы үйретілген үлгіні орналастырыңыз.
langchain.LLMCain.predict(input_data): үлгінің шығысын болжау үшін LangChain LLMChain пайдаланыңыз.
dspy.RAGModel.evaluate(data): DSPy арқылы RAG үлгісінің өнімділігін бағалау.

Визуализация

Міне, Chart.js көмегімен визуализацияның мысалы:

{
  "түрі": "бар",
  «деректер»: {
    "labels": ["Оқиға түрі А", "Оқиға B түрі", "Оқиға C түрі"],
    "деректер жинағы": [
      {
        "label": "Түпкі A себебі",
        "деректер": [10, 15, 7],
        "backgroundColor": "rgba(255, 99, 132, 0.2)",
        "borderColor": "rgba(255, 99, 132, 1)",
        "borderWidth": 1
      },
      {
        "label": "Негізгі B себебі",
        "деректер": [8, 12, 9],
        "backgroundColor": "rgba(54, 162, 235, 0,2)",
        "borderColor": "rgba(54, 162, 235, 1)",
        "borderWidth": 1
      },
      {
        "label": "С түбірлік себебі",
        "деректер": [14, 18, 11],
        "backgroundColor": "rgba(255, 206, 86, 0,2)",
        "borderColor": "rgba(255, 206, 86, 1)",
        "borderWidth": 1
      }
    ]
  },
  "опциялар": {
    «атауы»: {
      «дисплей»: шын,
      "text": "Түбірлік себептерді талдау"
    },
    «таразы»: {
      "yAxes": [
        {
          «кенелер»: {
            "beginAtZero": шын
          }
        }
      ]
    }
  }
}

Бұл визуализация әртүрлі оқиға түрлері үшін негізгі себептердің таралуын көрсетеді.

Қорытынды

Бұл мақалада біз DSPy және LangChain көмегімен AI-мен жұмыс істейтін DevOps конвейерлерін қалай енгізу керектігін, AIOps және RAG үлгілерін пайдалана отырып, оқиғаларды алдын ала зерттеуге және шешуге және инциденттерді автоматтандырылған тергеу үшін AWS DevOps Agent-пен біріктіруге назар аудардық. Біз DSPy және LangChain көмегімен RAG үлгісін жүзеге асыратын қарапайым код үлгісін көрсеттік және DSPy және LangChain үшін ең көп қолданылатын 5-10 командалар/үзінділер тізімін ұсындық. Біз сондай-ақ Chart.js көмегімен визуализация мысалын қостық. Осы мақалада сипатталған қадамдарды орындау арқылы әзірлеушілер инциденттерді алдын ала анықтайтын және шешетін, бағдарламалық жүйелерінің жалпы тиімділігі мен сенімділігін арттыратын AI-мен жұмыс істейтін DevOps құбырларын құрастырып, қолдана алады.