ಪೂರ್ವಭಾವಿ ಘಟನೆಯ ತನಿಖೆ ಮತ್ತು ರೆಸಲ್ಯೂಶನ್‌ಗಾಗಿ AI-ಚಾಲಿತ DevOps ಪೈಪ್‌ಲೈನ್‌ಗಳನ್ನು DSPy ಮತ್ತು LangChain ನೊಂದಿಗೆ ಸಂಯೋಜಿಸುವುದು | B4N1

ಪೂರ್ವಭಾವಿ ಘಟನೆಯ ತನಿಖೆ ಮತ್ತು ರೆಸಲ್ಯೂಶನ್‌ಗಾಗಿ AI-ಚಾಲಿತ DevOps ಪೈಪ್‌ಲೈನ್‌ಗಳನ್ನು DSPy ಮತ್ತು LangChain ನೊಂದಿಗೆ ಸಂಯೋಜಿಸುವುದು

6 months ago · b4n1 Read time: 3 min

ಪರಿಚಯ

ಆಧುನಿಕ ಸಾಫ್ಟ್‌ವೇರ್ ವ್ಯವಸ್ಥೆಗಳ ನಿರಂತರವಾಗಿ ಬೆಳೆಯುತ್ತಿರುವ ಸಂಕೀರ್ಣತೆಯು ಘಟನೆಗಳ ಆವರ್ತನ ಮತ್ತು ತೀವ್ರತೆಯ ಹೆಚ್ಚಳಕ್ಕೆ ಕಾರಣವಾಗಿದೆ, ಪೂರ್ವಭಾವಿ ಘಟನೆಯ ತನಿಖೆ ಮತ್ತು ನಿರ್ಣಯವನ್ನು DevOps ನ ನಿರ್ಣಾಯಕ ಅಂಶವನ್ನಾಗಿ ಮಾಡಿದೆ. ಕೃತಕ ಬುದ್ಧಿಮತ್ತೆ (AI) ಮತ್ತು ಯಂತ್ರ ಕಲಿಕೆ (ML) DevOps ಪೈಪ್‌ಲೈನ್‌ಗಳನ್ನು ವರ್ಧಿಸಲು ಪ್ರಬಲ ಸಾಧನಗಳಾಗಿ ಹೊರಹೊಮ್ಮಿವೆ, AI- ಚಾಲಿತ ಯಾಂತ್ರೀಕೃತಗೊಂಡ ಮತ್ತು ಆರ್ಕೆಸ್ಟ್ರೇಶನ್ ವ್ಯವಹಾರದ ಮೇಲೆ ಪರಿಣಾಮ ಬೀರುವ ಮೊದಲು ಘಟನೆಗಳನ್ನು ಪತ್ತೆಹಚ್ಚಲು ಮತ್ತು ಪರಿಹರಿಸಲು ಅನುವು ಮಾಡಿಕೊಡುತ್ತದೆ. ಈ ಲೇಖನದಲ್ಲಿ, DSPy ಮತ್ತು LangChain ಬಳಸಿಕೊಂಡು AI-ಚಾಲಿತ DevOps ಪೈಪ್‌ಲೈನ್‌ಗಳನ್ನು ಹೇಗೆ ಕಾರ್ಯಗತಗೊಳಿಸುವುದು ಎಂಬುದನ್ನು ನಾವು ಅನ್ವೇಷಿಸುತ್ತೇವೆ, ಪೂರ್ವಭಾವಿ ಘಟನೆಯ ತನಿಖೆ ಮತ್ತು AIOps ಮತ್ತು RAG ಮಾದರಿಗಳನ್ನು ಬಳಸಿಕೊಂಡು ರೆಸಲ್ಯೂಶನ್ ಮತ್ತು ಸ್ವಯಂಚಾಲಿತ ಘಟನೆಯ ತನಿಖೆಗಾಗಿ AWS DevOps ಏಜೆಂಟ್‌ನೊಂದಿಗೆ ಸಂಯೋಜಿಸುವುದು.

DSPy ಮತ್ತು LangChain ನ ಅವಲೋಕನ

DSPy ಎಂಬುದು ಪೈಥಾನ್ ಲೈಬ್ರರಿಯಾಗಿದ್ದು ಅದು AI-ಚಾಲಿತ DevOps ಪೈಪ್‌ಲೈನ್‌ಗಳನ್ನು ನಿರ್ಮಿಸಲು ಮತ್ತು ನಿಯೋಜಿಸಲು ಸರಳ ಮತ್ತು ಪರಿಣಾಮಕಾರಿ ಮಾರ್ಗವನ್ನು ಒದಗಿಸುತ್ತದೆ. ಇದು ಡೆವಲಪರ್‌ಗಳಿಗೆ ತಮ್ಮ DevOps ಪೈಪ್‌ಲೈನ್‌ಗಳಿಗೆ ನೈಸರ್ಗಿಕ ಭಾಷಾ ಸಂಸ್ಕರಣೆ (NLP), ಕಂಪ್ಯೂಟರ್ ವಿಷನ್ ಮತ್ತು ಪ್ರಿಡಿಕ್ಟಿವ್ ಅನಾಲಿಟಿಕ್ಸ್ ಸೇರಿದಂತೆ ವಿವಿಧ AI ಮತ್ತು ML ಮಾದರಿಗಳನ್ನು ಸಂಯೋಜಿಸಲು ಅನುಮತಿಸುತ್ತದೆ. ಮತ್ತೊಂದೆಡೆ, ಲ್ಯಾಂಗ್‌ಚೈನ್ ಪೈಥಾನ್ ಲೈಬ್ರರಿಯಾಗಿದ್ದು, ಮಾಡ್ಯುಲರ್ ಮತ್ತು ಸ್ಕೇಲೆಬಲ್ ಆರ್ಕಿಟೆಕ್ಚರ್ ಅನ್ನು ಬಳಸಿಕೊಂಡು ದೊಡ್ಡ ಪ್ರಮಾಣದ AI ಮಾದರಿಗಳನ್ನು ನಿರ್ಮಿಸಲು ಮತ್ತು ನಿಯೋಜಿಸಲು ಡೆವಲಪರ್‌ಗಳಿಗೆ ಅನುವು ಮಾಡಿಕೊಡುತ್ತದೆ.

DSPy ಮತ್ತು LangChain ನೊಂದಿಗೆ AI-ಚಾಲಿತ DevOps ಪೈಪ್‌ಲೈನ್‌ಗಳನ್ನು ಕಾರ್ಯಗತಗೊಳಿಸುವುದು

DSPy ಮತ್ತು LangChain ನೊಂದಿಗೆ AI-ಚಾಲಿತ DevOps ಪೈಪ್‌ಲೈನ್‌ಗಳನ್ನು ಕಾರ್ಯಗತಗೊಳಿಸಲು, ನಾವು ಈ ಹಂತಗಳನ್ನು ಅನುಸರಿಸಬೇಕು:

  1. ಡೇಟಾ ಸಂಗ್ರಹಣೆ: ಲಾಗ್‌ಗಳು, ಮೆಟ್ರಿಕ್‌ಗಳು ಮತ್ತು ಕಾನ್ಫಿಗರೇಶನ್ ಫೈಲ್‌ಗಳಂತಹ ವಿವಿಧ ಮೂಲಗಳಿಂದ ಸಂಬಂಧಿತ ಡೇಟಾವನ್ನು ಸಂಗ್ರಹಿಸಿ.
  2. ಡೇಟಾ ಪ್ರಿಪ್ರೊಸೆಸಿಂಗ್: ಸಂಗ್ರಹಿಸಿದ ಡೇಟಾವನ್ನು ವಿಶ್ಲೇಷಣೆ ಮತ್ತು ಮಾಡೆಲಿಂಗ್‌ಗಾಗಿ ಸಿದ್ಧಪಡಿಸಲು ಪೂರ್ವಪ್ರಕ್ರಿಯೆ ಮಾಡಿ.
  3. ಮಾದರಿ ತರಬೇತಿ: ಘಟನೆಗಳನ್ನು ಪತ್ತೆಹಚ್ಚಲು ಮತ್ತು ಊಹಿಸಲು ಪೂರ್ವಸಂಸ್ಕರಿಸಿದ ಡೇಟಾವನ್ನು ಬಳಸಿಕೊಂಡು AI ಮತ್ತು ML ಮಾದರಿಗಳಿಗೆ ತರಬೇತಿ ನೀಡಿ.
  4. ಮಾದರಿ ನಿಯೋಜನೆ: DSPy ಮತ್ತು LangChain ಬಳಸಿಕೊಂಡು ತರಬೇತಿ ಪಡೆದ ಮಾದರಿಗಳನ್ನು DevOps ಪೈಪ್‌ಲೈನ್‌ಗೆ ನಿಯೋಜಿಸಿ.
  5. ಘಟನೆ ತನಿಖೆ: ಘಟನೆಗಳನ್ನು ತನಿಖೆ ಮಾಡಲು ಮತ್ತು ಮೂಲ ಕಾರಣಗಳನ್ನು ಗುರುತಿಸಲು ನಿಯೋಜಿಸಲಾದ ಮಾದರಿಗಳನ್ನು ಬಳಸಿ.
  6. ಘಟನೆಯ ರೆಸಲ್ಯೂಶನ್: ಘಟನೆಗಳನ್ನು ಪೂರ್ವಭಾವಿಯಾಗಿ ಪರಿಹರಿಸಲು ಘಟನೆಯ ತನಿಖೆಯಿಂದ ಪಡೆದ ಒಳನೋಟಗಳನ್ನು ಬಳಸಿ.

ಕೋಡ್ ಉದಾಹರಣೆ: DSPy ಮತ್ತು LangChain ನೊಂದಿಗೆ ಸರಳ RAG ಮಾದರಿಯನ್ನು ಅಳವಡಿಸುವುದು

DSPy ಮತ್ತು LangChain ಅನ್ನು ಬಳಸಿಕೊಂಡು RAG (ರೂಟ್ ಕಾಸ್ ಅನಾಲಿಸಿಸ್) ಮಾದರಿಯನ್ನು ಹೇಗೆ ಕಾರ್ಯಗತಗೊಳಿಸಬೇಕು ಎಂಬುದನ್ನು ಪ್ರದರ್ಶಿಸುವ ಸರಳ ಕೋಡ್ ಉದಾಹರಣೆ ಇಲ್ಲಿದೆ: ``ಹೆಬ್ಬಾವು ಡಿಎಸ್ಪಿ ಆಮದು Langchain ಆಮದು LLMCchain ನಿಂದ

ಪೂರ್ವಸಂಸ್ಕರಿಸಿದ ಡೇಟಾವನ್ನು ಲೋಡ್ ಮಾಡಿ

ಡೇಟಾ = pd.read_csv("data.csv")

RAG ಮಾದರಿಯನ್ನು ವಿವರಿಸಿ

rag_model = dspy.RAGModel( input_features=["log_level", "error_message"], output_features=["root_cause"] )

RAG ಮಾದರಿಗೆ ತರಬೇತಿ ನೀಡಿ

rag_model.train(ಡೇಟಾ)

RAG ಮಾದರಿಯನ್ನು ನಿಯೋಜಿಸಿ

llm_chain = LLMCchain( ಮಾದರಿ="ಡಾವಿನ್ಸಿ:002", max_length=2048 ) rag_model.deploy(llm_chain)

ಘಟನೆಗಳನ್ನು ತನಿಖೆ ಮಾಡಲು ನಿಯೋಜಿಸಲಾದ RAG ಮಾದರಿಯನ್ನು ಬಳಸಿ

ಘಟನೆ_ಡೇಟಾ = pd.DataFrame({ "log_level": ["ದೋಷ"], "error_message": ["ಏನೋ ತಪ್ಪಾಗಿದೆ"] }) root_cause = rag_model.predict(incident_data) ಮುದ್ರಣ (ಮೂಲ_ಕಾರಣ)

ಈ ಕೋಡ್ ಉದಾಹರಣೆಯು DSPy ಮತ್ತು LangChain ಅನ್ನು ಬಳಸಿಕೊಂಡು ಸರಳ RAG ಮಾದರಿಯನ್ನು ಹೇಗೆ ಕಾರ್ಯಗತಗೊಳಿಸುವುದು ಎಂಬುದನ್ನು ತೋರಿಸುತ್ತದೆ. RAG ಮಾದರಿಯು ಲಾಗ್ ಮಟ್ಟ ಮತ್ತು ದೋಷ ಸಂದೇಶವನ್ನು ಇನ್‌ಪುಟ್ ವೈಶಿಷ್ಟ್ಯಗಳಾಗಿ ತೆಗೆದುಕೊಳ್ಳುತ್ತದೆ ಮತ್ತು ಘಟನೆಯ ಮೂಲ ಕಾರಣವನ್ನು ಊಹಿಸುತ್ತದೆ.

## ಟಾಪ್ 5-10 ಹೆಚ್ಚು ಬಳಸಿದ ಆಜ್ಞೆಗಳು/ತುಣುಕುಗಳು

DSPy ಮತ್ತು LangChain ಗಾಗಿ ಹೆಚ್ಚು ಬಳಸಿದ 5-10 ಕಮಾಂಡ್‌ಗಳು/ತುಣುಕುಗಳು ಇಲ್ಲಿವೆ:

1. `dspy.RAGModel(input_features, output_features)`: ನಿರ್ದಿಷ್ಟಪಡಿಸಿದ ಇನ್‌ಪುಟ್ ಮತ್ತು ಔಟ್‌ಪುಟ್ ವೈಶಿಷ್ಟ್ಯಗಳೊಂದಿಗೆ RAG ಮಾದರಿಯನ್ನು ವಿವರಿಸಿ.
2. `dspy.RAGModel.train(data)`: ಒದಗಿಸಿದ ಡೇಟಾವನ್ನು ಬಳಸಿಕೊಂಡು RAG ಮಾದರಿಯನ್ನು ತರಬೇತಿ ಮಾಡಿ.
3. `dspy.RAGModel.deploy(llm_chain)`: LangChain LLMCchain ಬಳಸಿಕೊಂಡು ತರಬೇತಿ ಪಡೆದ RAG ಮಾದರಿಯನ್ನು ನಿಯೋಜಿಸಿ.
4. `llm_chain = LLMCchain(model, max_length)`: ನಿರ್ದಿಷ್ಟಪಡಿಸಿದ ಮಾದರಿ ಮತ್ತು ಗರಿಷ್ಠ ಉದ್ದದೊಂದಿಗೆ LangChain LLMCchain ಅನ್ನು ರಚಿಸಿ.
5. `rag_model.predict(data)`: ಘಟನೆಯ ಮೂಲ ಕಾರಣವನ್ನು ಊಹಿಸಲು ನಿಯೋಜಿಸಲಾದ RAG ಮಾದರಿಯನ್ನು ಬಳಸಿ.
6. `dspy.DataPreprocessor(input_data)`: DSPy ಬಳಸಿಕೊಂಡು ಡೇಟಾ ಪ್ರಿಪ್ರೊಸೆಸಿಂಗ್ ಪೈಪ್‌ಲೈನ್ ಅನ್ನು ವಿವರಿಸಿ.
7. `dspy.ModelTrainer(ಮಾದರಿ, ಡೇಟಾ)`: DSPy ಬಳಸಿಕೊಂಡು AI ಅಥವಾ ML ಮಾದರಿಗೆ ತರಬೇತಿ ನೀಡಿ.
8. `dspy.ModelDeployer(model, llm_chain)`: DSPy ಮತ್ತು LangChain ಬಳಸಿಕೊಂಡು ತರಬೇತಿ ಪಡೆದ ಮಾದರಿಯನ್ನು ನಿಯೋಜಿಸಿ.
9. `langchain.LLMCchain.predict(input_data)`: ಮಾದರಿಯ ಔಟ್‌ಪುಟ್ ಅನ್ನು ಊಹಿಸಲು LangChain LLMCchain ಅನ್ನು ಬಳಸಿ.
10. `dspy.RAGModel.evaluate(data)`: DSPy ಬಳಸಿಕೊಂಡು RAG ಮಾದರಿಯ ಕಾರ್ಯಕ್ಷಮತೆಯನ್ನು ಮೌಲ್ಯಮಾಪನ ಮಾಡಿ.

## ದೃಶ್ಯೀಕರಣ

Chart.js ಅನ್ನು ಬಳಸಿಕೊಂಡು ದೃಶ್ಯೀಕರಣದ ಉದಾಹರಣೆ ಇಲ್ಲಿದೆ:
```json
{
  "ಪ್ರಕಾರ": "ಬಾರ್",
  "ಡೇಟಾ": {
    "ಲೇಬಲ್‌ಗಳು": ["ಘಟನೆಯ ಪ್ರಕಾರ A", "ಘಟನೆಯ ಪ್ರಕಾರ B", "ಘಟನೆಯ ಪ್ರಕಾರ C"],
    "ಡೇಟಾಸೆಟ್‌ಗಳು": [
      {
        "ಲೇಬಲ್": "ಮೂಲ ಕಾರಣ ಎ",
        "ಡೇಟಾ": [10, 15, 7],
        "backgroundColor": "rgba(255, 99, 132, 0.2)",
        "borderColor": "rgba(255, 99, 132, 1)",
        "ಬಾರ್ಡರ್ ಅಗಲ": 1
      },
      {
        "ಲೇಬಲ್": "ಮೂಲ ಕಾರಣ ಬಿ",
        "ಡೇಟಾ": [8, 12, 9],
        "backgroundColor": "rgba(54, 162, 235, 0.2)",
        "ಬಾರ್ಡರ್ ಕಲರ್": "rgba(54, 162, 235, 1)",
        "ಬಾರ್ಡರ್ ಅಗಲ": 1
      },
      {
        "ಲೇಬಲ್": "ಮೂಲ ಕಾರಣ ಸಿ",
        "ಡೇಟಾ": [14, 18, 11],
        "backgroundColor": "rgba(255, 206, 86, 0.2)",
        "borderColor": "rgba(255, 206, 86, 1)",
        "ಬಾರ್ಡರ್ ಅಗಲ": 1
      }
    ]
  },
  "ಆಯ್ಕೆಗಳು": {
    "ಶೀರ್ಷಿಕೆ": {
      "ಪ್ರದರ್ಶನ": ನಿಜ,
      "ಪಠ್ಯ": "ಮೂಲ ಕಾರಣ ವಿಶ್ಲೇಷಣೆ"
    },
    "ಮಾಪಕಗಳು": {
      "yAxes": [
        {
          "ಉಣ್ಣಿ": {
            "beginAtZero": ನಿಜ
          }
        }
      ]
    }
  }
}

ಈ ದೃಶ್ಯೀಕರಣವು ವಿಭಿನ್ನ ರೀತಿಯ ಘಟನೆಗಳಿಗೆ ಮೂಲ ಕಾರಣಗಳ ವಿತರಣೆಯನ್ನು ಪ್ರದರ್ಶಿಸುತ್ತದೆ.

ತೀರ್ಮಾನ

ಈ ಲೇಖನದಲ್ಲಿ, DSPy ಮತ್ತು LangChain ಬಳಸಿಕೊಂಡು AI-ಚಾಲಿತ DevOps ಪೈಪ್‌ಲೈನ್‌ಗಳನ್ನು ಹೇಗೆ ಕಾರ್ಯಗತಗೊಳಿಸಬೇಕು ಎಂಬುದನ್ನು ನಾವು ಅನ್ವೇಷಿಸಿದ್ದೇವೆ, ಪೂರ್ವಭಾವಿ ಘಟನೆಯ ತನಿಖೆ ಮತ್ತು AIOps ಮತ್ತು RAG ಮಾದರಿಗಳನ್ನು ಬಳಸಿಕೊಂಡು ರೆಸಲ್ಯೂಶನ್ ಮತ್ತು ಸ್ವಯಂಚಾಲಿತ ಘಟನೆಯ ತನಿಖೆಗಾಗಿ AWS DevOps ಏಜೆಂಟ್‌ನೊಂದಿಗೆ ಸಂಯೋಜಿಸುವುದು. DSPy ಮತ್ತು LangChain ಅನ್ನು ಬಳಸಿಕೊಂಡು RAG ಮಾದರಿಯನ್ನು ಕಾರ್ಯಗತಗೊಳಿಸುವ ಸರಳ ಕೋಡ್ ಉದಾಹರಣೆಯನ್ನು ನಾವು ಪ್ರದರ್ಶಿಸಿದ್ದೇವೆ ಮತ್ತು DSPy ಮತ್ತು LangChain ಗಾಗಿ ಟಾಪ್ 5-10 ಕಮಾಂಡ್‌ಗಳು/ತುಣುಕುಗಳ ಪಟ್ಟಿಯನ್ನು ಒದಗಿಸಿದ್ದೇವೆ. ನಾವು Chart.js ಅನ್ನು ಬಳಸಿಕೊಂಡು ದೃಶ್ಯೀಕರಣದ ಉದಾಹರಣೆಯನ್ನು ಸಹ ಸೇರಿಸಿದ್ದೇವೆ. ಈ ಲೇಖನದಲ್ಲಿ ವಿವರಿಸಿರುವ ಹಂತಗಳನ್ನು ಅನುಸರಿಸುವ ಮೂಲಕ, ಡೆವಲಪರ್‌ಗಳು ತಮ್ಮ ಸಾಫ್ಟ್‌ವೇರ್ ಸಿಸ್ಟಮ್‌ಗಳ ಒಟ್ಟಾರೆ ದಕ್ಷತೆ ಮತ್ತು ವಿಶ್ವಾಸಾರ್ಹತೆಯನ್ನು ಸುಧಾರಿಸುವ ಮೂಲಕ ಘಟನೆಗಳನ್ನು ಪೂರ್ವಭಾವಿಯಾಗಿ ಪತ್ತೆಹಚ್ಚುವ ಮತ್ತು ಪರಿಹರಿಸುವ AI-ಚಾಲಿತ DevOps ಪೈಪ್‌ಲೈನ್‌ಗಳನ್ನು ನಿರ್ಮಿಸಬಹುದು ಮತ್ತು ನಿಯೋಜಿಸಬಹುದು.


Have Questions?

Let's Talk

Contact me on LinkedIn