தரவு உட்செலுத்துதல் பைப்லைனை உருவாக்கவும்

DSPy மற்றும் LangChain உடன் AI-இயக்கப்படும் டெவொப்களை ஒழுங்கமைத்தல்: தானியங்கு சம்பவ விசாரணைக்கான அளவிடக்கூடிய கட்டமைப்பு

இன்றைய வேகமான டிஜிட்டல் நிலப்பரப்பில், DevOps குழுக்கள் பெருகிய முறையில் சிக்கலான சவாலை எதிர்கொள்கின்றன: சம்பவங்களை திறம்பட மற்றும் திறம்பட கண்டறிந்து தீர்ப்பது. மென்பொருள் வெளியீடுகளின் அளவு மற்றும் வேகம் விரைவுபடுத்தப்படுவதால், பிழைகள் மற்றும் பாதுகாப்பு மீறல்களின் சாத்தியக்கூறுகள் வளரும். வளைவுக்கு முன்னால் இருக்க, நிறுவனங்கள் புதுமையான உத்திகளைக் கடைப்பிடிக்க வேண்டும், இது செயற்கை நுண்ணறிவின் (AI) சக்தியைப் பயன்படுத்தி சம்பவ விசாரணை மற்றும் தீர்மானத்தை தானியங்குபடுத்துகிறது.

இந்தக் கட்டுரையில், DSPy மற்றும் LangChain ஐப் பயன்படுத்தி தானியங்கு சம்பவ விசாரணைக்கான அளவிடக்கூடிய கட்டமைப்பை உருவாக்குவதற்கான தொழில்நுட்ப செயலாக்க விவரங்களை ஆராய்வோம். இந்த இரண்டு அதிநவீன தொழில்நுட்பங்களின் பலங்களை இணைப்பதன் மூலம், DevOps செயல்திறன் மற்றும் செயல்திறனை மேம்படுத்தும் ஒரு வலுவான மற்றும் திறமையான அமைப்பை எவ்வாறு உருவாக்குவது என்பதை நாங்கள் காண்பிப்போம்.

DSPy மற்றும் LangChain ஐப் புரிந்துகொள்வது

தொழில்நுட்ப செயலாக்கத்தில் மூழ்குவதற்கு முன், DSPy மற்றும் LangChain ஐ சுருக்கமாக அறிமுகப்படுத்துவோம்.

டிஎஸ்பி

DSPy என்பது பைதான் நூலகமாகும், இது AI- இயங்கும் பயன்பாடுகளை உருவாக்குவதற்கும் பயன்படுத்துவதற்கும் உயர்நிலை இடைமுகத்தை வழங்குகிறது. இது உட்பட பல அம்சங்களை வழங்குகிறது:

மாடல் சேவை: AI மாடல்களை APIகளாக வழங்க DSPy உங்களை அனுமதிக்கிறது, இது ஏற்கனவே உள்ள பயன்பாடுகளில் அவற்றை ஒருங்கிணைப்பதை எளிதாக்குகிறது.
மாடல் மேலாண்மை: AI மாதிரிகளை நிர்வகிப்பதற்கான கருவிகளை DSPy வழங்குகிறது, இதில் மாதிரி வரிசைப்படுத்தல், கண்காணிப்பு மற்றும் பதிப்பாக்கம் ஆகியவை அடங்கும்.
தரவு ஒருங்கிணைப்பு: தரவுத்தளங்கள், APIகள் மற்றும் கோப்பு முறைமைகள் உட்பட பல்வேறு தரவு மூலங்களுடன் தடையற்ற ஒருங்கிணைப்பை DSPy செயல்படுத்துகிறது.

LangChain

LangChain என்பது பைதான் நூலகமாகும், இது உரையாடல் AI பயன்பாடுகளை உருவாக்குவதற்கான கட்டமைப்பை வழங்குகிறது. இது உட்பட பல அம்சங்களை வழங்குகிறது:

உரையாடல் இடைமுகங்கள்: chatbots மற்றும் குரல் உதவியாளர்கள் போன்ற உரையாடல் இடைமுகங்களை உருவாக்க LangChain உதவுகிறது.
இயற்கை மொழி செயலாக்கம் (NLP): LangChain ஆனது NLP பணிகளுக்கான கருவிகளை வழங்குகிறது, இதில் உரை வகைப்பாடு, உணர்வு பகுப்பாய்வு மற்றும் நிறுவன அங்கீகாரம் ஆகியவை அடங்கும்.
அறிவு வரைபட மேலாண்மை: உரையாடல் AI பயன்பாடுகளுக்கு இன்றியமையாத அறிவு வரைபடங்களின் உருவாக்கம் மற்றும் மேலாண்மையை LangChain செயல்படுத்துகிறது.

அளவிடக்கூடிய கட்டிடக்கலையை உருவாக்குதல்

தானியங்கு சம்பவ விசாரணைக்கான அளவிடக்கூடிய கட்டமைப்பை உருவாக்க, DSPy மற்றும் LangChain இன் பலத்தை ஒருங்கிணைப்போம். எங்கள் கட்டிடக்கலை பின்வரும் கூறுகளைக் கொண்டிருக்கும்:

தரவு உட்செலுத்துதல்: பதிவுகள், அளவீடுகள் மற்றும் APIகள் உட்பட பல்வேறு ஆதாரங்களில் இருந்து தரவை உள்வாங்க DSPy ஐப் பயன்படுத்துவோம்.
தரவு செயலாக்கம்: உட்கொண்ட தரவை செயலாக்க DSPy ஐப் பயன்படுத்துவோம், சாத்தியமான சம்பவங்களை அடையாளம் காண AI மாதிரிகளைப் பயன்படுத்துவோம்.
சம்பவத்தைக் கண்டறிதல்: சம்பவத்தைக் கண்டறிவதற்கான உரையாடல் இடைமுகத்தை உருவாக்க LangChain ஐப் பயன்படுத்துவோம், பயனர்கள் கணினியுடன் தொடர்பு கொள்ளவும், சம்பவ விசாரணைக்கான சூழலை வழங்கவும் அனுமதிக்கிறது.
அறிவு வரைபட மேலாண்மை: ஒரு அறிவு வரைபடத்தை உருவாக்க மற்றும் நிர்வகிக்க LangChain ஐப் பயன்படுத்துவோம், இது சம்பவங்களின் காரணங்கள், விளைவுகள் மற்றும் தீர்மானங்கள் உள்ளிட்ட தகவல்களைச் சேமிக்கும்.
தீர்மானம்: சம்பவங்களைத் தீர்க்க AI மாதிரிகளைப் பயன்படுத்த DSPy ஐப் பயன்படுத்துவோம், முடிவெடுப்பதைத் தெரிவிக்க அறிவு வரைபடத்தைப் பயன்படுத்துவோம்.

தொழில்நுட்ப செயலாக்கம்

நமது கட்டிடக்கலையின் தொழில்நுட்ப செயலாக்க விவரங்களுக்குள் நுழைவோம்.

தரவு உட்செலுத்துதல்

பதிவுகள், அளவீடுகள் மற்றும் APIகள் உட்பட பல்வேறு ஆதாரங்களில் இருந்து தரவை உள்வாங்க DSPyஐப் பயன்படுத்துவோம். DSPy இன் DataPipeline வகுப்பைப் பயன்படுத்தி தரவு உள்வாங்கல் பைப்லைனை உருவாக்குவோம், இது தரவு செயலாக்கம் மற்றும் சேமிப்பகத்தைக் கையாளும்.

dsp ஐ dsp ஆக இறக்குமதி செய்யவும்


பைப்லைன் = dsp.DataPipeline()

# பைப்லைனில் தரவு மூலங்களைச் சேர்க்கவும்
pipeline.add_source("பதிவுகள்", dsp.LogSource())
pipeline.add_source("மெட்ரிக்ஸ்", dsp.MetricSource())
pipeline.add_source("api", dsp.APISsource())

# பைப்லைனைத் தொடங்குங்கள்
குழாய்.தொடக்கம்()

தரவு செயலாக்கம்

உட்கொண்ட தரவைச் செயலாக்க DSPyஐப் பயன்படுத்துவோம், சாத்தியமான சம்பவங்களைக் கண்டறிய AI மாதிரிகளைப் பயன்படுத்துவோம். DSPy இன் DataPipeline வகுப்பைப் பயன்படுத்தி தரவு செயலாக்க பைப்லைனை உருவாக்குவோம், இது தரவு செயலாக்கம் மற்றும் சேமிப்பகத்தைக் கையாளும்.

dsp ஐ dsp ஆக இறக்குமதி செய்யவும்

# தரவு செயலாக்க பைப்லைனை உருவாக்கவும்
பைப்லைன் = dsp.DataPipeline()

# பைப்லைனில் AI மாதிரிகளைச் சேர்க்கவும்
pipeline.add_model("incident_detection", dsp.IncidentDetectionModel())
pipeline.add_model("அனோமலி_கண்டறிதல்", dsp.AnomalyDetectionModel())

# பைப்லைனைத் தொடங்குங்கள்
குழாய்.தொடக்கம்()

சம்பவம் கண்டறிதல்

சம்பவத்தைக் கண்டறிவதற்கான உரையாடல் இடைமுகத்தை உருவாக்க LangChain ஐப் பயன்படுத்துவோம், பயனர்கள் கணினியுடன் தொடர்பு கொள்ளவும், சம்பவ விசாரணைக்கான சூழலை வழங்கவும் அனுமதிக்கிறது.

lc ஆக லாங்செயினை இறக்குமதி செய்யவும்

# உரையாடல் இடைமுகத்தை உருவாக்கவும்
இடைமுகம் = lc.ConversationalInterface()

# இடைமுகத்தில் சாட்போட்டைச் சேர்க்கவும்
interface.add_chatbot("incident_detection", lc.Chatbot())

# இடைமுகத்தைத் தொடங்கவும்
interface.start()

அறிவு வரைபட மேலாண்மை

ஒரு அறிவு வரைபடத்தை உருவாக்க மற்றும் நிர்வகிக்க LangChain ஐப் பயன்படுத்துவோம், இது சம்பவங்களின் காரணங்கள், விளைவுகள் மற்றும் தீர்மானங்கள் உள்ளிட்ட தகவல்களைச் சேமிக்கும்.

lc ஆக லாங்செயினை இறக்குமதி செய்யவும்

# அறிவு வரைபடத்தை உருவாக்கவும்
வரைபடம் = lc.KnowledgeGraph()

# வரைபடத்தில் முனைகளைச் சேர்க்கவும்
graph.add_node("சம்பவம்1", lc.Node())
graph.add_node("incident2", lc.Node())

# வரைபடத்தில் விளிம்புகளைச் சேர்க்கவும்
graph.add_edge("incident1", "incident2", lc.Edge())

தீர்மானம்

சம்பவங்களைத் தீர்க்க AI மாதிரிகளைப் பயன்படுத்த DSPy ஐப் பயன்படுத்துவோம், முடிவெடுப்பதைத் தெரிவிக்க அறிவு வரைபடத்தைப் பயன்படுத்துவோம்.

dsp ஐ dsp ஆக இறக்குமதி செய்யவும்

# தெளிவுத்திறன் பைப்லைனை உருவாக்கவும்
பைப்லைன் = dsp.DataPipeline()

# பைப்லைனில் AI மாதிரிகளைச் சேர்க்கவும்
pipeline.add_model("incident_resolution", dsp.IncidentResolutionModel())

# பைப்லைனைத் தொடங்குங்கள்
குழாய்.தொடக்கம்()

முதல் 5-10 அதிகம் பயன்படுத்தப்பட்ட கட்டளைகள்/துணுக்குகள்

DSPy மற்றும் LangChainக்கு அதிகம் பயன்படுத்தப்படும் 5-10 கட்டளைகள்/துணுக்குகள் இங்கே:

டிஎஸ்பி

dsp.DataPipeline(): தரவு உட்செலுத்துதல் மற்றும் செயலாக்கத்திற்கான தரவுக் குழாயை உருவாக்குகிறது.
dsp.add_source(): பைப்லைனில் தரவு மூலத்தைச் சேர்க்கிறது.
dsp.add_model(): பைப்லைனில் AI மாதிரியைச் சேர்க்கிறது.
dsp.start(): பைப்லைனைத் தொடங்குகிறது.
dsp.stop(): பைப்லைனை நிறுத்துகிறது.

LangChain

lc.ConversationalInterface(): சம்பவத்தைக் கண்டறிவதற்கான உரையாடல் இடைமுகத்தை உருவாக்குகிறது.
lc.add_chatbot(): இடைமுகத்தில் ஒரு chatbot சேர்க்கிறது.
lc.start(): இடைமுகத்தைத் தொடங்குகிறது.
lc.KnowledgeGraph(): சம்பவ மேலாண்மைக்கான அறிவு வரைபடத்தை உருவாக்குகிறது.
lc.add_node(): வரைபடத்தில் ஒரு முனையைச் சேர்க்கிறது.
lc.add_edge(): வரைபடத்தில் ஒரு விளிம்பைச் சேர்க்கிறது.

காட்சிப்படுத்தல்

Chart.js ஐப் பயன்படுத்தி எங்கள் கட்டிடக்கலையின் காட்சிப்படுத்தல் இங்கே:

{
  "வகை": "பைசார்ட்",
  "தரவு": {
    "லேபிள்கள்": ["தரவு உட்செலுத்துதல்", "தரவு செயலாக்கம்", "சம்பவத்தைக் கண்டறிதல்", "அறிவு வரைபட மேலாண்மை", "தெளிவு"],
    "தரவுத்தொகுப்புகள்": [
      {
        "label": "கட்டிடக்கலை கூறுகள்",
        "தரவு": [30, 20, 20, 15, 15],
        "பின்னணி நிறம்": [
          "rgba(255, 99, 132, 0.2)",
          "rgba(54, 162, 235, 0.2)",
          "rgba(255, 206, 86, 0.2)",
          "rgba(75, 192, 192, 0.2)",
          "rgba(153, 102, 255, 0.2)"
        ],
        "எல்லை வண்ணம்": [
          "rgba(255, 99, 132, 1)",
          "rgba(54, 162, 235, 1)",
          "rgba(255, 206, 86, 1)",
          "rgba(75, 192, 192, 1)",
          "rgba(153, 102, 255, 1)"
        ],
        "எல்லை அகலம்": 1
      }
    ]
  },
  "விருப்பங்கள்": {
    "தலைப்பு": {
      "காட்சி": உண்மை,
      "உரை": "கட்டிடக்கலை கூறுகள்"
    },
    "புராணக்கதை": {
      "காட்சி": உண்மை
    }
  }
}

இந்த காட்சிப்படுத்தல் எங்கள் கட்டிடக்கலையின் ஐந்து கூறுகளைக் காட்டுகிறது, தரவு உட்செலுத்துதல் மற்றும் செயலாக்க கூறுகள் மிகப்பெரிய பங்கை எடுத்துக்கொள்கின்றன.

முடிவு

இந்த கட்டுரையில், DSPy மற்றும் LangChain ஐப் பயன்படுத்தி தானியங்கு சம்பவ விசாரணைக்கான அளவிடக்கூடிய கட்டமைப்பை எவ்வாறு உருவாக்குவது என்பதை நாங்கள் நிரூபித்துள்ளோம். இந்த இரண்டு அதிநவீன தொழில்நுட்பங்களின் பலத்தை இணைப்பதன் மூலம், DevOps செயல்திறன் மற்றும் செயல்திறனை மேம்படுத்தும் ஒரு வலுவான மற்றும் திறமையான அமைப்பை நாங்கள் உருவாக்கியுள்ளோம். குறியீட்டு துணுக்குகள் மற்றும் கட்டிடக்கலையின் காட்சிப்படுத்தல் உள்ளிட்ட நடைமுறைச் செயலாக்க உதாரணத்தையும் நாங்கள் வழங்கியுள்ளோம். இந்த கட்டமைப்பை ஏற்றுக்கொள்வதன் மூலம், நிறுவனங்கள் தங்கள் சம்பவ மறுமொழி நேரத்தை மேம்படுத்தலாம், வேலையில்லா நேரத்தை குறைக்கலாம் மற்றும் ஒட்டுமொத்த கணினி நம்பகத்தன்மையை மேம்படுத்தலாம்.

தரவு உட்செலுத்துதல் பைப்லைனை உருவாக்கவும்

டிஎஸ்பி

LangChain

தரவு உட்செலுத்துதல்

தரவு செயலாக்கம்

சம்பவம் கண்டறிதல்

அறிவு வரைபட மேலாண்மை

தீர்மானம்

டிஎஸ்பி

LangChain

Have Questions?