LLM மாதிரி மற்றும் டோக்கனைசரை ஏற்றவும் | B4N1

LLM மாதிரி மற்றும் டோக்கனைசரை ஏற்றவும்

6 months ago · b4n1 Tiempo de lectura: 4 min

DevOps முகவர்கள் மற்றும் LLMகளுடன் தானியங்கு சம்பவ விசாரணையை செயல்படுத்துதல்

அறிமுகம்

இன்றைய வேகமான டிஜிட்டல் நிலப்பரப்பில், DevOps குழுக்கள் பெருகிய முறையில் சிக்கலான சவாலை எதிர்கொள்கின்றன: சம்பவங்களை விரைவாகக் கண்டறிந்து தீர்க்கும். கையேடு விசாரணை முறைகள் நேரத்தை எடுத்துக்கொள்ளும் மற்றும் மனித தவறுகளுக்கு ஆளாகின்றன, இது நீண்ட வேலையில்லா நேரத்திற்கும் வாடிக்கையாளர் திருப்தி குறைவதற்கும் வழிவகுக்கும். இந்தச் சிக்கலைத் தீர்க்க, DevOps ஆட்டோமேஷன், AI-இயங்கும் சம்பவ விசாரணை மற்றும் AWS DevOps ஏஜென்ட் மற்றும் Copado Agentia போன்ற DevOps கருவிகளை மேம்படுத்துவதில் Large Language Models (LLMகள்) ஆகியவற்றின் பங்கை நாங்கள் ஆராய்ந்து வருகிறோம்.

சம்பவ விசாரணையின் தற்போதைய நிலை

நிகழ்வு விசாரணை என்பது DevOps இன் முக்கியமான அம்சமாகும், இது மென்பொருள் அமைப்புகளைப் பாதிக்கும் சிக்கல்களை அடையாளம் காணுதல், பகுப்பாய்வு செய்தல் மற்றும் தீர்வு ஆகியவற்றை உள்ளடக்கியது. பாரம்பரிய முறைகள் பதிவு பகுப்பாய்வு, பிழை கண்காணிப்பு மற்றும் பங்குதாரர்களுடன் தொடர்பு போன்ற கைமுறை செயல்முறைகளை நம்பியுள்ளன. இந்த முறைகள் பயனுள்ளவையாக இருந்தாலும், அவை மெதுவாகவும் பிழைகள் ஏற்படவும் வழிவகுக்கும்:

  1. அதிகரித்த வேலையில்லா நேரம்: கைமுறையான விசாரணை முறைகள் சம்பவத்தின் தீர்வை தாமதப்படுத்தலாம், இதன் விளைவாக நீடித்த வேலையில்லா நேரம் மற்றும் வாடிக்கையாளர் திருப்தி குறைகிறது.
  2. மனிதப் பிழை: கையேடு செயல்முறைகள் மனித பிழைக்கு ஆளாகின்றன, இது தவறான நோயறிதல் மற்றும் சம்பவங்களின் தீர்வுக்கு வழிவகுக்கும்.
  3. அளவிடல் சிக்கல்கள்: அமைப்புகளின் அளவு மற்றும் சிக்கலானது வளரும்போது, ​​கையேடு விசாரணை முறைகள் அளவிடுவது கடினமாகிறது.

சம்பவ விசாரணையில் DevOps முகவர்களின் பங்கு

AWS DevOps முகவர் மற்றும் Copado Agentia போன்ற DevOps முகவர்கள், சம்பவ விசாரணையை தானியங்குபடுத்துவதில் முக்கிய பங்கு வகிக்கின்றனர். இந்த முகவர்கள்:

  1. பதிவுகளைச் சேகரித்து பகுப்பாய்வு செய்தல்: DevOps முகவர்கள் பல்வேறு ஆதாரங்களில் இருந்து பதிவுகளை சேகரித்து பகுப்பாய்வு செய்யலாம், இது சம்பவ காரணங்களைப் பற்றிய மதிப்புமிக்க நுண்ணறிவுகளை வழங்குகிறது.
  2. தானியங்கு பிழை கண்காணிப்பு: ஏஜெண்டுகள் பிழை கண்காணிப்பை தானியக்கமாக்க முடியும், கைமுறையாக விசாரணைக்குத் தேவையான நேரத்தையும் முயற்சியையும் குறைக்கலாம்.
  3. தொடர்புகளை மேம்படுத்துதல்: முகவர்கள் குழுக்கள், பங்குதாரர்கள் மற்றும் அமைப்புகளுக்கு இடையே தகவல் பரிமாற்றத்தை எளிதாக்கலாம், சம்பவத் தகவல் திறமையாகப் பகிரப்படுவதை உறுதிசெய்யலாம்.

சம்பவ விசாரணையில் LLMகளின் பங்கு

பெரிய மொழி மாதிரிகள் (எல்எல்எம்கள்) இயற்கை மொழி செயலாக்கத் துறையில் (என்எல்பி) புரட்சியை ஏற்படுத்தியுள்ளன, இயந்திரங்கள் மனிதனைப் போன்ற உரையைப் புரிந்துகொள்ளவும் உருவாக்கவும் உதவுகின்றன. சம்பவ விசாரணையின் பின்னணியில், LLMகள்:

  1. சம்பவ அறிக்கைகளை பகுப்பாய்வு செய்யுங்கள்: LLMகள் சம்பவ அறிக்கைகளை பகுப்பாய்வு செய்யலாம், ஒரு சம்பவத்தின் மூல காரணத்தைக் குறிக்கும் முக்கிய தகவல் மற்றும் வடிவங்களை அடையாளம் காணலாம்.
  2. சம்பவ சுருக்கங்களை உருவாக்குங்கள்: LLMகள் சம்பவ அறிக்கைகளின் சுருக்கமான சுருக்கங்களை உருவாக்கலாம், தகவல் தொடர்பு மற்றும் முடிவெடுப்பதை எளிதாக்கும்.
  3. சூழல்-விழிப்புணர்வு ஆலோசனைகளை வழங்கவும்: குறிப்பிட்ட அமைப்பு, சூழல் மற்றும் சம்பந்தப்பட்ட பங்குதாரர்களைக் கருத்தில் கொண்டு, சம்பவத் தீர்வுக்கான சூழல்-விழிப்புணர்வு ஆலோசனைகளை LLMகள் வழங்க முடியும்.

DevOps முகவர்கள் மற்றும் LLMகளுடன் தானியங்கு சம்பவ விசாரணையை செயல்படுத்துதல்

DevOps முகவர்கள் மற்றும் LLMகள் மூலம் தானியங்கு சம்பவ விசாரணையை செயல்படுத்த, நாங்கள் படிப்படியான அணுகுமுறையைப் பின்பற்றுவோம்:

  1. **DevOps முகவர்களை ஒருங்கிணை
  2. பதிவுகளைச் சேகரித்து பகுப்பாய்வு செய்தல்: பல்வேறு ஆதாரங்களில் இருந்து பதிவுகளை சேகரித்து பகுப்பாய்வு செய்ய DevOps முகவர்களை உள்ளமைக்கவும், சம்பவ காரணங்கள் பற்றிய மதிப்புமிக்க நுண்ணறிவுகளை வழங்குகிறது.
  3. எல்எல்எம் மாடலைப் பயிற்றுவிக்கவும்: சம்பவ அறிக்கைகள், பதிவுகள் மற்றும் பிற தொடர்புடைய தகவல்களின் தரவுத்தொகுப்பில் எல்எல்எம் மாதிரியைப் பயிற்றுவிக்கவும்.
  4. DevOps முகவர்களுடன் LLM ஐ ஒருங்கிணைக்கவும்: DevOps முகவர்களுடன் LLM மாதிரியை ஒருங்கிணைக்கவும், LLM ஆனது சம்பவ அறிக்கைகளை பகுப்பாய்வு செய்யவும் மற்றும் சம்பவத் தீர்வுக்கான பரிந்துரைகளை வழங்கவும் உதவுகிறது.
  5. தீர்வை வரிசைப்படுத்து: தானியங்கு சம்பவ விசாரணை தீர்வை வரிசைப்படுத்தவும், அது அளவிடக்கூடியது, நம்பகமானது மற்றும் பாதுகாப்பானது என்பதை உறுதி செய்கிறது.

எடுத்துக்காட்டு குறியீடு: DevOps முகவர்களுடன் LLM ஐ ஒருங்கிணைத்தல்

டெவொப்ஸ் ஏஜெண்டுடன் எல்எல்எம் மாடலை எவ்வாறு ஒருங்கிணைப்பது என்பதை விளக்கும் பைத்தானில் உள்ள ஒரு எடுத்துக்காட்டு குறியீடு துணுக்கு இதோ:

இறக்குமதி பதிவு
மின்மாற்றிகளில் இருந்து AutoModelForSequenceClassification, AutoTokenizer ஆகியவற்றை இறக்குமதி செய்கிறது
aws_devops_agent இறக்குமதி முகவரிடமிருந்து


மாதிரி = AutoModelForSequenceClassification.from_pretrained("distilbert-base-uncased")
tokenizer = AutoTokenizer.from_pretrained("distilbert-base-uncased")

# DevOps முகவரைத் தொடங்கவும்
முகவர் = முகவர்()

# LLM மாதிரியைப் பயன்படுத்தி சம்பவ அறிக்கைகளை பகுப்பாய்வு செய்வதற்கான செயல்பாட்டை வரையறுக்கவும்
def analysis_incident_report(அறிக்கை):
    # சம்பவ அறிக்கையை முன்கூட்டியே செயலாக்கவும்
    உள்ளீடுகள் = tokenizer.encode_plus(அறிக்கை, 
                                    add_special_tokens=உண்மை, 
                                    அதிகபட்சம்_நீளம்=512, 
                                    return_attention_mask=உண்மை, 
                                    return_tensors='pt')
    
    # LLM மாதிரியைப் பயன்படுத்தி சம்பவ அறிக்கையை பகுப்பாய்வு செய்யவும்
    வெளியீடுகள் = மாதிரி (உள்ளீடுகள்['input_ids'], கவனத்தை_மாஸ்க் = உள்ளீடுகள்['கவனம்_முகமூடி'])
    
    # கணிக்கப்பட்ட வகுப்பு லேபிளை பிரித்தெடுக்கவும்
    கணித்த_வகுப்பு = torch.argmax(outputs.logits)
    
    முன்னறிவிக்கப்பட்ட_வகுப்பு திரும்ப

# சம்பவத்தின் தீர்வுக்கான பரிந்துரைகளை வழங்குவதற்கான செயல்பாட்டை வரையறுக்கவும்
def provide_suggestions(predicted_class):
    # சம்பவத் தீர்வுக்கான பரிந்துரைகளை வழங்க, கணிக்கப்பட்ட வகுப்பு லேபிளைப் பயன்படுத்தவும்
    கணிக்கப்பட்டது_வகுப்பு == 0:
        "பிழைகளுக்கு கணினி பதிவுகளை சரிபார்க்கவும்" திரும்பவும்
    elif predicted_class == 1:
        திரும்பவும் "நெட்வொர்க் இணைப்பைச் சரிபார்க்கவும்"
    வேறு:
        திரும்ப "உதவிக்கு மேம்பாட்டுக் குழுவைத் தொடர்புகொள்ளவும்"

# DevOps முகவருடன் LLM மாதிரியை ஒருங்கிணைக்கவும்
நிகழ்வு_விசாரணை():
    # DevOps முகவரிடமிருந்து பதிவுகளை சேகரித்து பகுப்பாய்வு செய்யுங்கள்
    பதிவுகள் = agent.get_logs()
    
    # LLM மாதிரியைப் பயன்படுத்தி பதிவுகளை பகுப்பாய்வு செய்யவும்
    கணித்த_வகுப்பு = பகுப்பாய்வு_நிகழ்வு_அறிக்கை(பதிவுகள்)
    
    # சம்பவத்தின் தீர்வுக்கான பரிந்துரைகளை வழங்கவும்
    பரிந்துரைகள் = வழங்கு_பரிந்துரைகள்(முன்கணிக்கப்பட்ட_வகுப்பு)
    
    பரிந்துரைகள் திரும்ப

# சம்பவ விசாரணை தீர்வைப் பயன்படுத்தவும்
சம்பவம்_விசாரணை()

முதல் 5-10 அதிகம் பயன்படுத்தப்பட்ட கட்டளைகள்/துணுக்குகள்

இந்த தொழில்நுட்பத்திற்காக அதிகம் பயன்படுத்தப்படும் முதல் 5-10 கட்டளைகள்/துணுக்குகள்:

  1. aws devops agent get-logs: DevOps முகவரிடமிருந்து பதிவுகளை சேகரிக்கவும்.
  2. transformers.AutoModelForSequenceClassification.from_pretrained(): LLM மாதிரியை ஏற்றவும்.
  3. tokenizer.encode_plus(): சம்பவ அறிக்கையை முன்கூட்டியே செயலாக்கவும்.
  4. மாதிரி(உள்ளீடுகள்['input_ids'], கவனம்_மாஸ்க்=உள்ளீடுகள்['கவனம்_முகமூடி']): LLM மாதிரியைப் பயன்படுத்தி சம்பவ அறிக்கையை பகுப்பாய்வு செய்யவும்.
  5. torch.argmax(outputs.logits): கணிக்கப்பட்ட வகுப்பு லேபிளைப் பிரித்தெடுக்கவும்.
  6. provide_suggestions(predicted_class): சம்பவத் தீர்வுக்கான பரிந்துரைகளை வழங்கவும்.
  7. agent.get_logs(): DevOps முகவரிடமிருந்து பதிவுகளை சேகரிக்கவும்.
  8. பகுப்பாய்வு_நிகழ்வு_அறிக்கை(அறிக்கை): LLM மாதிரியைப் பயன்படுத்தி சம்பவ அறிக்கையை பகுப்பாய்வு செய்யவும்.
  9. incident_investigation(): சம்பவ விசாரணை தீர்வைப் பயன்படுத்தவும்.
  10. torch.save(model.state_dict(), 'model.pth'): LLM மாதிரியைச் சேமிக்கவும்.

காட்சிப்படுத்தல்

Chart.jsஐப் பயன்படுத்தி தானியங்கி சம்பவ விசாரணை தீர்வின் காட்சிப்படுத்தல் இங்கே:

{
  "வகை": "பார்",
  "தரவு": {
    "லேபிள்கள்": ["கைமுறை விசாரணை", "தானியங்கி விசாரணை"],
    "தரவுத்தொகுப்புகள்": [
      {
        "label": "தீர்வதற்கான நேரம்",
        "தரவு": [10, 2],
        "பின்னணி நிறம்": ["rgba(255, 99, 132, 0.2)", "rgba(54, 162, 235, 0.2)"],
        "borderColor": ["rgba(255, 99, 132, 1)", "rgba(54, 162, 235, 1)"],
        "எல்லை அகலம்": 1
      }
    ]
  },
  "விருப்பங்கள்": {
    "தலைப்பு": {
      "காட்சி": உண்மை,
      "உரை": "சம்பவங்களைத் தீர்ப்பதற்கான நேரம்"
    },
    "செதில்கள்": {
      "yAxes": [
        {
          "உண்ணி": {
            "beginAtZero": உண்மை
          }
        }
      ]
    }
  }
}

இந்த காட்சிப்படுத்தல் DevOps முகவர்கள் மற்றும் LLMகளைப் பயன்படுத்தி கைமுறை விசாரணை முறைகள் மற்றும் தானியங்கு விசாரணை முறைகளைப் பயன்படுத்தி சம்பவங்களைத் தீர்ப்பதற்கான நேரத்தை ஒப்பிடுகிறது.

முடிவு

DevOps முகவர்கள் மற்றும் LLMகள் மூலம் தானியங்கு சம்பவ விசாரணையை செயல்படுத்துவது, சம்பவத் தீர்மானத்தின் செயல்திறனையும் செயல்திறனையும் கணிசமாக மேம்படுத்தலாம். LLMகளுடன் DevOps முகவர்களை ஒருங்கிணைப்பதன் மூலம், நிறுவனங்கள் பதிவுகளின் பகுப்பாய்வை தானியங்குபடுத்தலாம், சம்பவத் தீர்வுக்கான சூழல்-விழிப்புணர்வு ஆலோசனைகளை வழங்கலாம் மற்றும் சம்பவங்களைத் தீர்ப்பதற்கான நேரத்தைக் குறைக்கலாம். DevOps ஆட்டோமேஷன், AI-இயங்கும் சம்பவ விசாரணை மற்றும் AWS DevOps ஏஜென்ட் மற்றும் Copado Agentia போன்ற DevOps கருவிகளை மேம்படுத்துவதில் LLMகளின் பங்கு ஆகியவற்றை நாங்கள் ஆராய்ந்தோம். இந்த கட்டுரையில் விவரிக்கப்பட்டுள்ள படிப்படியான அணுகுமுறையைப் பின்பற்றுவதன் மூலம், நிறுவனங்கள் அளவிடக்கூடிய, நம்பகமான மற்றும் பாதுகாப்பான தானியங்கி சம்பவ விசாரணை தீர்வை வரிசைப்படுத்தலாம்.


¿Tienes preguntas?

Hablemos

Contáctame en LinkedIn