LLM ආකෘතිය සහ ටෝකනයිසර් පූරණය කරන්න | B4N1

LLM ආකෘතිය සහ ටෝකනයිසර් පූරණය කරන්න

3 months ago · b4n1 Read time: 5 min

DevOps නියෝජිතයින් සහ LLMs සමඟ ස්වයංක්‍රීය සිද්ධි විමර්ශනය ක්‍රියාත්මක කිරීම

හැඳින්වීම

වර්තමාන වේගවත් ඩිජිටල් භූ දර්ශනය තුළ, DevOps කණ්ඩායම් වඩ වඩාත් සංකීර්ණ අභියෝගයකට මුහුණ දෙයි: හැකි ඉක්මනින් සිදුවීම් හඳුනා ගැනීම සහ විසඳීම. අතින් විමර්ශන ක්‍රම බොහෝ කාලයක් ගත වන අතර මානව දෝෂ වලට ගොදුරු විය හැකි අතර, දිගුකාලීන අක්‍රීය කාලයකට සහ පාරිභෝගික තෘප්තිය අඩු වීමට හේතු වේ. මෙම ගැටළුව විසඳීම සඳහා, අපි DevOps ස්වයංක්‍රීයකරණය, AI-බලගන්වන සිදුවීම් විමර්ශනය සහ AWS DevOps නියෝජිතයා සහ Copado Agentia වැනි DevOps මෙවලම් වැඩිදියුණු කිරීමේදී විශාල භාෂා මාදිලිවල (LLMs) භූමිකාව ගවේෂණය කරන්නෙමු.

සිද්ධි විමර්ශනයේ වත්මන් තත්ත්වය

සිද්ධි විමර්ශනය DevOps හි තීරණාත්මක අංගයක් වන අතර, මෘදුකාංග පද්ධතිවලට බලපාන ගැටළු හඳුනා ගැනීම, විශ්ලේෂණය සහ විසඳීම ඇතුළත් වේ. සාම්ප්‍රදායික ක්‍රම ලොග් විශ්ලේෂණය, දෝෂ ලුහුබැඳීම සහ පාර්ශවකරුවන් සමඟ සන්නිවේදනය වැනි අතින් ක්‍රියාවලි මත රඳා පවතී. මෙම ක්‍රම ඵලදායි වන අතර, ඒවා මන්දගාමී විය හැකි අතර දෝෂ වලට ගොදුරු විය හැක, මෙයට හේතු වන්නේ:

  1. අක්‍රිය කාලය වැඩි වීම: අතින් විමර්ශන ක්‍රම මගින් සිද්ධි නිරාකරණය ප්‍රමාද කළ හැකි අතර, එහි ප්‍රතිඵලයක් ලෙස දිගුකාලීන අක්‍රීය කාලය සහ පාරිභෝගික තෘප්තිය අඩු වේ.
  2. මානව දෝෂ: අතින් ක්‍රියාවලි මානව දෝෂ වලට ගොදුරු වේ, එය වැරදි රෝග විනිශ්චය සහ සිද්ධීන් නිරාකරණය කිරීමට හේතු විය හැක.
  3. පරිමාණතා ගැටළු: පද්ධතිවල ප්‍රමාණය හා සංකීර්ණත්වය වර්ධනය වන විට, අතින් විමර්ශන ක්‍රම පරිමාණය කිරීම වඩ වඩාත් අපහසු වේ.

සිදුවීම් විමර්ශනයේදී DevOps නියෝජිතයන්ගේ භූමිකාව

AWS DevOps Agent සහ Copado Agentia වැනි DevOps නියෝජිතයන්, සිදුවීම් විමර්ශනය ස්වයංක්‍රීය කිරීමෙහිලා තීරණාත්මක කාර්යභාරයක් ඉටු කරයි. මෙම නියෝජිතයින්ට හැකි:

  1. ලොග් එකතු කිරීම සහ විශ්ලේෂණය කිරීම: DevOps නියෝජිතයින්ට විවිධ මූලාශ්‍රවලින් ලඝු-සටහන් එකතු කර විශ්ලේෂණය කළ හැකි අතර, සිදුවීම් හේතූන් පිළිබඳ වටිනා අවබෝධයක් ලබා දේ.
  2. ස්වයංක්‍රීය දෝෂ ලුහුබැඳීම: නියෝජිතයින්ට දෝෂ ලුහුබැඳීම ස්වයංක්‍රීය කළ හැකි අතර, අතින් විමර්ශනය සඳහා අවශ්‍ය කාලය සහ ශ්‍රමය අඩු කරයි.
  3. සන්නිවේදනය වැඩි දියුණු කිරීම: නියෝජිතයින්ට කණ්ඩායම්, පාර්ශවකරුවන් සහ පද්ධති අතර සන්නිවේදනය සඳහා පහසුකම් සැලසිය හැකි අතර, සිදුවීම් තොරතුරු කාර්යක්ෂමව බෙදාහදා ගැනීම සහතික කරයි.

සිද්ධි විමර්ශනයේදී LLM වල කාර්යභාරය

විශාල භාෂා ආකෘති (LLMs) ස්වභාවික භාෂා සැකසුම් (NLP) ක්‍ෂේත්‍රයේ විප්ලවීය වෙනසක් සිදු කර ඇති අතර, යන්ත්‍රවලට මිනිසාට සමාන පෙළ තේරුම් ගැනීමට සහ උත්පාදනය කිරීමට හැකි වේ. සිද්ධි විමර්ශනයේ සන්දර්භය තුළ, LLMs හට:

  1. සිද්ධි වාර්තා විශ්ලේෂණය කරන්න: LLMs හට සිද්ධි වාර්තා විශ්ලේෂණය කළ හැකි අතර, සිදුවීමක මූලික හේතුව දැක්විය හැකි ප්‍රධාන තොරතුරු සහ රටා හඳුනා ගත හැක.
  2. සිද්ධි සාරාංශ උත්පාදනය කරන්න: LLMs හට සිද්ධි වාර්තා වල සංක්ෂිප්ත සාරාංශ ජනනය කළ හැක, සන්නිවේදනය සහ තීරණ ගැනීම පහසු කරයි.
  3. සන්දර්භය-දැනුවත් යෝජනා ලබා දීම: LLMs හට විශේෂිත පද්ධතිය, පරිසරය සහ පාර්ශවකරුවන් සැලකිල්ලට ගනිමින් සිද්ධි නිරාකරණය සඳහා සන්දර්භය-දැනුවත් යෝජනා සැපයිය හැක.

DevOps නියෝජිතයින් සහ LLMs සමඟ ස්වයංක්‍රීය සිද්ධි විමර්ශනය ක්‍රියාත්මක කිරීම

DevOps නියෝජිතයන් සහ LLMs සමඟ ස්වයංක්‍රීය සිදුවීම් විමර්ශනය ක්‍රියාත්මක කිරීමට, අපි පියවරෙන් පියවර ප්‍රවේශයක් අනුගමනය කරන්නෙමු:

  1. DevOps නියෝජිතයන් ඒකාබද්ධ කරන්න: AWS DevOps නියෝජිතයා සහ Copado Agentia වැනි DevOps නියෝජිතයන් ඔබේ සිද්ධි කළමනාකරණ පද්ධතිය සමඟ ඒකාබද්ධ කරන්න.
  2. ලොග් එකතු කිරීම සහ විශ්ලේෂණය කිරීම: විවිධ මූලාශ්‍රවලින් ලඝු එකතු කිරීම සහ විශ්ලේෂණය කිරීම සඳහා DevOps නියෝජිතයන් වින්‍යාස කිරීම, සිදුවීම් හේතූන් පිළිබඳ වටිනා අවබෝධයක් ලබා දීම.
  3. LLM ආකෘතියක් පුහුණු කරන්න: සිද්ධි වාර්තා, ලඝු-සටහන් සහ අනෙකුත් අදාළ තොරතුරුවල දත්ත කට්ටලයක් මත LLM ආකෘතියක් පුහුණු කරන්න.
  4. DevOps නියෝජිතයන් සමඟ LLM ඒකාබද්ධ කරන්න: LLM ආකෘතිය DevOps නියෝජිතයන් සමඟ ඒකාබද්ධ කරන්න, සිද්ධි වාර්තා විශ්ලේෂණය කිරීමට සහ සිද්ධි නිරාකරණය සඳහා යෝජනා සැපයීමට LLM හට හැකි වේ.
  5. විසඳුම යෙදවීම: ස්වයංක්‍රීය සිද්ධි විමර්ශන විසඳුම යෙදවීම, එය පරිමාණය කළ හැකි, විශ්වාසදායක සහ ආරක්ෂිත බව සහතික කිරීම.

උදාහරණ කේතය: DevOps නියෝජිතයන් සමඟ LLM ඒකාබද්ධ කිරීම

LLM ආකෘතියක් DevOps නියෝජිතයෙකු සමඟ ඒකාබද්ධ කරන්නේ කෙසේද යන්න නිරූපණය කරන Python හි උදාහරණ කේත කොටස මෙන්න:

ආනයනය ලොග් කිරීම
ට්‍රාන්ස්ෆෝමර් වලින් AutoModelForSequenceClassification, AutoTokenizer ආනයනය කරයි
aws_devops_agent ආනයන නියෝජිතයාගෙන්


ආකෘතිය = AutoModelForSequenceClassification.from_pretrained("distilbert-base-uncased")
tokenizer = AutoTokenizer.from_pretrained("distilbert-base-uncased")

# DevOps නියෝජිතයා ආරම්භ කරන්න
නියෝජිතයා = නියෝජිත ()

# LLM ආකෘතිය භාවිතයෙන් සිද්ධි වාර්තා විශ්ලේෂණය කිරීමට ශ්‍රිතයක් නිර්වචනය කරන්න
def analysis_incident_report(වාර්තාව):
    # සිද්ධි වාර්තාව පෙර සකසන්න
    ආදාන = tokenizer.encode_plus(වාර්තාව, 
                                    add_special_tokens=ඇත්ත, 
                                    max_length=512, 
                                    return_attention_mask=ඇත්ත, 
                                    return_tensors='pt')
    
    # LLM ආකෘතිය භාවිතයෙන් සිද්ධි වාර්තාව විශ්ලේෂණය කරන්න
    ප්‍රතිදාන = මාදිලිය(ආදාන['input_ids'], අවධානය_මාස්ක්=ආදාන['අවධානය_මාස්ක්'])
    
    # පුරෝකථනය කළ පන්ති ලේබලය උපුටා ගන්න
    අනාවැකි_පංතිය = torch.argmax(outputs.logits)
    
    ආපසු අනාවැකි_පංතිය

# සිද්ධි නිරාකරණය සඳහා යෝජනා සැපයීමට කාර්යයක් නිර්වචනය කරන්න
def සපයන_යෝජනා (පුරෝකථනය කළ_පංතිය):
    # සිද්ධි නිරාකරණය සඳහා යෝජනා සැපයීමට පුරෝකථනය කළ පන්ති ලේබලය භාවිතා කරන්න
    අනාවැකි_පංතිය == 0 නම්:
        ආපසු "දෝෂ සඳහා පද්ධති ලොග් පරීක්ෂා කරන්න"
    elif predicted_class == 1:
        ආපසු "ජාල සම්බන්ධතාවය තහවුරු කරන්න"
    වෙනත්:
        ආපසු "සහාය සඳහා සංවර්ධන කණ්ඩායම අමතන්න"

# DevOps නියෝජිතයා සමඟ LLM ආකෘතිය ඒකාබද්ධ කරන්න
def incident_investigation():
    # DevOps නියෝජිතයාගෙන් ලොග් එකතු කර විශ්ලේෂණය කරන්න
    ලඝු-සටහන් = agent.get_logs()
    
    # LLM ආකෘතිය භාවිතයෙන් ලඝු-සටහන් විශ්ලේෂණය කරන්න
    අනාවැකි_පංතිය = විශ්ලේෂණය_සිදුවීම්_වාර්තාව(ලඝු-සටහන්)
    
    # සිද්ධි නිරාකරණය සඳහා යෝජනා ඉදිරිපත් කරන්න
    යෝජනා = යෝජනා_සපයන්න (පුරෝකථනය කළ_පංතිය)
    
    ආපසු යෝජනා

# සිද්ධි විමර්ශන විසඳුම යොදන්න
සිද්ධිය_විමර්ශනය()

ඉහළම 5-10 වැඩිපුරම භාවිතා කරන ලද විධාන/Snippets

මෙම තාක්ෂණය සඳහා වැඩිපුරම භාවිතා කරන ලද විධාන/ස්නිපෙට් 5-10 මෙන්න:

  1. aws devops agent get-logs: DevOps නියෝජිතයාගෙන් ලොග එකතු කරන්න.
  2. transformers.AutoModelForSequenceClassification.from_pretrained(): LLM ආකෘතිය පූරණය කරන්න.
  3. tokenizer.encode_plus(): සිද්ධි වාර්තාව පෙර සකසන්න.
  4. model(inputs['input_ids'], attention_mask=inputs['attention_mask']): LLM ආකෘතිය භාවිතයෙන් සිද්ධි වාර්තාව විශ්ලේෂණය කරන්න.
  5. torch.argmax(outputs.logits): පුරෝකථනය කළ පන්ති ලේබලය උපුටා ගන්න.
  6. යෝජනා_සපයන්න(පුරෝකථනය කළ_පන්තිය): සිද්ධි නිරාකරණය සඳහා යෝජනා සපයන්න.
  7. agent.get_logs(): DevOps නියෝජිතයාගෙන් ලොග එකතු කරන්න.
  8. විශ්ලේෂණ_සිද්ධි_වාර්තාව(වාර්තාව): LLM ආකෘතිය භාවිතයෙන් සිද්ධි වාර්තාව විශ්ලේෂණය කරන්න.
  9. සිද්ධි_පරීක්ෂණ(): සිද්ධි විමර්ශන විසඳුම යෙදවීම.
  10. torch.save(model.state_dict(), 'model.pth'): LLM ආකෘතිය සුරකින්න.

දෘෂ්‍යකරණය

Chart.js භාවිතයෙන් ස්වයංක්‍රීය සිද්ධි විමර්ශන විසඳුමේ දෘශ්‍යකරණයක් මෙන්න: ''''ජේසන් { "වර්ගය": "බාර්", "දත්ත": { "ලේබල්": ["අතින් විමර්ශනය", "ස්වයංක්‍රීය විමර්ශනය"], "දත්ත කට්ටල": [ { "label": "විසඳීමට කාලය", "දත්ත": [10, 2], "backgroundColor": ["rgba(255, 99, 132, 0.2)", "rgba(54, 162, 235, 0.2)"], "borderColor": ["rgba(255, 99, 132, 1)", "rgba(54, 162, 235, 1)"], "දේශසීමා පළල": 1 } ] }, "විකල්ප": { "මාතෘකාව": { "දර්ශණය": ඇත්ත, "පෙළ": "සිදුවීම් විසඳීමට කාලය" }, "පරිමාණ": { "yAxes": [ { "කිනිතුල්ලන්": { "beginAtZero": ඇත්ත } } ] } } }

මෙම දෘශ්‍යකරණය DevOps නියෝජිතයන් සහ LLMs භාවිතා කරන ස්වයංක්‍රීය විමර්ශන ක්‍රමවලට එරෙහිව අතින් විමර්ශන ක්‍රම භාවිතයෙන් සිද්ධීන් විසඳීමට කාලය සංසන්දනය කරයි.

** නිගමනය **

DevOps නියෝජිතයන් සහ LLMs සමඟ ස්වයංක්‍රීය සිද්ධි විමර්ශනය ක්‍රියාත්මක කිරීමෙන් සිද්ධි නිරාකරණයේ කාර්යක්ෂමතාව සහ සඵලතාවය සැලකිය යුතු ලෙස වැඩිදියුණු කළ හැක. LLMs සමඟ DevOps නියෝජිතයන් ඒකාබද්ධ කිරීමෙන්, ආයතනවලට ලඝු-සටහන් විශ්ලේෂණය ස්වයංක්‍රීය කිරීමට, සිද්ධි නිරාකරණය සඳහා සන්දර්භය-දැනුවත් යෝජනා සැපයීමට සහ සිදුවීම් විසඳීමට කාලය අඩු කිරීමට හැකිය. අපි DevOps ස්වයංක්‍රීයකරණයේ මංසන්ධිය, AI-බලගන්වන සිදුවීම් විමර්ශනය සහ AWS DevOps Agent සහ Copado Agentia වැනි DevOps මෙවලම් වැඩිදියුණු කිරීමේදී LLM වල කාර්යභාරය ගවේෂණය කර ඇත. මෙම ලිපියේ දක්වා ඇති පියවරෙන් පියවර ප්‍රවේශය අනුගමනය කිරීමෙන්, ආයතනවලට පරිමාණය කළ හැකි, විශ්වාසදායක සහ ආරක්ෂිත ස්වයංක්‍රීය සිද්ධි විමර්ශන විසඳුමක් යෙදවිය හැක.

Have Questions?

Let's Talk

Contact me on LinkedIn