مدل LLM و توکنایزر را بارگیری کنید | B4N1

مدل LLM و توکنایزر را بارگیری کنید

6 months ago · b4n1 Read time: 6 min

اجرای بررسی خودکار رویداد با عوامل DevOps و LLM

مقدمه

در چشم‌انداز دیجیتال پر سرعت امروز، تیم‌های DevOps با یک چالش پیچیده‌تر روبرو هستند: شناسایی و حل و فصل حوادث در سریع‌ترین زمان ممکن. روش‌های بررسی دستی می‌تواند زمان‌بر و مستعد خطای انسانی باشد که منجر به طولانی‌مدت خرابی و کاهش رضایت مشتری شود. برای پرداختن به این مشکل، ما در حال بررسی تقاطع اتوماسیون DevOps، بررسی حادثه مبتنی بر هوش مصنوعی، و نقش مدل‌های زبان بزرگ (LLM) در تقویت ابزارهای DevOps مانند AWS DevOps Agent و Copado Agentia هستیم.

وضعیت فعلی بررسی حادثه

بررسی رویداد یکی از جنبه‌های حیاتی DevOps است که شامل شناسایی، تجزیه و تحلیل و حل مسائل مؤثر بر سیستم‌های نرم‌افزاری است. روش‌های سنتی بر فرآیندهای دستی مانند تجزیه و تحلیل گزارش، ردیابی خطا و ارتباط با ذینفعان متکی هستند. در حالی که این روش ها موثر هستند، می توانند آهسته و مستعد خطا باشند که منجر به موارد زیر شود:

  1. افزایش زمان خرابی: روش های بررسی دستی می تواند حل و فصل حادثه را به تأخیر بیندازد و منجر به طولانی شدن زمان خرابی و کاهش رضایت مشتری شود.
  2. خطای انسانی: فرآیندهای دستی مستعد خطای انسانی هستند که می تواند منجر به تشخیص و حل نادرست حوادث شود.
  3. مسائل مقیاس پذیری: با افزایش اندازه و پیچیدگی سیستم ها، مقیاس بندی روش های بررسی دستی به طور فزاینده ای دشوار می شود.

نقش عوامل DevOps در بررسی حادثه

عوامل DevOps، مانند AWS DevOps Agent و Copado Agentia، نقش مهمی در خودکارسازی بررسی حوادث بازی می‌کنند. این عوامل می توانند:

  1. جمع‌آوری و تجزیه و تحلیل گزارش‌ها: عوامل DevOps می‌توانند گزارش‌ها را از منابع مختلف جمع‌آوری و تجزیه و تحلیل کنند و بینش‌های ارزشمندی در مورد علل حادثه ارائه دهند.
  2. ردیابی خودکار خطا: عوامل می توانند ردیابی خطا را خودکار کنند و زمان و تلاش مورد نیاز برای بررسی دستی را کاهش دهند.
  3. ارتباطات را افزایش دهید: عوامل می توانند ارتباط بین تیم ها، ذینفعان و سیستم ها را تسهیل کنند و اطمینان حاصل کنند که اطلاعات رویداد به طور موثر به اشتراک گذاشته می شود.

نقش LLMها در بررسی حادثه

مدل‌های زبان بزرگ (LLM) حوزه پردازش زبان طبیعی (NLP) را متحول کرده و ماشین‌ها را قادر می‌سازد تا متنی شبیه انسان را درک و تولید کنند. در زمینه بررسی حادثه، LLM ها می توانند:

  1. **تجزیه و تحلیل گزارش های حادثه **: LLM ها می توانند گزارش های حادثه را تجزیه و تحلیل کنند، اطلاعات کلیدی و الگوهایی را شناسایی کنند که ممکن است علت اصلی یک حادثه را نشان دهد.
  2. تولید خلاصه حوادث: LLM ها می توانند خلاصه های مختصری از گزارش های حادثه ایجاد کنند و ارتباطات و تصمیم گیری را تسهیل کنند.
  3. ارائه پیشنهادات آگاه از زمینه: LLMها می توانند پیشنهادات آگاه از زمینه را برای حل حادثه با در نظر گرفتن سیستم خاص، محیط و ذینفعان درگیر ارائه دهند.

اجرای بررسی خودکار رویداد با عوامل DevOps و LLM

برای پیاده‌سازی بررسی خودکار رویداد با عوامل DevOps و LLM، یک رویکرد گام به گام را دنبال می‌کنیم:

  1. یکپارچه سازی عوامل DevOps: عوامل DevOps، مانند AWS DevOps Agent و Copado Agentia را با سیستم مدیریت حادثه خود یکپارچه کنید.
  2. جمع آوری و تجزیه و تحلیل گزارش ها: عوامل DevOps را برای جمع آوری و تجزیه و تحلیل گزارش ها از منابع مختلف پیکربندی کنید و بینش های ارزشمندی را در مورد علل حادثه ارائه دهید.
  3. آموزش یک مدل LLM: یک مدل LLM را بر روی مجموعه داده ای از گزارش های حادثه، گزارش ها و سایر اطلاعات مرتبط آموزش دهید.
  4. ادغام LLM با عوامل DevOps: مدل LLM را با عوامل DevOps ادغام کنید، LLM را قادر می سازد گزارش های حادثه را تجزیه و تحلیل کند و پیشنهاداتی برای حل حادثه ارائه دهد.
  5. راه حل را مستقر کنید: راه حل خودکار بررسی حادثه را با اطمینان از اینکه مقیاس پذیر، قابل اعتماد و ایمن است، اجرا کنید.

کد مثال: ادغام LLM با DevOps Agents

در اینجا یک نمونه کد کد در پایتون آمده است که نحوه ادغام یک مدل LLM با یک عامل DevOps را نشان می دهد: ``پایتون ثبت ورود به سیستم از واردات ترانسفورماتور AutoModelForSequenceClassification، AutoTokenizer از aws_devops_agent import agent

model = AutoModelForSequenceClassification.from_pretrained("distilbert-base-uncased") tokenizer = AutoTokenizer.from_pretrained("distilbert-base-uncased")

عامل DevOps را راه اندازی کنید

agent = Agent()

یک تابع برای تجزیه و تحلیل گزارش های حادثه با استفاده از مدل LLM تعریف کنید

def analysis_incident_report(report): # گزارش حادثه را از قبل پردازش کنید inputs = tokenizer.encode_plus(گزارش، add_special_tokens=درست است، max_length=512، return_attention_mask=درست است، return_tensors='pt')

# گزارش حادثه را با استفاده از مدل LLM تجزیه و تحلیل کنید
خروجی‌ها = مدل (ورودی‌ها['input_ids']، توجه_ماسک=ورودی‌ها ['attention_mask'])

# برچسب کلاس پیش بینی شده را استخراج کنید
predicted_class = torch.argmax(outputs.logits)

پیش بینی شده_کلاس را برگردانید

تابعی را برای ارائه پیشنهادهایی برای حل حادثه تعریف کنید

def provide_suggestions(predicted_class): # از برچسب کلاس پیش بینی شده برای ارائه پیشنهادهایی برای حل حادثه استفاده کنید if predicted_class == 0: بازگشت "بررسی گزارش های سیستم برای خطا" elif predicted_class == 1: بازگشت "تأیید اتصال شبکه" دیگر: بازگشت "برای کمک با تیم توسعه تماس بگیرید"

مدل LLM را با عامل DevOps ادغام کنید

def incident_investigation(): # گزارش ها را از عامل DevOps جمع آوری و تجزیه و تحلیل کنید logs = agent.get_logs()

# گزارش ها را با استفاده از مدل LLM تجزیه و تحلیل کنید
کلاس_پیش‌بینی شده=گزارش_تحلیل_حادثه(گزارش‌ها)

# پیشنهاداتی برای حل حادثه ارائه دهید
پیشنهادات = ارائه_پیشنهادات (کلاس_پیش بینی شده)

پیشنهادات بازگشت

راه حل بررسی حادثه را مستقر کنید

Incident_investigation()

** 5 تا 10 فرمان/قطعات پرکاربرد برتر **

در اینجا 5 تا 10 فرمان/قطعه پرکاربرد برتر برای این فناوری آورده شده است:

1. "aws devops agent get-logs": گزارش ها را از عامل DevOps جمع آوری کنید.
2. `transformers.AutoModelForSequenceClassification.from_pretrained()`: مدل LLM را بارگذاری کنید.
3. `tokenizer.encode_plus()`: گزارش حادثه را از قبل پردازش کنید.
4. «model(inputs['input_ids'], focus_mask=inputs['attention_mask']): گزارش حادثه را با استفاده از مدل LLM تجزیه و تحلیل کنید.
5. `torch.argmax(outputs.logits)`: برچسب کلاس پیش بینی شده را استخراج کنید.
6. «ارائه_پیشنهادها (کلاس_پیش بینی شده)»: پیشنهادهایی برای حل حادثه ارائه دهید.
7. «agent.get_logs()»: گزارش‌ها را از عامل DevOps جمع‌آوری کنید.
8. «گزارش_تحلیل_حادثه(گزارش)»: گزارش حادثه را با استفاده از مدل LLM تجزیه و تحلیل کنید.
9. 'incident_investigation()': راه حل بررسی حادثه را به کار می گیرد.
10. «torch.save(model.state_dict()، «model.pth»)»: مدل LLM را ذخیره کنید.

**تجسم**

در اینجا تصویری از راه حل خودکار بررسی حادثه با استفاده از Chart.js آورده شده است:
``json
{
  "نوع": "نوار"،
  "داده": {
    "labels": ["تحقیق دستی"، "تحقیق خودکار"]،
    "مجموعه داده ها": [
      {
        "label": "زمان برای حل کردن"،
        "داده": [10، 2]،
        "backgroundColor": ["rgba(255، 99، 132، 0.2)"، "rgba(54، 162، 235، 0.2)"]،
        "borderColor": ["rgba(255، 99، 132، 1)"، "rgba(54، 162، 235، 1)"]،
        "borderWidth": 1
      }
    ]
  }،
  "گزینه ها": {
    "عنوان": {
      "نمایش": درست،
      "text": "زمان حل و فصل حوادث"
    }،
    "ترازو": {
      "yAxes": [
        {
          "تیک": {
            "beginAtZero": درست است
          }
        }
      ]
    }
  }
}

این تجسم زمان حل حوادث را با استفاده از روش‌های تحقیق دستی در مقابل روش‌های بررسی خودکار با استفاده از عوامل DevOps و LLM مقایسه می‌کند.

نتیجه گیری

اجرای بررسی خودکار رویداد با عوامل DevOps و LLM ها می تواند کارایی و اثربخشی حل حادثه را به طور قابل توجهی بهبود بخشد. با ادغام عوامل DevOps با LLM، سازمان‌ها می‌توانند تجزیه و تحلیل گزارش‌ها را به‌طور خودکار انجام دهند، پیشنهادات آگاه از زمینه را برای حل حادثه ارائه کنند و زمان حل و فصل حوادث را کاهش دهند. ما تقاطع اتوماسیون DevOps، بررسی حادثه مبتنی بر هوش مصنوعی، و نقش LLM ها در بهبود ابزارهای DevOps مانند AWS DevOps Agent و Copado Agentia را بررسی کرده ایم. با پیروی از رویکرد گام به گام ذکر شده در این مقاله، سازمان‌ها می‌توانند یک راه‌حل بررسی رویداد خودکار مقیاس‌پذیر، قابل اعتماد و ایمن را به کار گیرند.


Have Questions?

Let's Talk

Contact me on LinkedIn