ڈی ایس پی اور لینگ چین کے ساتھ AI سے چلنے والی ڈیو اوپس پائپ لائنوں کو منظم کرنا | B4N1

ڈی ایس پی اور لینگ چین کے ساتھ AI سے چلنے والی ڈیو اوپس پائپ لائنوں کو منظم کرنا

3 months ago · b4n1 Read time: 5 min

تعارف

جدید سافٹ ویئر سسٹمز کی مسلسل بڑھتی ہوئی پیچیدگی واقعات کی تعدد اور شدت میں اضافے کا باعث بنی ہے، جس سے واقعہ کی فعال تحقیقات اور حل کو ڈی او اوپس کا ایک اہم پہلو بنا دیا گیا ہے۔ مصنوعی ذہانت (AI) اور مشین لرننگ (ML) DevOps پائپ لائنوں کو بڑھانے کے لیے طاقتور ٹولز کے طور پر ابھرے ہیں، جس سے AI سے چلنے والی آٹومیشن اور آرکیسٹریشن کو کاروبار پر اثر انداز ہونے سے پہلے واقعات کا پتہ لگانے اور حل کرنے میں مدد ملتی ہے۔ اس مضمون میں، ہم دریافت کریں گے کہ DSPy اور LangChain کا ​​استعمال کرتے ہوئے AI سے چلنے والی DevOps پائپ لائنوں کو کیسے لاگو کیا جائے، جس میں AIOps اور RAG ماڈلز کا استعمال کرتے ہوئے واقعے کی فعال تفتیش اور حل پر توجہ دی جائے، اور خود کار واقعے کی تفتیش کے لیے AWS DevOps ایجنٹ کے ساتھ انضمام کیا جائے۔

DSPy اور LangChain کا جائزہ

DSPy ایک Python لائبریری ہے جو AI سے چلنے والی DevOps پائپ لائنوں کی تعمیر اور تعیناتی کا ایک آسان اور موثر طریقہ فراہم کرتی ہے۔ یہ ڈویلپرز کو مختلف AI اور ML ماڈلز کو ضم کرنے کی اجازت دیتا ہے، بشمول نیچرل لینگویج پروسیسنگ (NLP)، کمپیوٹر ویژن، اور پیشین گوئی کے تجزیات کو ان کی DevOps پائپ لائنوں میں۔ دوسری طرف، LangChain ایک Python لائبریری ہے جو ڈویلپرز کو ماڈیولر اور توسیع پذیر فن تعمیر کا استعمال کرتے ہوئے بڑے پیمانے پر AI ماڈلز بنانے اور تعینات کرنے کے قابل بناتی ہے۔

DSPy اور LangChain کے ساتھ AI سے چلنے والی DevOps پائپ لائنوں کو نافذ کرنا

DSPy اور LangChain کے ساتھ AI سے چلنے والی DevOps پائپ لائنوں کو نافذ کرنے کے لیے، ہمیں ان اقدامات پر عمل کرنے کی ضرورت ہے:

  1. ڈیٹا جمع کرنا: مختلف ذرائع سے متعلقہ ڈیٹا اکٹھا کریں، جیسے لاگز، میٹرکس، اور کنفیگریشن فائلز۔
  2. ڈیٹا پری پروسیسنگ: جمع کیے گئے ڈیٹا کو تجزیہ اور ماڈلنگ کے لیے تیار کرنے کے لیے پہلے سے پروسیس کریں۔
  3. ماڈل ٹریننگ: واقعات کا پتہ لگانے اور پیشین گوئی کرنے کے لیے پہلے سے تیار کردہ ڈیٹا کا استعمال کرتے ہوئے AI اور ML ماڈلز کو تربیت دیں۔
  4. ماڈل تعیناتی: تربیت یافتہ ماڈلز کو DSPy اور LangChain کا ​​استعمال کرتے ہوئے DevOps پائپ لائن میں تعینات کریں۔
  5. واقعہ کی تحقیقات: واقعات کی تحقیقات اور بنیادی وجوہات کی نشاندہی کرنے کے لیے تعینات کردہ ماڈلز کا استعمال کریں۔
  6. واقعہ کا حل: واقعات کو فعال طور پر حل کرنے کے لیے واقعے کی تحقیقات سے حاصل کردہ بصیرت کا استعمال کریں۔

کوڈ کی مثال: DSPy اور LangChain کے ساتھ ایک سادہ RAG ماڈل کو نافذ کرنا

یہاں ایک سادہ کوڈ کی مثال ہے جو یہ ظاہر کرتی ہے کہ DSPy اور LangChain کا استعمال کرتے ہوئے RAG (Rot Cause Analysis) ماڈل کو کیسے نافذ کیا جائے: `` ازگر ڈی ایس پی کو درآمد کریں۔ langchain درآمد LLMChain سے

پری پروسیس شدہ ڈیٹا لوڈ کریں۔

data = pd.read_csv("data.csv")

RAG ماڈل کی وضاحت کریں۔

rag_model = dspy.RAGModel( input_features="log_level"، "error_message"]، output_features="root_cause"] )

RAG ماڈل کو تربیت دیں۔

rag_model.train(ڈیٹا)

RAG ماڈل تعینات کریں۔

llm_chain = LLMCchain( model="davinci:002" max_length=2048 ) rag_model.deploy(llm_chain)

واقعات کی تحقیقات کے لیے تعینات RAG ماڈل کا استعمال کریں۔

واقعہ_ڈیٹا = pd.DataFrame({ "log_level": ["ERROR"]، "error_message": ["کچھ غلط ہو گیا"] }) root_cause = rag_model.predict(واقعہ_ڈیٹا) پرنٹ (روٹ_کاز) `` یہ کوڈ مثال ظاہر کرتی ہے کہ DSPy اور LangChain کا استعمال کرتے ہوئے ایک سادہ RAG ماڈل کو کیسے نافذ کیا جائے۔ RAG ماڈل لاگ لیول اور ایرر میسج کو ان پٹ فیچرز کے طور پر لیتا ہے اور واقعہ کی اصل وجہ کی پیشین گوئی کرتا ہے۔

ٹاپ 5-10 سب سے زیادہ استعمال شدہ کمانڈز/ٹکڑے

DSPy اور LangChain کے لیے سب سے اوپر 5-10 سب سے زیادہ استعمال شدہ کمانڈز/ٹکڑے یہ ہیں:

  1. dspy.RAGModel(input_features, output_features): مخصوص ان پٹ اور آؤٹ پٹ خصوصیات کے ساتھ RAG ماڈل کی وضاحت کریں۔
  2. dspy.RAGModel.train(data): فراہم کردہ ڈیٹا کا استعمال کرتے ہوئے RAG ماڈل کو تربیت دیں۔
  3. dspy.RAGModel.deploy(llm_chain): LangChain LLMCchain کا ​​استعمال کرتے ہوئے تربیت یافتہ RAG ماڈل تعینات کریں۔
  4. llm_chain = LLMCchain(ماڈل، max_length): مخصوص ماڈل اور زیادہ سے زیادہ لمبائی کے ساتھ ایک LangChain LLMCchain بنائیں۔
  5. rag_model.predict(data): کسی واقعے کی اصل وجہ کی پیشین گوئی کرنے کے لیے تعینات کردہ RAG ماڈل استعمال کریں۔
  6. dspy.DataPreprocessor(input_data): DSPy کا استعمال کرتے ہوئے ڈیٹا پری پروسیسنگ پائپ لائن کی وضاحت کریں۔
  7. dspy.ModelTrainer(model, data): DSPy کا استعمال کرتے ہوئے AI یا ML ماڈل کو تربیت دیں۔
  8. dspy.ModelDeployer(model, llm_chain): DSPy اور LangChain کا ​​استعمال کرتے ہوئے ایک تربیت یافتہ ماڈل تعینات کریں۔
  9. langchain.LLMChain.predict(input_data): ماڈل کے آؤٹ پٹ کی پیشین گوئی کرنے کے لیے Langchain LLMChain استعمال کریں۔
  10. dspy.RAGModel.evaluate(data): DSPy کا استعمال کرتے ہوئے RAG ماڈل کی کارکردگی کا اندازہ کریں۔

تصور

یہاں Chart.js کا استعمال کرتے ہوئے ایک تصور کی ایک مثال ہے: json { "type": "بار"، "ڈیٹا": { "labels": ["واقعہ کی قسم A"، "واقعہ کی قسم B"، "واقعہ کی قسم C"], "ڈیٹا سیٹ": [ { "label": "جڑ کاز A" "ڈیٹا": [10، 15، 7]، "backgroundColor": "rgba(255, 99, 132, 0.2)", "borderColor": "rgba(255, 99, 132, 1)", سرحد کی چوڑائی: 1 }، { "label": "جڑ کاز B" "ڈیٹا": [8، 12، 9]، "backgroundColor": "rgba(54, 162, 235, 0.2)", "borderColor": "rgba(54, 162, 235, 1)", سرحد کی چوڑائی: 1 }، { "label": "جڑ کاز C", "ڈیٹا": [14، 18، 11]، "backgroundColor": "rgba(255, 206, 86, 0.2)", "borderColor": "rgba(255, 206, 86, 1)", سرحد کی چوڑائی: 1 } ] }، "اختیارات": { "عنوان": { "ڈسپلے": سچ، "text": "جڑ کا تجزیہ" }، "پیمانہ": { "yAxes": [ { "ticks": { "beginAtZero": سچ ہے۔ } } ] } } } یہ تصور مختلف واقعات کی اقسام کے لیے بنیادی وجوہات کی تقسیم کو ظاہر کرتا ہے۔

نتیجہ

اس مضمون میں، ہم نے دریافت کیا کہ DSPy اور LangChain کا استعمال کرتے ہوئے AI سے چلنے والی DevOps پائپ لائنوں کو کیسے لاگو کیا جائے، جس میں AIOps اور RAG ماڈلز کا استعمال کرتے ہوئے واقعے کی فعال تفتیش اور حل پر توجہ مرکوز کی جائے، اور خود کار واقعے کی تفتیش کے لیے AWS DevOps ایجنٹ کے ساتھ انضمام کیا جائے۔ ہم نے ایک سادہ کوڈ مثال کا مظاہرہ کیا جو DSPy اور LangChain کا ​​استعمال کرتے ہوئے RAG ماڈل کو نافذ کرتا ہے، اور DSPy اور LangChain کے لیے سب سے زیادہ استعمال ہونے والے 5-10 کمانڈز/ٹکڑوں کی فہرست فراہم کی ہے۔ ہم نے Chart.js کا استعمال کرتے ہوئے ایک تصوراتی مثال بھی شامل کی ہے۔ اس آرٹیکل میں بیان کردہ اقدامات پر عمل کرکے، ڈویلپرز AI سے چلنے والی DevOps پائپ لائنوں کو بنا اور تعینات کر سکتے ہیں جو واقعات کا سراغ لگاتے اور ان کو فعال طور پر حل کرتے ہیں، ان کے سافٹ ویئر سسٹم کی مجموعی کارکردگی اور وشوسنییتا کو بہتر بناتے ہیں۔


Have Questions?

Let's Talk

Contact me on LinkedIn