د LLM ماډل او ټوکنائزر پورته کړئ | B4N1

د LLM ماډل او ټوکنائزر پورته کړئ

9 months ago · b4n1 Read time: 4 min

** د اتوماتیک سافټویر ازموینې لپاره د LLMs سره د DSPy ادغام: د کیفیت تضمین کې یو نوی مثال**

پیژندنه

د لوی ژبو ماډلونو (LLMs) او ژور سافټویر پروګرامونو (DSPy) ادغام د سافټویر ازموینې منظره کې انقلاب راوستی دی. د LLMs او DSPy وړتیاو په کارولو سره ، پراختیا کونکي کولی شي د ازموینې پروسه اتومات کړي ، د سافټویر انجینرۍ کې اعتبار او موثریت لوړوي. پدې مقاله کې ، موږ به وپلټو چې څنګه DSPy کولی شي د LLMs جوړ شوي غوښتنلیکونو لپاره د ازموینې پروسې ساده کړي ، او د دې راپورته کیدونکي تمثیل ګټو او ننګونو په اړه بحث وکړي.

** DSPy څه شی دی؟**

DSPy د Python کتابتون دی چې د اتوماتیک سافټویر ازموینې لپاره د وسیلو سیټ چمتو کوي. دا پراختیا کونکو ته اجازه ورکوي چې د ازموینې قضیې رامینځته او اجرا کړي ، د ازموینې پایلې وڅاري ، او د ازموینې ډیټا تحلیل کړي. DSPy د LLMs سره پرته له کوم خنډ سره کار کولو لپاره ډیزاین شوی ، د پیچلي ازموینې اتومات کولو چوکاټونو رامینځته کولو وړ کوي.

LLMs څه دي؟

LLMs د مصنوعي استخباراتو (AI) یو ډول ماډل دی چې کولی شي د انسان په څیر ژبه پروسس او تولید کړي. دوی د متن ډیټا په پراخه کچه روزل شوي او کولی شي د نمونو، اړیکو او شرایطو پیژندلو زده کړي. LLMs د سافټویر انجینرۍ کې ډیری غوښتنلیکونه لري ، پشمول د طبیعي ژبې پروسس کول ، د متن تحلیل ، او کوډ تولید.

د LLMs سره د DSPy ادغام

د LLMs سره د DSPy ادغام د اتوماتیک ازموینې قضیې رامینځته کولو توان ورکوي چې کولی شي پیچلي سناریوګانې اجرا کړي ، د کارونکي تعاملات تقلید کړي ، او د ازموینې پایلې تحلیل کړي. دا ادغام ډیری ګټې وړاندې کوي، په شمول:

  • د ازموینې پوښښ ښه شوی: DSPy کولی شي د ازموینې قضیې رامینځته کړي چې د سناریو پراخه لړۍ پوښي ، دا ډاډ ترلاسه کوي چې غوښتنلیک په بشپړ ډول ازمول شوی.
  • ** موثریت زیات شوی **: د DSPy او LLMs سره اتومات ازموینه د ازموینې قضیې اجرا کولو لپاره اړین وخت او هڅې کموي ، پراختیا کونکي آزادوي ترڅو په نورو دندو تمرکز وکړي.
  • ** ښه اعتبار **: DSPy کولی شي د ازموینې پایلې وڅاري او پراختیا کونکو ته هرې مسلې یا غلطیو ته خبرداری ورکړي ، دا ډاډ ترلاسه کوي چې غوښتنلیک معتبر او مستحکم دی.

د مثال کوډ: د DSPy او LLMs سره د ازموینې قضیې اتومات کول

دلته د مثال کوډ بلاک دی چې ښیې چې څنګه د LLM سره DSPy د ازموینې قضیې اتومات کولو لپاره وکاروئ: ``پېتون dsp وارد کړئ د ټرانسفارمرونو څخه د AutoModelForSeq2SeqLM، AutoTokenizer واردوي

ماډل = AutoModelForSeq2SeqLM.from_pretrained("t5-base") tokenizer = AutoTokenizer.from_pretrained("t5-base")

د DSPy ازموینې قضیه جوړه کړئ

test_case = dspy.TestCase( نوم = "د ازموینې قضیه 1" description="د ننوتلو فعالیت ازموئ" ګامونه=[ dspy.Step("د ننوتلو پاڼه پرانیزئ")، dspy.Step("د اعتبار وړ اسناد داخل کړئ")، dspy.Step("د ننوت تڼۍ کلیک وکړئ")، ] )

د LLM په کارولو سره د ازموینې قضیه اجرا کړئ

test_results = dspy.execute_test_case(test_case, model, tokenizer)

د ازموینې پایلې تحلیل کړئ

test_results.analyze() `` دا کوډ بلاک ښیې چې څنګه د DSPy ازموینې قضیه رامینځته کړئ ، د LLM ماډل او ټوکنائزر بار کړئ ، د LLM په کارولو سره د ازموینې قضیه اجرا کړئ ، او د ازموینې پایلې تحلیل کړئ.

غوره 5-10 ډیری کارول شوي کمانډونه / ټوټې

دلته د DSPy او LLMs لپاره غوره 5-10 ډیری کارول شوي کمانډونه / ټوټې دي:

  1. dspy.TestCase(): د DSPy نوې ټیسټ قضیه جوړوي.
  2. dspy.Step(): د DSPy ازموینې قضیې ته یو نوی ګام اضافه کوي.
  3. dspy.execute_test_case(): د LLM په کارولو سره د DSPy ازموینې قضیه اجرا کوي.
  4. model = AutoModelForSeq2SeqLM.from_pretrained("t5-base"): د LLM ماډل باروي.
  5. tokenizer = AutoTokenizer.from_pretrained("t5-base"): د LLM ټوکنائزر بار کوي.
  6. test_results.analyze(): د DSPy ازموینې پایلې تحلیلوي.
  7. dspy.monitor_test_results(): د DSPy ازموینې پایلې څاري.
  8. dspy.alert_developer(): پرمخ وړونکي ته د هرې ستونزې یا تېروتنې خبر ورکوي.
  9. dspy.generate_test_cases(): د LLM په کارولو سره نوي ازموینې قضیې رامینځته کوي.
  10. dspy.optimize_test_cases(): د LLM په کارولو سره د ازموینې قضیې اجرا کول غوره کوي.

بصری کول

دلته د Chart.js په کارولو سره د DSPy او LLM ادغام لید دی: json { "ډول": "بار" "ډاټا": { "labels": ["د ازموینې قضیه 1"، "د ازموینې قضیه 2"، "د ازموینې قضیه 3"], "ډاټاسایټ": [ { "label": "د ازموینې د قضیې د اجرا کولو وخت", "ډاټا": [10, 20, 30], "backgroundColor": "rgba(255, 99, 132, 0.2)", "borderColor": "rgba(255, 99, 132, 1)", "borderWidth": 1 }، { "label": "د ازموینې د ناکامۍ کچه", "ډاټا": [5, 10, 15], "backgroundColor": "rgba(54, 162, 235, 0.2)", "borderColor": "rgba(54, 162, 235, 1)", "borderWidth": 1 } ] }، "اختیارونه": { "عنوان": { "ښکاره": ریښتیا، "text": "DSPy او LLM ادغام" }، "ترازې": { "yAxes": [ { "ticks": { "beginAtZero": ریښتیا } } ] } } } دا لید د DSPy او LLM په کارولو سره اعدام شوي د دریو ازموینې قضیو د اجرا کولو وخت او د ناکامۍ کچه ښیې.

پایله

د LLMs سره د DSPy ادغام د سافټویر ازموینې منظره کې انقلاب راوستی دی ، د اتوماتیک ازموینې قضیې رامینځته کول وړ کړي چې کولی شي پیچلي سناریوګانې اجرا کړي ، د کارونکي تعاملات تقلید کړي ، او د ازموینې پایلې تحلیل کړي. د DSPy او LLMs وړتیاو په کارولو سره ، پراختیا کونکي کولی شي د ازموینې پروسې ساده کړي ، اعتبار او موثریت لوړ کړي ، او د دوی غوښتنلیکونو عمومي کیفیت ښه کړي. لکه څنګه چې دا ټیکنالوژي پرمختګ ته دوام ورکوي ، موږ تمه کولی شو د سافټویر انجینرۍ کې د DSPy او LLMs حتی نور نوښتونکي غوښتنلیکونه وګورو.


Have Questions?

Let's Talk

Contact me on LinkedIn