Soo rar qaabka LLM iyo tokenizer | B4N1

Soo rar qaabka LLM iyo tokenizer

9 months ago · b4n1 Read time: 4 min

** Isku-dubbaridka DSPy iyo LLMs ee Tijaabinta Software-ka Atoomaatiga ah: Qaab Cusub oo Hubinta Tayada ah**

hordhac

Is dhexgalka Modelyada Luuqadaha Waaweyn (LLMs) iyo Barnaamijyada Deep Software Programming (DSPy) ayaa wax ka beddelay muuqaalka tijaabada software. Iyaga oo ka faa'iidaysanaya awoodaha LLMs iyo DSPy, horumariyayaashu waxay si otomaatig ah u samayn karaan habka tijaabada, kor u qaadida kalsoonida iyo hufnaanta injineernimada software. Maqaalkan, waxaan ku baari doonaa sida DSPy ay u habayn karto habka tijaabada ee codsiyada lagu dhisay LLMs, oo aan ka wada hadalno faa'iidooyinka iyo caqabadaha jaantuskan soo baxaya.

waa maxay DSPy?

DSPy waa maktabad Python ah oo bixisa qalabyo qalabaysan oo lagu tijaabinayo software. Waxay u ogolaataa horumariyeyaasha inay abuuraan oo ay fuliyaan kiisaska tijaabada, la socdaan natiijooyinka imtixaanka, oo ay falanqeeyaan xogta imtixaanka. DSPy waxaa loogu talagalay inay si aan kala go 'lahayn ula shaqeyso LLMs, taasoo awood u siinaysa abuurista qaab-dhismeedka otomaatiga ah ee imtixaanka casriga ah.

waa maxay LLMs?

LLMs waa nooc ka mid ah qaabka sirdoonka macmalka ah (AI) kaas oo farsamayn kara oo dhalin kara luqad u eg bini'aadamka. Waxaa lagu tababaray tiro aad u badan oo xogta qoraalka ah waxayna baran karaan inay aqoonsadaan qaababka, xiriirada, iyo macnaha guud. LLM-yadu waxay leeyihiin codsiyo badan oo ku saabsan injineernimada software, oo ay ku jiraan habaynta luqadda dabiiciga ah, falanqaynta qoraalka, iyo curinta koodka.

Isku-dhafka DSPy iyo LLMs

Isku dhafka DSPy iyo LLMs waxay awood u siineysaa abuurista kiisas tijaabo ah oo otomaatig ah oo fulin kara xaalado adag, la mid ah isdhexgalka isticmaalaha, iyo falanqaynta natiijooyinka imtixaanka. Isdhexgalkaani wuxuu bixiyaa faa'iidooyin dhowr ah, oo ay ku jiraan:

** Caymiska tijaabada oo la hagaajiyay ***: DSPy waxay dhalin kartaa kiisas tijaabo ah oo daboolaya xaalado badan oo kala duwan, hubinta in codsiga si fiican loo tijaabiyay.

  • ** Waxtarka oo kordhay ***: Tijaabada otomaatiga ah ee DSPy iyo LLMs waxay yaraynaysaa wakhtiga iyo dadaalka loo baahan yahay si loo fuliyo kiisaska imtixaanada, xoraynta horumariyayaashu inay diirada saaraan hawlaha kale.
  • ** isku halaynta la xoojiyey ***: DSPy waxay la socon kartaa natiijooyinka imtixaanka waxayna ka digtoonaan kartaa horumariyeyaasha wixii arrimo ama khalad ah, hubinta in codsigu yahay mid la isku halayn karo oo deggan.

** Koodhka Tusaalaha: Ku toosinta Kiisaska Imtixaanka DSPy iyo LLMs**

Waa kuwan tusaale kood ah oo muujinaya sida loogu isticmaalo DSPy LLM si loo toosiyo kiisaska tijaabada: `` Python soo dejinta dspy Transformers ka soo dejisa AutoModelForSeq2SeqLM, AutoTokenizer

model = AutoModelForSeq2SeqLM.from_pretrained("t5-saldhig") tokenizer = AutoTokenizer.from_pretrained("t5-base")

Samee kiis tijaabo ah oo DSPy ah

test_case = dspy.TestCase( name="Tijaabada Kiis 1", description="Tijaabi shaqeynta galitaanka", tallaabooyinka=[ dspy.Tallaabo("Fur bogga gelitaanka"), dspy.Tallaabo(" Geli waraaqo aqoonsi oo sax ah"), dspy.Tallaabo("guji badhanka soo gelida"), ] )

Ku rid kiiska tijaabada adoo isticmaalaya LLM

test_results = dspy.execute_test_case (kiis_tijaabo, model, tokenizer)

Falanqee natiijooyinka imtixaanka

test_results.analyze() `` Koodhkan koodka ah wuxuu muujinayaa sida loo abuuro kiis tijaabo ah oo DSPy ah, ku shub model LLM iyo calaamadeeyaha, fulinta kiiska tijaabada iyadoo la adeegsanayo LLM, oo la falanqeeyo natiijooyinka imtixaanka.

** 5-10ka ugu sarreeya amarada/Qodobka ugu Isticmaalka badan**

Waa kuwan 5-10ka amarrada ugu badan ee la isticmaalo ee DSPy iyo LLMs:

  1. dspy.TestCase(): Waxay abuurtaa kiis cusub oo DSPy ah.
  2. `dspy.Tallaabo()': Waxay ku daraa tallaabo cusub kiiska tijaabada DSPy.
  3. dspy.execute_test_case(): Wuxuu fuliya kiiska tijaabada DSPy isagoo isticmaalaya LLM.
  4. model = AutoModelForSeq2SeqLM.from_pretrained("t5-base"): Waxa uu rarayaa nooc LLM ah.
  5. tokenizer = AutoTokenizer.from_pretrained("t5-base"): Waxa uu raraa calaamadeeyaha LLM.
  6. `tijaabo
  7. dspy.monitor_test_results(): Wuxuu kormeeraa natiijada kiiska tijaabada DSPy.
  8. dspy.alert_developer(): Wuxuu u ogaysiiya horumariyaha wixii arrimo ama khalad ah.
  9. dspy.generate_test_cases(): Waxay abuurtaa kiisas cusub oo tijaabo ah iyadoo la isticmaalayo LLM.
  10. dspy.optimize_test_cases(): Waxay wanaajisaa fulinta kiisaska imtixaanka iyadoo la isticmaalayo LLM.

Muuqaalka

Waa kan muuqaalka DSPy iyo is dhexgalka LLM iyadoo la adeegsanayo Chart.js: json { "type": "bar", "xogta": { "labels": ["Kiiska Tijaabada 1", "Kiiska Tijaabada 2", "Kiiska Tijaabada 3"], "datasets": [ { "label": "Tijaabi Waqtiga Fulin Kiiska", "xogta": [10, 20, 30], "backgroundColor": "rgba(255, 99, 132, 0.2)", "BorderColor": "rgba(255, 99, 132, 1)", "BorderWidth": 1 }, { "label": "Tijaabi Heerka Fashilka Kiis", "xogta": [5, 10, 15], "backgroundColor": "rgba(54, 162, 235, 0.2)", "BorderColor": "rgba(54, 162, 235, 1)", "BorderWidth": 1 } ] }, "doorashooyinka": { "ciwaan": { "muujin": run, "text": "DSPy iyo LLM Integration" }, "Miisaanka": { "yAxes": [ { "ticks": { "beginAtZero": run } } ] } } } Aragtidaani waxay muujinaysaa wakhtiga fulinta iyo heerka guuldarada ee saddex kiis oo tijaabo ah oo la fuliyay iyadoo la adeegsanayo DSPy iyo LLM.

** Gabagabo**

Isku dhafka DSPy iyo LLMs waxay wax ka beddeshay muuqaalka tijaabada software, taasoo awood u siisay abuurista kiisas tijaabo ah oo otomaatig ah oo fulin kara xaalado adag, la mid ah isdhexgalka isticmaalaha, iyo falanqaynta natiijooyinka imtixaanka. Iyadoo la adeegsanayo awoodaha DSPy iyo LLMs, horumariyayaashu waxay hagaajin karaan habka tijaabada, kor u qaadida isku halaynta iyo hufnaanta, oo wanaajiya tayada guud ee codsiyadooda. Iyadoo tignoolajiyadani ay sii socoto inay horumarto, waxaan filan karnaa inaan aragno xitaa codsiyo cusub oo badan oo DSPy iyo LLMs ah oo ku jira injineernimada software.


Have Questions?

Let's Talk

Contact me on LinkedIn