Luchdaich sìos am modal LLM agus tokenizer

**Ag aonachadh DSPy le LLMn airson deuchainn bathar-bog fèin-ghluasadach: Paradigm Ùr ann an Dearbhadh Càileachd **

** Ro-ràdh**

Tha amalachadh Modalan Cànain Mòr (LLMn) agus Prògramadh Bathar-bog domhainn (DSPy) air cruth-tìre deuchainn bathar-bog ath-nuadhachadh. Le bhith a’ cleachdadh comasan LLMn agus DSPy, faodaidh luchd-leasachaidh am pròiseas dearbhaidh a dhèanamh fèin-ghluasadach, ag àrdachadh earbsachd agus èifeachdas ann an innleadaireachd bathar-bog. San artaigil seo, nì sinn sgrùdadh air mar as urrainn do DSPy am pròiseas deuchainn a sgioblachadh airson tagraidhean a chaidh a thogail air LLMn, agus beachdaichidh sinn air na buannachdan agus na dùbhlain a tha an cois a’ pharamaid seo a tha a’ tighinn am bàrr.

Dè th’ ann an DSPy?

Is e leabharlann Python a th’ ann an DSPy a bheir seachad seata innealan airson fèin-ghluasad a dhèanamh air deuchainn bathar-bog. Leigidh e le luchd-leasachaidh cùisean deuchainn a chruthachadh agus a chuir an gnìomh, sùil a chumail air toraidhean deuchainn, agus mion-sgrùdadh a dhèanamh air dàta deuchainn. Tha DSPy air a dhealbhadh gus obrachadh gu sgiobalta le LLMn, a’ comasachadh frèaman fèin-ghluasaid deuchainn sòlaimte a chruthachadh.

Dè th’ ann an LLMs?

Is e seòrsa de mhodail inntleachd fuadain (AI) a th’ ann an LLMn as urrainn cànan coltach ri duine a phròiseasadh agus a ghineadh. Tha iad air an trèanadh air tòrr mòr dàta teacsa agus faodaidh iad ionnsachadh pàtrain, dàimhean agus co-theacsa aithneachadh. Tha grunn thagraidhean aig LLMn ann an innleadaireachd bathar-bog, a’ gabhail a-steach giullachd cànain nàdarra, mion-sgrùdadh teacsa, agus gineadh còd.

Ag aonachadh DSPy le LLMn

Tha amalachadh DSPy le LLMn a’ comasachadh cùisean deuchainn fèin-ghluasadach a chruthachadh as urrainn suidheachaidhean iom-fhillte a chuir an gnìomh, atharrais air eadar-obrachaidhean luchd-cleachdaidh, agus toraidhean deuchainn a sgrùdadh. Tha an amalachadh seo a’ tabhann grunn bhuannachdan, nam measg:

** Còmhdach deuchainn nas fheàrr **: Faodaidh DSPy cùisean deuchainn a ghineadh a tha a ’còmhdach raon farsaing de shuidheachaidhean, a’ dèanamh cinnteach gu bheil an tagradh air a dhearbhadh gu mionaideach.
** Meudachadh air èifeachdas **: Bidh deuchainnean fèin-ghluasadach le DSPy agus LLMn a’ lughdachadh na h-ùine agus an oidhirp a dh’ fheumar gus cùisean deuchainn a chuir an gnìomh, a ’saoradh luchd-leasachaidh gus fòcas a chuir air gnìomhan eile.
** Earbsachd nas fheàrr **: Faodaidh DSPy sùil a chumail air toraidhean deuchainn agus rabhadh a thoirt do luchd-leasachaidh mu chùisean no mearachdan sam bith, a’ dèanamh cinnteach gu bheil an tagradh earbsach agus seasmhach.

Còd Eisimpleir: Ag fèin-ghluasad chùisean deuchainn le DSPy agus LLMn

Seo eisimpleir de bhloc còd a sheallas mar a chleachdas tu DSPy le LLM gus cùisean deuchainn a dhèanamh fèin-ghluasadach:

toirt a-steach dspy
bho chruth-atharrachaidh a-steach AutoModelForSeq2SeqLM, AutoTokenizer


model = AutoModelForSeq2SeqLM.from_pretrained ("t5-base")
tokenizer = AutoTokenizer.from_pretrained ("t5-base")

# Cruthaich cùis deuchainn DSPy
test_case = dspy.TestCase(
    name="Cùis Deuchainn 1",
    description="Deuch an comas logaidh a-steach",
    ceumannan=[
        dspy.Step ("Fosgail an duilleag logaidh a-steach"),
        dspy.Step ("Cuir a-steach teisteanasan dligheach"),
        dspy.Step ("Briog air a' phutan logadh a-steach"),
    ]
)

# Cuir an gnìomh a’ chùis deuchainn a ’cleachdadh an LLM
test_results = dspy.execute_test_case(test_case, modail, tokenizer)

# Dèan mion-sgrùdadh air toraidhean an deuchainn
deuchainn_toraidhean.analyze()

Tha am bloc còd seo a’ sealltainn mar a chruthaicheas tu cùis deuchainn DSPy, luchdaich modal LLM agus tokenizer, cuir an gnìomh a ’chùis deuchainn a’ cleachdadh an LLM, agus dèan mion-sgrùdadh air toraidhean an deuchainn.

** 5-10 Òrdughan/Biotag as motha a chleachdar**

Seo na 5-10 òrdughan / pìosan as motha a chleachdar airson DSPy agus LLMs:

dspy.TestCase(): A' cruthachadh cùis deuchainn DSPy ùr.
dspy.Step(): A' cur ceum ùr ri cùis deuchainn DSPy.
dspy.execute_test_case(): A' cur an gnìomh cùis deuchainn DSPy a' cleachdadh LLM.
model = AutoModelForSeq2SeqLM.from_pretrained ("t5-base"): A' luchdachadh modal LLM.
tokenizer = AutoTokenizer.from_pretrained ("t5-base"): A' luchdachadh tokenizer LLM.
test_results.analyze(): A' dèanamh anailis air toraidhean cùis deuchainn DSPy.
dspy.monitor_test_results(): A' cumail sùil air toraidhean cùis deuchainn DSPy.
dspy.alert_developer(): A' toirt rabhadh do leasaiche mu chùisean no mhearachdan sam bith.
dspy.generate_test_cases(): A' cruthachadh chùisean deuchainn ùra a' cleachdadh LLM.
dspy.optimize_test_cases(): A’ dèanamh an fheum as fheàrr de chùisean deuchainn a’ cleachdadh LLM.

Sealladh

Seo dealbh de amalachadh DSPy agus LLM a’ cleachdadh Chart.js:

{
  "type": "bàr",
  "dàta": {
    "labels": ["Deuchainn Cùis 1", "Deuchainn Cùis 2", "Deuchainn Cùis 3"],
    "stòr-dàta": [
      {
        "label": "Ùine cur an gnìomh cùis deuchainn",
        "dàta": [10, 20, 30],
        "backgroundColor": "rgba(255, 99, 132, 0.2)",
        "borderColor": "rgba(255, 99, 132, 1)",
        "Leud na crìche": 1
      },
      {
        "label": "Ìre fàilligeadh cùise deuchainn",
        "dàta": [5, 10, 15],
        "backgroundColor": "rgba(54, 162, 235, 0.2)",
        "borderColor": "rgba(54, 162, 235, 1)",
        "Leud na crìche": 1
      }
    ]
  },
  "roghainnean": {
    "tiotal": {
      "taisbeanadh": fìor,
      "text": "Amalachadh DSPy agus LLM"
    },
    "sgàilean": {
      "yAxes": [
        {
          "breacan": {
            "toiseach AtZero": fìor
          }
        }
      ]
    }
  }
}

Tha an dealbh seo a’ sealltainn an ùine cur gu bàs agus an ìre fàiligeadh ann an trì cùisean deuchainn a chaidh a chur gu bàs a’ cleachdadh DSPy agus LLM.

** Co-dhùnadh**

Tha amalachadh DSPy le LLMn air cruth-tìre deuchainn bathar-bog ath-nuadhachadh, a’ comasachadh cùisean deuchainn fèin-ghluasadach a chruthachadh as urrainn suidheachaidhean iom-fhillte a chuir an gnìomh, atharrais air eadar-obrachaidhean luchd-cleachdaidh, agus mion-sgrùdadh a dhèanamh air toraidhean deuchainn. Le bhith a’ cleachdadh comasan DSPy agus LLMn, faodaidh luchd-leasachaidh am pròiseas deuchainn a sgioblachadh, earbsachd agus èifeachdas àrdachadh, agus càileachd iomlan nan tagraidhean aca adhartachadh. Mar a tha an teicneòlas seo a’ leantainn air adhart a’ tighinn air adhart, faodaidh sinn a bhith an dùil gum faic sinn eadhon barrachd thagraidhean ùr-ghnàthach de DSPy agus LLMn ann an innleadaireachd bathar-bog.

Luchdaich sìos am modal LLM agus tokenizer

Have Questions?