E hoʻouka i ke kumu hoʻohālike LLM a me ka tokenizer

**Hoʻohui i ka DSPy me nā LLM no ka hoʻāʻo ʻana i nā lako polokalamu: He Paradigm Hou i ka hōʻoia maikaʻi **

Hoʻolauna

Ua hoʻololi ka hoʻohui ʻana o Large Language Models (LLMs) a me Deep Software Programming (DSPy) i ka ʻāina hoʻāʻo polokalamu. Ma ka hoʻohana ʻana i nā mana o LLMs a me DSPy, hiki i nā mea hoʻomohala ke hoʻomaʻamaʻa i ke kaʻina hoʻāʻo, hoʻonui i ka hilinaʻi a me ka pono i ka ʻenehana polokalamu. Ma kēia ʻatikala, e ʻimi mākou pehea e hiki ai iā DSPy ke hoʻopololei i ke kaʻina hana hoʻāʻo no nā noi i kūkulu ʻia ma LLM, a kūkākūkā i nā pono a me nā pilikia o kēia paradigm e kū nei.

He aha ka DSPy?

ʻO DSPy kahi waihona Python e hāʻawi ana i kahi hoʻonohonoho o nā mea hana no ka hoʻomaʻamaʻa ʻana i nā polokalamu hoʻāʻo. Hāʻawi ia i nā mea hoʻomohala e hana a hoʻokō i nā hihia hoʻāʻo, nānā i nā hopena hōʻike, a nānā i ka ʻikepili hōʻike. Hoʻolālā ʻia ʻo DSPy e hana maʻalahi me nā LLM, e hiki ai ke hana i nā ʻōnaehana hoʻāʻo hoʻāʻo maʻalahi.

He aha nā LLM?

ʻO nā LLM kahi ʻano hoʻohālike hana akamai (AI) hiki ke hana a hoʻopuka i ka ʻōlelo e like me ke kanaka. Hoʻomaʻamaʻa ʻia lākou ma ka nui o ka ʻikepili kikokikona a hiki iā lākou ke aʻo e ʻike i nā mamana, nā pilina, a me ka pōʻaiapili. Loaʻa i nā LLM nā noi he nui i ka ʻenekinia polokalamu, me ka hoʻoponopono ʻōlelo kūlohelohe, ka nānā ʻana i nā kikokikona, a me ka hana code.

Hoʻohui DSPy me LLMs

ʻO ka hoʻohui ʻana o DSPy me LLM e hiki ai ke hana i nā hihia hoʻāʻo automated e hiki ke hoʻokō i nā hiʻohiʻona paʻakikī, hoʻohālikelike i nā pilina mea hoʻohana, a me ka nānā ʻana i nā hopena hōʻike. Hāʻawi kēia hoʻohui i nā pono he nui, e like me:

Hoʻonui i ka uhi hoʻāʻo: Hiki iā DSPy ke hoʻopuka i nā hihia hoʻāʻo e uhi ana i nā ʻano hiʻohiʻona ākea, me ka hōʻoia ʻana e hoʻāʻo pono ʻia ka noi.
Hoʻonui i ka pono: ʻO ka hoʻāʻo ʻokoʻa me DSPy a me LLM e hōʻemi i ka manawa a me ka hoʻoikaika ʻana e pono ai e hoʻokō i nā hihia hoʻāʻo, e hoʻokuʻu ana i nā mea hoʻomohala e kālele i nā hana ʻē aʻe.
Hoʻonui i ka hilinaʻi: Hiki iā DSPy ke nānā i nā hopena hoʻāʻo a hoʻomaopopo i nā mea hoʻomohala i nā pilikia a i ʻole nā hewa, e hōʻoia i ka hilinaʻi a paʻa ka noi.

Code Laʻana: Hoʻokaʻawale i nā hihia hoʻāʻo me DSPy a me LLM

Eia kekahi laʻana code block e hōʻike ana pehea e hoʻohana ai iā DSPy me kahi LLM e hoʻokaʻawale i nā hihia hoʻāʻo:

lawe mai i ka dspy
mai nā mea hoʻololi e hoʻokomo iā AutoModelForSeq2SeqLM, AutoTokenizer


kumu hoʻohālike = AutoModelForSeq2SeqLM.from_pretrained("t5-base")
tokenizer = AutoTokenizer.from_pretrained("t5-base")

# Hana i kahi hihia hoʻāʻo DSPy
pahu ho'ā'o = dspy.TestCase(
    inoa = "Mahi Ho'āʻo 1",
    description="E ho'āʻo i ka hana komo",
    kapuaʻi=[
        dspy.Step ("Wehe i ka ʻaoʻao inoa inoa"),
        dspy.Step("E hoʻokomo i nā hōʻoia kūpono"),
        dspy.Step("Kaomi i ke pihi komo"),
    ]
)

# Hoʻokō i ka hihia hoʻāʻo me ka LLM
hōʻike_hopena = dspy.execute_test_case(hoʻāʻo_hihia, kumu hoʻohālike, tokenizer)

# Nānā i nā hopena hōʻike
test_results.analyze()

Hōʻike kēia poloka code i ka hana ʻana i kahi hihia hoʻāʻo DSPy, hoʻouka i kahi kumu hoʻohālike LLM a me tokenizer, hoʻokō i ka hihia hoʻāʻo me ka LLM, a nānā i nā hopena hōʻike.

** 5-10 kiʻekiʻe loa i hoʻohana ʻia i nā kauoha/nā ʻāpana**

Eia ka 5-10 kiʻekiʻe loa i hoʻohana ʻia nā kauoha/snippets no DSPy a me LLMs:

dspy.TestCase(): Hana i kahi hihia ho'āʻo DSPy hou.
dspy.Step(): Hoʻohui i kahi ʻanuʻu hou i kahi hihia hoʻāʻo DSPy.
dspy.execute_test_case(): Hana i ka hihia ho'āʻo DSPy me ka LLM.
Kōkohu = AutoModelForSeq2SeqLM.from_pretrained("t5-base"): Hoʻouka i kahi kumu hoʻohālike LLM.
tokenizer = AutoTokenizer.from_pretrained("t5-base"): Hoʻouka i ka LLM tokenizer.
test_results.analyze(): Nānā i nā hopena o kahi hihia ho'āʻo DSPy.
dspy.monitor_test_results(): Nānā i nā hopena o kahi hihia ho'āʻo DSPy.
dspy.alert_developer(): Hoʻolaha i ka mea hoʻomohala i nā pilikia a i ʻole nā hewa.
dspy.generate_test_cases(): Hana i nā hihia ho'āʻo hou me ka LLM.
dspy.optimize_test_cases(): Hoʻoikaika i ka hoʻokō ʻana i nā hihia hoʻāʻo me ka LLM.

Hōʻikeʻike

Eia kahi hiʻohiʻona o ka hoʻohui DSPy a me LLM me ka hoʻohana ʻana iā Chart.js:

{
  "type": "pā",
  "ʻikepili": {
    "labels": ["Hoʻāʻo 1", "Hoʻāʻo 2", "Hoʻāʻo 3"],
    "mau ʻikepili": [
      {
        "label": "Manawa Hoʻokō hihia hoʻāʻo",
        "ʻikepili": [10, 20, 30],
        "backgroundColor": "rgba(255, 99, 132, 0.2)",
        "borderColor": "rgba(255, 99, 132, 1)",
        "BorderWidth": 1
      },
      {
        "label": "Ka helu o ka hihia ho'āʻo",
        "ʻikepili": [5, 10, 15],
        "backgroundColor": "rgba(54, 162, 235, 0.2)",
        "borderColor": "rgba(54, 162, 235, 1)",
        "BorderWidth": 1
      }
    ]
  },
  "koho": {
    "poʻo inoa": {
      "hōʻike": ʻoiaʻiʻo,
      "text": "Hoʻohui DSPy a me LLM"
    },
    "nā unahi": {
      "yAxes": [
        {
          "kuʻi": {
            "beginAtZero": ʻoiaʻiʻo
          }
        }
      ]
    }
  }
}

Hōʻike kēia hiʻohiʻona i ka manawa hoʻokō a me ka helu hāʻule o ʻekolu mau hihia hoʻāʻo i hoʻohana ʻia me DSPy a me kahi LLM.

Hoʻoholo

ʻO ka hoʻohui ʻana o DSPy me LLM ua hoʻololi i ka ʻāina hoʻāʻo polokalamu, hiki ke hana i nā hihia hoʻāʻo automated e hiki ke hoʻokō i nā hiʻohiʻona paʻakikī, hoʻohālikelike i ka pilina o nā mea hoʻohana, a me ka nānā ʻana i nā hopena hōʻike. Ma o ka hoʻohana ʻana i nā mana o DSPy a me LLM, hiki i nā mea hoʻomohala ke hoʻololi i ke kaʻina hana hoʻāʻo, hoʻonui i ka hilinaʻi a me ka pono, a hoʻomaikaʻi i ka maikaʻi holoʻokoʻa o kā lākou mau noi. Ke hoʻomau nei kēia ʻenehana i ka ulu ʻana, hiki iā mākou ke manaʻo e ʻike i nā noi hou aʻe o DSPy a me LLM i ka ʻenehana polokalamu.

E hoʻouka i ke kumu hoʻohālike LLM a me ka tokenizer

Have Questions?