Hoʻohui i ka RAG me nā LLM no ka hoʻonui ʻia ʻana o nā polokalamu hoʻomohala polokalamu

**Hoʻohui i ka RAG me nā LLM no nā Kaʻina Hana Hana Hoʻomohala Hoʻonui **

Hoʻolauna

Ke ulu wikiwiki nei ka ʻāina hoʻomohala polokalamu, alakaʻi ʻia e nā holomua o ka naʻauao artificial (AI), ke aʻo ʻana i ka mīkini (ML), a me ka hana ʻōlelo kūlohelohe (NLP). ʻElua mau ʻenehana koʻikoʻi e hoʻololi nei i ke ʻano o kā mākou kūkulu ʻana i nā polokalamu ʻo Retrieval-Augmented Generation (RAG) a me Large Language Models (LLMs). Ma kēia ʻatikala, e ʻimi mākou i ka hoʻohui ʻana o RAG me LLM e hoʻopololei i nā kaʻina hana ʻenehana polokalamu, hoʻomaikaʻi i ka hana code, a hoʻomaikaʻi i ka huahana mea hoʻomohala.

He aha ka Retrieval-Augmented Generation (RAG)?

ʻO RAG kahi ʻenehana e hoʻohui i nā ikaika o ka hoʻihoʻi hou ʻana a me ka hoʻokumu ʻana o ka hanauna i ka NLP. Hoʻopili ia i ka lawe ʻana i ka ʻike pili mai kahi hui nui o ka kikokikona a me ka hoʻohana ʻana iā ia e hoʻonui i ka hana o nā kikokikona hou. Ua hōʻike ʻia kēia ala i ka maikaʻi loa i nā hana NLP like ʻole, me ka pane ʻana i ka nīnau, ka hōʻuluʻulu kikokikona, a me ka hana code.

He aha ka Large Language Models (LLMs)?

ʻO nā LLM kahi ʻano pūnaewele neural i hoʻolālā ʻia e hana a hoʻopuka i ka ʻōlelo e like me ke kanaka. Hoʻomaʻamaʻa maʻamau ʻia lākou ma nā ʻikepili nui o ka kikokikona a hiki ke hoʻoponopono maikaʻi ʻia no nā hana kikoʻī e like me ka unuhi ʻōlelo, ka hōʻuluʻulu kikokikona, a me ka hana code. Ua loaʻa i nā LLM nā hopena hou loa i nā hana NLP he nui a hoʻohana nui ʻia i nā noi e like me chatbots, nā mea kōkua virtual, a me nā ʻōnaehana unuhi ʻōlelo.

**Hoʻohui i ka RAG me nā LLM no nā Kaʻina Hana Hana Hoʻomohala Hoʻonui **

Nā Mea Hana Hana: LangChain a me DSPy

No ka hoʻohui ʻana i ka RAG me nā LLM, pono mākou i nā mea hana orchestration e hiki ke hoʻokele i ke kahe o ka ʻikepili a mālama i ka hoʻokō ʻana i nā ʻāpana RAG a me LLM. ʻElua mau mea hana hoʻokani kaulana i hiki ke hoʻohana ʻia no kēia kumu ʻo LangChain a me DSPy.

LangChain

ʻO LangChain kahi waihona Python open-source e hāʻawi ana i kahi API maʻalahi a intuitive no ke kūkulu ʻana i nā noi RAG. Hāʻawi ia i nā mea hoʻomohala e hoʻohui maʻalahi iā RAG me nā LLM a me nā ʻāpana NLP ʻē aʻe e hana i nā kahe hana hoʻomohala polokalamu.

DSPy

ʻO DSPy kekahi hale waihona puke Python e hāʻawi ana i kahi API kiʻekiʻe no ke kūkulu ʻana i nā noi RAG. Hoʻolālā ʻia e hana maʻalahi me nā LLM a me nā ʻāpana NLP ʻē aʻe, e lilo ia i koho kūpono no ka hoʻohui ʻana i ka RAG me nā LLM.

Ka Laʻana Code: Hoʻohui i ka RAG me LLM me ka hoʻohana ʻana iā LangChain

Eia kahi laʻana code maʻalahi e hōʻike ana pehea e hoʻohui ai i ka RAG me LLM me ka hoʻohana ʻana iā LangChain:

lawe mai i ka lanchain
mai langchain.chains hoʻokomo iā RAGCain


rag_model = langchain.RAG(
    index=langchain.Index(
        inoa = "my_index",
        palapala=["document1", "document2", "document3"],
    ),
    retriever=langchain.Retriever(
        inoa = "my_retriever",
        model="my_retriever_model",
    ),
    generator=langchain.Generator(
        inoa = "my_generator",
        model="my_generator_model",
    ),
)

# E wehewehe i ke kumu hoʻohālike LLM
llm_model = langchain.LLM(
    inoa = "my_llm",
    model="my_llm_model",
)

# Hana i kahi kaulahao RAG
kaulahao_ lole = RAGCain(
    inoa = "my_rag_chain",
    model=rag_model,
    llm=llm_model,
)

# E hoʻohana i ke kaulahao RAG e hana i ke code
code = rag_chain.generate(
    input_text="Kākau i kahi hana e lawe i ʻelua integer i mea hoʻokomo a hoʻihoʻi i kā lākou huina",
)

paʻi (code)

Hōʻike kēia hiʻohiʻona code i ka wehewehe ʻana i kahi hiʻohiʻona RAG me ka hoʻohana ʻana i ka LangChain, wehewehe i kahi hiʻohiʻona LLM, hana i kahi kaulahao RAG, a hoʻohana i ke kaulahao e hana i ke code.

** 5-10 kiʻekiʻe loa i hoʻohana ʻia i nā kauoha/nā ʻāpana**

Eia ka 5-10 kiʻekiʻe loa i hoʻohana ʻia nā kauoha/snippets no ka hoʻohui ʻana i ka RAG me LLM me ka hoʻohana ʻana iā LangChain a me DSPy:

langchain.RAG(): Hana i kahi la'ana ho'ohālike RAG.
langchain.Index(): Hoʻokumu i kahi laʻana kuhikuhi no ka mālama ʻana a me ka lawe ʻana i nā palapala.
langchain.Retriever(): Hana i kahi la'ana ho'iho'i no ka lawe 'ana i nā palapala pili.
langchain.Generator(): Hoʻokumu i kahi mea hoʻoheheʻe no ka hana ʻana i nā kikokikona hou.
langchain.LLM(): Hana i kahi la'ana LLM.
RAGCain(): Hana i kahi laʻana kaulahao RAG.
rag_chain.generate(): Hoʻohana i ke kaulahao RAG e hana i ke code.
llm_model.generate(): Hoʻohana i ke kumu hoʻohālike LLM no ka hana ʻana i ke code.
index.add_document(): Hoʻohui i kahi palapala i ka papa kuhikuhi.
retriever.retrieve(): Kiʻi i nā palapala pili me ka hoʻohana ʻana i ka retriever.

Hōʻikeʻike

Eia kahi hiʻohiʻona o nā ʻāpana RAG a me LLM me ka hoʻohana ʻana iā Chart.js:

{
  "type": "pā",
  "ʻikepili": {
    "labels": ["RAG", "LLM"],
    "mau ʻikepili": [
      {
        "label": "Nā mea",
        "ʻikepili": [10, 20],
        "ʻulaʻula": ["#4CAF50", "#FF9800"]
      }
    ]
  },
  "koho": {
    "poʻo inoa": {
      "hōʻike": ʻoiaʻiʻo,
      "text": "Nā ʻāpana RAG a me LLM"
    },
    "nā unahi": {
      "yAxes": [
        {
          "hōʻike": ʻoiaʻiʻo,
          "beginAtZero": ʻoiaʻiʻo
        }
      ]
    }
  }
}

Hōʻike kēia hiʻohiʻona i ka helu o nā mea i loko o nā hiʻohiʻona RAG a me LLM.

Hoʻoholo

Hiki i ka hoʻohui ʻana o RAG me LLM ke hoʻololi i ke ʻano o kā mākou kūkulu ʻana i nā polokalamu. Ma ka hoʻohui ʻana i nā ikaika o ka hoʻihoʻi hou ʻana a me ka hoʻokumu ʻana i ka hanauna, hiki i ka RAG ke kōkua i nā LLM e hoʻohua i nā code kūpono a kūpono hoʻi. Hiki i kēia ke alakaʻi i nā hoʻomaikaʻi koʻikoʻi i ka hoʻomohala ʻana i ka mea hoʻomohala, ka maikaʻi o ke code, a me ka holoʻokoʻa hoʻomohala polokalamu holoʻokoʻa. Me nā mea hana orchestration e like me LangChain a me DSPy, hiki i nā mea hoʻomohala ke hoʻohui maʻalahi i ka RAG me nā LLM a me nā mea NLP ʻē aʻe e hana i nā kahe hana hoʻomohala polokalamu.

Hoʻohui i ka RAG me nā LLM no ka hoʻonui ʻia ʻana o nā polokalamu hoʻomohala polokalamu

Have Questions?