Ag aonachadh RAG le LLMn airson Ailtireachd Bathar-bog Dynamic: Stiùireadh Practaigeach

Ag aonachadh RAG le LLMn airson Ailtireachd Bathar-bog Dynamic: Stiùireadh Practaigeach

** Ro-ràdh**

Anns na beagan bhliadhnaichean a dh’ fhalbh, tha raon ailtireachd bathar-bog air a dhol tro atharrachadh mòr le teachd a-steach Modhan Cànain Mòr (LLMn) agus dòighean-obrach Ginealach Meudaichte Ath-ghairm (RAG). Tha comas aig a’ cho-obrachadh eadar an dà theicneòlas seo cruth-atharrachadh a thoirt air an dòigh sa bheil sinn a’ dealbhadh agus a’ leasachadh shiostaman bathar-bog. San artaigil seo, nì sinn sgrùdadh air amalachadh RAG le LLMn airson ailtireachd bathar-bog fiùghantach, a’ toirt a-steach ro-innleachdan buileachaidh a’ cleachdadh innealan orcastra mar LangChain agus DSPy.

Dè th' ann an RAG?

Is e dòigh-obrach a th’ ann an RAG a tha a’ cothlamadh neartan mhodalan stèidhichte air Retrieval agus Generation gus toraidhean teacsa àrd-inbhe a thoirt gu buil. Is e am beachd bunaiteach air cùl RAG modal ath-lorg a chleachdadh gus sgrìobhainnean no earrannan iomchaidh a thaghadh à corpas mòr, agus an uairsin modal ginealach a chleachdadh gus teacsa a ghineadh stèidhichte air na h-earrannan sin a chaidh fhaighinn air ais. Tha an dòigh-obrach seo air leasachaidhean mòra a nochdadh ann an gnìomhan leithid freagairt cheistean, geàrr-chunntas teacsa, agus AI còmhraidh.

Dè th’ ann an LLM?

Is e seòrsa de mhodail fiosrachaidh fuadain a th’ ann an LLMn a tha air an trèanadh air tòrr dàta teacsa gus toraidhean cànain coltach ri daoine a ghineadh. Mar as trice tha na modailean sin stèidhichte air ailtireachd cruth-atharrachaidh agus tha iad air toraidhean ùr-nodha a choileanadh ann an raon farsaing de ghnìomhan giollachd cànain nàdarra. Tha LLMn gu math sùbailte agus faodar an cleachdadh airson gnìomhan leithid eadar-theangachadh cànain, geàrr-chunntas teacsa, agus AI còmhraidh.

Carson a bhith ag amalachadh RAG le LLMn?

Tha amalachadh RAG le LLMn a’ tabhann grunn bhuannachdan airson ailtireachd bathar-bog fiùghantach:

1. Cruinneas nas Fheàrr: Faodaidh RAG LLMn a chuideachadh gus sgrìobhainnean no earrannan iomchaidh a thaghadh à corpas mòr, a’ leantainn gu toraidhean teacsa nas mionaidiche agus nas fiosrachail.
2. Meud Èifeachdas: Faodaidh RAG cosgaisean àireamhachaidh LLM a lùghdachadh le bhith a’ taghadh dìreach na sgrìobhainnean no na h-earrannan as iomchaidh, a’ leantainn gu amannan freagairt nas luaithe.
3. Sùbailteachd Meudaichte: Faodar RAG a chleachdadh gus gabhail ri atharrachadh roghainnean is riatanasan luchd-cleachdaidh, a’ leigeil le LLM toraidhean teacsa a ghineadh a tha nas iomchaidh agus nas tarraingiche.

Ro-innleachdan Cur an gnìomh

Tha grunn ro-innleachdan buileachaidh ann airson RAG a cho-fhilleadh le LLMn, nam measg:

1. LangChain: 'S e leabharlann le còd fosgailte a th' ann an LangChain a tha a' toirt seachad API sìmplidh agus intuitive airson modalan stèidhichte air RAG a thogail. Bidh e a’ toirt taic do raon farsaing de LLMn agus faodar a chleachdadh gus ailtireachd RAG iom-fhillte a chuir an gnìomh.
2. DSPy: 'S e leabharlann Python a th' ann an DSPy a tha a' tabhann dòigh shìmplidh is èifeachdach air modalan stèidhichte air RAG a chur an gnìomh. Bidh e a’ toirt taic do raon farsaing de LLMn agus faodar a chleachdadh gus ailtireachd RAG iom-fhillte a chuir an gnìomh.

** eisimpleir còd**

Seo eisimpleir còd sìmplidh a sheallas mar a chleachdas tu LangChain gus RAG fhilleadh a-steach le LLMn:

toirt a-steach langchain
bho langchain.chains import RAGChain
bho langchain.llms import LLaMA


lama = LLaMA()

# Cruthaich modal RAGChain
rag_chain = RAGChain(llama, retrieval_model="t5-small")

# Sònraich brosnachadh
prompt = "Dè prìomh-bhaile na Frainge?"

# Cruthaich toradh teacsa
toradh = rag_chain.run (prompt)

clò-bhualadh (toradh)

Tha an eisimpleir còd seo a’ sealltainn mar a chleachdas tu LangChain gus modal RAGChain a chruthachadh a bhios ag aonachadh modal LLaMA le modail trusaidh. Tha am modail RAGChain an uairsin air a chleachdadh gus toradh teacsa a ghineadh stèidhichte air sgiobalta.

** 5-10 Òrdughan/Biotag as motha a chleachdar**

Seo na 5-10 òrdughan / pìosan as motha a chleachdar airson RAG a thoirt a-steach le LLMs:

1. langchain.RAGChain(llama, retrieval_model="t5-small"): A' cruthachadh modail RAGChain a tha ag amalachadh modal LLaMA le modail trusaidh.
2. llama.run(prompt): A' cruthachadh toradh teacsa stèidhichte air sgiobalta a' cleachdadh modal LLaMA.
3. rag_chain.run(prompt): A 'cruthachadh toradh teacsa stèidhichte air sgiobalta a' cleachdadh modal RAGChain.
4. langchain.chains.RAGChain(llama, retrieval_model="t5-small", max_length=1024): A' cruthachadh modail RAGChain a tha ag amalachadh modal LLaMA le modail trusaidh agus a' suidheachadh an fhad as motha den teacsa toraidh.
5. llama.get_input(prompt): A' tilleadh an teacsa cuir a-steach airson a' mhodail LLaMA.
6. rag_chain.get_output(prompt): A' tilleadh an teacsa toraidh airson a' mhodail RAGChain.
7. langchain.chains.RAGChain(llama, retrieval_model="t5-small", batch_size=32): A' cruthachadh modail RAGChain a tha ag amalachadh modal LLaMA le modail trusaidh agus a' suidheachadh meud a' bhaidse.
8. llama.get_output(prompt): A' tilleadh an teacsa toraidh airson a' mhodail LLaMA.
9. rag_chain.get_input(prompt): Tillidh an teacsa cuir a-steach airson a’ mhodail RAGChain.
10. langchain.chains.RAGChain(llama, retrieval_model="t5-small", device="cuda"): A’ cruthachadh modal RAGChain a bhios ag aonachadh modal LLaMA le modail trusaidh agus a’ suidheachadh an inneal gu CUDA.

Sealladh

Seo sealladh sìmplidh den mhodal RAGChain a’ cleachdadh Chart.js:

{
  "type": "bàr",
  "dàta": {
    "labels": ["LLaMA", "RAGChain"],
    "stòr-dàta": [
      {
        "label": "Cruinneas",
        "dàta": [0.8, 0.9],
        "backgroundColor": ["#FF6384", "#36A2EB"]
      }
    ]
  },
  "roghainnean": {
    "tiotal": {
      "taisbeanadh": fìor,
      "text": "Cruinneas a' mhodail RAGChain"
    },
    "sgàilean": {
      "yAxes": [
        {
          "breacan": {
            "toiseach AtZero": fìor
          }
        }
      ]
    }
  }
}

Tha an sealladh seo a’ sealltainn cruinneas modail LLaMA agus modail RAGChain.

** Co-dhùnadh**

tha amalachadh RAG le LLMn a’ tabhann grunn bhuannachdan airson ailtireachd bathar-bog fiùghantach, a’ gabhail a-steach cruinneas nas fheàrr, barrachd èifeachdais, agus sùbailteachd nas fheàrr. Tha LangChain agus DSPy nan dà inneal orchestration mòr-chòrdte a dh'fhaodar a chleachdadh gus modalan stèidhichte air RAG a bhuileachadh. Le bhith a’ leantainn nan ro-innleachdan buileachaidh agus na h-eisimpleirean còd a tha air an toirt seachad san artaigil seo, faodaidh luchd-leasachaidh ailtirean iom-fhillte RAG a chruthachadh a bhios ag aonachadh LLMn le modalan trusaidh. Tha na 5-10 òrdughan / pìosan as motha a chleachdar airson RAG a cheangal ri LLMn cuideachd air an toirt seachad airson fiosrachadh.