Kuunganisha RAG na LLM kwa Usanifu wa Programu Inayobadilika: Mwongozo wa Vitendo

Kuunganisha RAG na LLM kwa Usanifu wa Programu Inayobadilika: Mwongozo wa Vitendo

Utangulizi

Katika miaka ya hivi karibuni, uwanja wa usanifu wa programu umepata mabadiliko makubwa na ujio wa Miundo Kubwa ya Lugha (LLMs) na mbinu za Urejeshaji-Augmented Generation (RAG). Ushirikiano kati ya teknolojia hizi mbili una uwezo wa kuleta mapinduzi katika jinsi tunavyobuni na kuendeleza mifumo ya programu. Katika makala haya, tutachunguza ujumuishaji wa RAG na LLMs kwa usanifu wa programu mahiri, ikijumuisha mikakati ya utekelezaji kwa kutumia zana za uimbaji kama vile LangChain na DSPy.

RAG ni nini?

RAG ni mbinu inayochanganya nguvu za miundo inayotegemea Urejeshaji na inayotegemea Kizazi ili kutoa matokeo ya maandishi ya ubora wa juu. Wazo la msingi la RAG ni kutumia modeli ya kurejesha ili kuchagua hati au vifungu vinavyofaa kutoka kwa kundi kubwa, na kisha kutumia modeli ya kizazi kuzalisha maandishi kulingana na vifungu hivi vilivyorejeshwa. Mbinu hii imeonyesha maboresho makubwa katika kazi kama vile kujibu maswali, muhtasari wa maandishi na AI ya mazungumzo.

LLM ni nini?

LLM ni aina ya modeli ya akili bandia ambayo imefunzwa kwa kiasi kikubwa cha data ya maandishi ili kutoa matokeo ya lugha kama ya binadamu. Miundo hii kwa kawaida inategemea usanifu wa transfoma na imepata matokeo ya hali ya juu katika anuwai ya kazi za usindikaji wa lugha asilia. LLM ni nyingi sana na zinaweza kutumika kwa kazi kama vile tafsiri ya lugha, muhtasari wa maandishi na AI ya mazungumzo.

Kwa nini Ujumuishe RAG na LLM?

Ujumuishaji wa RAG na LLMs hutoa faida kadhaa kwa usanifu wa programu yenye nguvu:

Usahihi Ulioboreshwa: RAG inaweza kusaidia LLM kuchagua hati au vifungu vinavyofaa kutoka kwa kundi kubwa, na hivyo kusababisha matokeo sahihi zaidi ya maandishi.
Kuongezeka kwa Ufanisi: RAG inaweza kupunguza ukokotoaji wa LLMs kwa kuchagua hati au vifungu vinavyofaa zaidi pekee, na hivyo kusababisha nyakati za majibu haraka.
Unyumbufu Ulioimarishwa: RAG inaweza kutumika kukabiliana na mabadiliko ya mapendeleo na mahitaji ya mtumiaji, kuruhusu LLM kutoa matokeo ya maandishi ambayo yanafaa zaidi na ya kuvutia.

Mikakati ya Utekelezaji

Kuna mikakati kadhaa ya utekelezaji ya kuunganisha RAG na LLM, ikijumuisha:

LangChain: LangChain ni maktaba ya programu huria ambayo hutoa API rahisi na angavu ya kujenga miundo inayotegemea RAG. Inaauni anuwai ya LLM na inaweza kutumika kutekeleza usanifu tata wa RAG.
DSPy: DSPy ni maktaba ya Python ambayo hutoa njia rahisi na bora ya kutekeleza miundo inayotegemea RAG. Inaauni anuwai ya LLM na inaweza kutumika kutekeleza usanifu tata wa RAG.

Mfano wa Kanuni

Hapa kuna mfano rahisi wa nambari inayoonyesha jinsi ya kutumia LangChain kujumuisha RAG na LLMs:

kuagiza langchain
kutoka langchain.chains kuagiza RAGChain
kutoka langchain.llms agiza LLaMA


llama = LLaMA()

# Unda mfano wa RAGChain
rag_chain = RAGChain(llama, retrieval_model="t5-small")

# Bainisha kidokezo
haraka = "Mji mkuu wa Ufaransa ni nini?"

# Tengeneza pato la maandishi
pato = rag_chain.run(prompt)

chapa (matokeo)

Mfano huu wa msimbo unaonyesha jinsi ya kutumia LangChain kuunda muundo wa RAGChain unaounganisha muundo wa LLaMA na muundo wa kurejesha. Mtindo wa RAGChain kisha hutumika kutoa pato la maandishi kulingana na haraka.

Amri/Vijisehemu 5-10 Bora Zaidi

Hapa kuna amri/vijisehemu 5-10 vya juu vinavyotumiwa zaidi kwa kuunganisha RAG na LLM:

langchain.RAGChain(llama, retrieval_model="t5-small"): Inaunda muundo wa RAGChain unaounganisha muundo wa LLaMA na modeli ya kurejesha tena.
llama.run(prompt): Hutoa utoaji wa maandishi kulingana na kidokezo kwa kutumia muundo wa LLaMA.
rag_chain.run(prompt): Hutoa utoaji wa maandishi kulingana na kidokezo kwa kutumia muundo wa RAGChain.
langchain.chains.RAGChain(llama, retrieval_model="t5-small", max_length=1024): Huunda muundo wa RAGChain unaounganisha muundo wa LLaMA na muundo wa kurejesha na kuweka urefu wa juu zaidi wa maandishi ya kutoa.
llama.get_input(prompt): Hurejesha maandishi ya ingizo kwa muundo wa LLaMA.
rag_chain.get_output(prompt): Hurejesha maandishi ya kutoa kwa muundo wa RAGChain.
langchain.chains.RAGChain(llama, retrieval_model="t5-small", batch_size=32): Inaunda muundo wa RAGChain unaounganisha muundo wa LLaMA na modeli ya kurejesha na kuweka ukubwa wa kundi.
llama.get_output(prompt): Hurejesha maandishi ya kutoa kwa muundo wa LLaMA.
rag_chain.get_input(prompt): Hurejesha maandishi ya ingizo kwa muundo wa RAGChain.
langchain.chains.RAGChain(llama, retrieval_model="t5-small", device="cuda"): Inaunda muundo wa RAGChain unaounganisha muundo wa LLaMA na modeli ya kurejesha na kuweka kifaa kwa CUDA.

Taswira

Hapa kuna taswira rahisi ya modeli ya RAGChain kwa kutumia Chart.js:

{
  "type": "bar",
  "data": {
    "labels": ["LLaMA", "RAGChain"],
    "seti za data": [
      {
        "label": "Usahihi",
        "data": [0.8, 0.9],
        "backgroundColor": ["#FF6384", "#36A2EB"]
      }
    ]
  },
  "chaguo": {
    "kichwa": {
      "onyesha": kweli,
      "text": "Usahihi wa Mfano wa RAGChain"
    },
    "mizani": {
      "yAxes": [
        {
          "tiki": {
            "beginAtZero": kweli
          }
        }
      ]
    }
  }
}

Taswira hii inaonyesha usahihi wa mfano wa LLaMA na mfano wa RAGChain.

Hitimisho

ujumuishaji wa RAG na LLMs hutoa manufaa kadhaa kwa usanifu wa programu mahiri, ikijumuisha usahihi ulioboreshwa, ufanisi ulioongezeka, na unyumbufu ulioimarishwa. LangChain na DSPy ni zana mbili maarufu za okestration ambazo zinaweza kutumika kutekeleza miundo inayotegemea RAG. Kwa kufuata mikakati ya utekelezaji na mifano ya msimbo iliyotolewa katika makala haya, wasanidi programu wanaweza kuunda usanifu changamano wa RAG unaounganisha LLM na miundo ya kurejesha tena. Amri/vijisehemu vya juu 5-10 vinavyotumiwa zaidi kwa kuunganisha RAG na LLM pia hutolewa kwa marejeleo.

Kuunganisha RAG na LLM kwa Usanifu wa Programu Inayobadilika: Mwongozo wa Vitendo

Have Questions?