Ko te whakauru i te RAG me nga LLM mo te Hanganga Rorohiko Hihiko: He Aratohu Mahi
Whakataki
I roto i nga tau tata nei, kua puta he huringa nui te wahanga o te hoahoanga rorohiko i te taenga mai o nga tikanga Tauira Reo Nui (LLM) me nga tikanga Retrieval-Augmented Generation (RAG). Ko te whakakotahitanga i waenga i enei hangarau e rua ka taea te whakarereke i te ahua o taatau hoahoa me te whakawhanake i nga punaha rorohiko. I roto i tenei tuhinga, ka tirotirohia e matou te whakauru o te RAG me nga LLM mo te hoahoanga rorohiko hihiri, tae atu ki nga rautaki whakatinana ma te whakamahi i nga taputapu orchestration rite LangChain me DSPy.
He aha te RAG?
Ko te RAG he tikanga e whakakotahi ana i nga kaha o nga tauira Retrieval-based and Generation-based ki te whakaputa i nga putanga kuputuhi kounga teitei. Ko te whakaaro taketake i muri i te RAG ko te whakamahi i te tauira tiki ki te kowhiri i nga tuhinga e tika ana, i nga waahanga ranei mai i te tinana nui, katahi ka whakamahi i te tauira whakatipuranga hei whakaputa tuhinga i runga i enei waahanga kua tangohia. Kua kitea e tenei huarahi nga whakapainga nui i roto i nga mahi penei i te whakautu patai, te whakarapopototanga tuhinga, me te korero korero AI.
He aha te LLM?
Ko nga LLM he momo tauira mohio hangai e whakangungua ana mo te maha o nga raraunga kuputuhi hei whakaputa i nga putanga reo rite te tangata. Ko enei tauira i te nuinga o te waa i runga i nga hoahoanga hurihuri, a, kua tutuki nga hua hou i roto i te maha o nga mahi tukatuka reo maori. He tino whai kiko nga LLM ka taea te whakamahi mo nga mahi penei i te whakamaoritanga reo, te whakarapopototanga kuputuhi, me te AI korero.
He aha te Whakakotahi i te RAG me nga LLM?
Ko te whakaurunga o RAG me nga LLM he maha nga painga mo te hoahoanga rorohiko hihiri:
- Whakapai ake i te Tika: Ka taea e te RAG te awhina i nga LLM ki te kowhiri i nga tuhinga e tika ana, i nga waahanga ranei mai i te roopu nui, e whai hua ana ki nga whakaputanga kuputuhi tika ake.
- Whakanuia te Kaihanga: Ka taea e te RAG te whakaheke i te kaute o runga ake o nga LLM ma te kowhiri i nga tuhinga e tika ana, i nga waahanga ranei, ka tere ake nga wa whakautu.
- Whakarei ake: Ka taea te whakamahi RAG ki te whakarereke i nga manakohanga me nga whakaritenga a nga kaiwhakamahi, ka taea e nga LLM te whakaputa i nga putanga tuhinga e tika ana, e whai kiko ana.
Rautaki Whakatinana
He maha nga rautaki whakatinana mo te whakauru RAG me nga LLM, tae atu ki:
- LangChain: Ko LangChain he puna puna tuwhera e whakarato ana i te API ngawari me te mohio mo te hanga tauira-RAG. E tautoko ana i te whānuitanga o nga LLM ka taea te whakamahi ki te whakatinana i nga hoahoanga RAG uaua.
- DSPy: Ko DSPy he whare pukapuka Python e whakarato ana i te huarahi ngawari me te whai hua ki te whakatinana i nga tauira a-RAG. E tautoko ana i te whānuitanga o nga LLM ka taea te whakamahi ki te whakatinana i nga hoahoanga RAG uaua.
Tauira Waehere
Anei he tauira waehere ngawari e whakaatu ana me pehea te whakamahi i te LangChain ki te whakauru i te RAG me nga LLM:
kawemai langchain
mai i langchain.chains kawemai RAGCain
mai i langchain.llms kawemai LLaMA
llama = LLaMA()
# Waihangahia he tauira RAGCain
rag_chain = RAGChain(llama, retrieval_model="t5-iti")
# Tautuhia he tere
prompt = "He aha te whakapaipai o Parani?"
# Hangaia te putanga kuputuhi
putanga = rag_chain.run(prompt)
tā(putanga)
Ko tenei tauira waehere e whakaatu ana me pehea te whakamahi i te LangChain ki te hanga i tetahi tauira RAGChain e whakauru ana i te tauira LLaMA me te tauira tiki. Ka whakamahia te tauira RAGCain ki te whakaputa i te putanga tuhinga i runga i te tere.
Tiki 5-10 Nga Tono Whakamahinga/Momohipi
Anei nga tono 5-10 e tino whakamahia ana mo te whakauru RAG me nga LLM:
.
2. llama.run(prompt): Ka whakaputa i te whakaputanga kuputuhi i runga i te tere ma te whakamahi i te tauira LLaMA.
3. rag_chain.run(prompt): Ka whakaputa tuhinga i runga i te tere ma te whakamahi i te tauira RAGCain.
4. langchain.chains.RAGCain(llama, retrieval_model="t5-small", max_length=1024): Ka waihanga i te tauira RAGCain e whakauru ana i te tauira LLaMA me te tauira tiki me te whakarite i te roanga o te roanga o te kuputuhi whakaputa.
5. llama.get_input(prompt): Whakahokia te kupu whakauru mo te tauira LLaMA.
6. rag_chain.get_output(prompt): Whakahokia te kupu whakaputa mo te tauira RAGCain.
7. langchain.chains.RAGCain(llama, retrieval_model="t5-small", batch_size=32): Waihangahia he tauira RAGChain e whakauru ana i te tauira LLaMA me te tauira tiki me te tautuhi i te rahi o te puranga.
8. llama.get_output(prompt): Whakahokia te kupu whakaputa mo te tauira LLaMA.
9. rag_chain.get_input(prompt): Whakahokia te kupu whakauru mo te tauira RAGCain.
10. langchain.chains.RAGCain(llama, retrieval_model="t5-small", device="cuda"): Hangaia he tauira RAGCain e whakauru ana i te tauira LLaMA me te tauira tango me te tautuhi i te taputapu ki CUDA.
Whakakitenga
Anei he tirohanga ngawari o te tauira RAGCain ma te whakamahi i te Chart.js:
{
"type": "pae",
"raraunga": {
"labels": ["LLaMA", "RAGChain"],
"raunga raraunga": [
{
"label": "Te tika",
"raraunga": [0.8, 0.9],
"Tae papamuri": ["#FF6384", "#36A2EB"]
}
]
},
"kōwhiringa": {
"taitara": {
"whakaatu": pono,
"text": "Te Tikanga Tauira RAGCain"
},
"tauine": {
"yAxes": [
{
"tika": {
"beginAtZero": pono
}
}
]
}
}
}
Ko tenei tirohanga e whakaatu ana i te tika o te tauira LLaMA me te tauira RAGChain.
Whakamutunga
Ko te whakaurunga o RAG me nga LLM he maha nga painga mo te hoahoanga rorohiko hihiri, tae atu ki te pai ake o te tika, te kaha ake, me te whakangawari ake. Ko LangChain me DSPy e rua nga taputapu whakahiato rongonui ka taea te whakamahi ki te whakatinana i nga tauira a-RAG. Ma te whai i nga rautaki whakatinana me nga tauira waehere e whakaratohia ana i roto i tenei tuhinga, ka taea e nga kaiwhakawhanake te hanga hanganga RAG matatini e whakauru ana i nga LLM me nga tauira tiki. Ko te 5-10 te nuinga o nga whakahau/snippets e whakamahia ana mo te whakauru i te RAG me nga LLM ka whakaratohia hoki hei tohutoro.