ھەرىكەتچان يۇمشاق دېتال قۇرۇلمىسى ئۈچۈن RAG نى LLM بىلەن بىرلەشتۈرۈش: ئەمەلىي قوللانما

تونۇشتۇرۇش

يېقىنقى يىللاردىن بۇيان ، يۇمشاق دېتال بىناكارلىق ساھەسىدە چوڭ تىل مودېللىرى (LLMs) ۋە Retrieval-Augmented Generation (RAG) تېخنىكىسىنىڭ بارلىققا كېلىشى بىلەن كۆرۈنەرلىك ئۆزگىرىش بولدى. بۇ ئىككى تېخنىكىنىڭ ئۆز-ئارا ماسلىشىشى يۇمشاق دېتال سىستېمىسىنى لايىھىلەش ۋە تەرەققىي قىلدۇرۇش ئۇسۇلىمىزدا ئىنقىلاب ئېلىپ بارالايدۇ. بۇ ماقالىدە ھەرىكەتچان يۇمشاق دېتال قۇرۇلمىسى ئۈچۈن RAG بىلەن LLM نىڭ بىرىكىشى ئۈستىدە ئىزدىنىمىز ، بۇلار LangChain ۋە DSPy غا ئوخشاش ئوركېستىرلاش قوراللىرىنى ئىشلىتىپ يولغا قويۇش ئىستراتېگىيىسىنى ئۆز ئىچىگە ئالىدۇ.

RAG دېگەن نېمە؟

RAG بولسا Retrieval نى ئاساس قىلغان ۋە ئەۋلادنى ئاساس قىلغان مودېللارنىڭ ئارتۇقچىلىقىنى بىرلەشتۈرۈپ ، يۇقىرى سۈپەتلىك تېكىست ھاسىل قىلىدۇ. RAG نىڭ ئارقىسىدىكى ئاساسلىق ئىدىيە ئىزدەش ئەندىزىسىنى ئىشلىتىپ ، چوڭ جەسەتتىن مۇناسىۋەتلىك ھۆججەتلەرنى ياكى بۆلەكلەرنى تاللاش ، ئاندىن بىر ئەۋلاد مودېل ئارقىلىق بۇ يىغىۋېلىنغان بۆلەكلەرگە ئاساسەن تېكىست ھاسىل قىلىش. بۇ ئۇسۇل سوئالغا جاۋاب بېرىش ، تېكىست خۇلاسىلەش ۋە پاراڭلىشىش سۈنئىي ئەقىل قاتارلىق ۋەزىپىلەردە كۆرۈنەرلىك ئىلگىرىلەشلەرنى كۆرسەتتى.

LLM دېگەن نېمە؟

LLM بولسا سۈنئىي ئىدراك مودېلىنىڭ بىر تۈرى بولۇپ ، زور مىقداردىكى تېكىست سانلىق مەلۇماتلىرى بىلەن تەربىيىلىنىپ ، ئىنسانلارغا ئوخشاش تىل ھاسىل قىلىدۇ. بۇ مودېللار ئادەتتە تىرانسفورموتور قۇرۇلمىسىنى ئاساس قىلغان بولۇپ ، تەبىئىي تىل بىر تەرەپ قىلىش ۋەزىپىلىرىدە زامانىۋى نەتىجىلەرنى قولغا كەلتۈرگەن. LLM لار كۆپ ئىقتىدارلىق بولۇپ ، تىل تەرجىمىسى ، تېكىست خۇلاسىلەش ۋە پاراڭلىشىش سۈنئىي ئەقىل قاتارلىق ۋەزىپىلەرگە ئىشلىتىلىدۇ.

نېمىشقا RAG نى LLM بىلەن بىرلەشتۈرىمىز؟

RAG بىلەن LLM نى بىرلەشتۈرۈش ھەرىكەتچان يۇمشاق دېتال قۇرۇلمىسى ئۈچۈن بىر قانچە پايدا بىلەن تەمىنلەيدۇ:

يولغا قويۇش ئىستراتېگىيىسى

RAG نى LLM بىلەن بىرلەشتۈرۈشنىڭ بىر قانچە يولغا قويۇش ئىستراتېگىيىسى بار ، بۇلار:

1. ئۇ كەڭ دائىرىلىك LLM لارنى قوللايدۇ ھەمدە مۇرەككەپ RAG قۇرۇلمىسىنى يولغا قويۇشقا ئىشلىتىلىدۇ.
2. ** DSPy **: DSPy بولسا Python كۈتۈپخانىسى بولۇپ ، RAG ئاساسىدىكى مودېللارنى يولغا قويۇشنىڭ ئاددىي ۋە ئۈنۈملۈك ئۇسۇلى بىلەن تەمىنلەيدۇ. ئۇ كەڭ دائىرىلىك LLM لارنى قوللايدۇ ھەمدە مۇرەككەپ RAG قۇرۇلمىسىنى يولغا قويۇشقا ئىشلىتىلىدۇ.

كود مىسالى

بۇ يەردە ئاددىي كود مىسالى ، LangChain نى ئىشلىتىپ RAG بىلەن LLM نى بىرلەشتۈرۈشنى كۆرسىتىپ بېرىدۇ: `` python import langchain langchain.chains دىن RAGChain نى ئىمپورت قىلىدۇ langchain.llms دىن LLaMA نى ئىمپورت قىلىدۇ

llama = LLaMA ()

RAGChain مودېلى قۇرۇڭ

rag_chain = RAGChain (llama, Retrival_model = "t5-small")

ئەسكەرتىش

prompt = "فرانسىيەنىڭ پايتەختى نېمە؟"

تېكىست چىقىرىش

output = rag_chain.run (ئەسكەرتىش)

print (output) `` ` بۇ كود مىسالى LangChain ئارقىلىق قانداق قىلىپ LLaMA مودېلىنى يىغىۋېلىش ئەندىزىسى بىلەن بىرلەشتۈرگەن RAGChain مودېلىنى بارلىققا كەلتۈرۈشنى كۆرسىتىپ بېرىدۇ. ئاندىن RAGChain مودېلى تېزلىكتە تېكىست چىقىرىش ئۈچۈن ئىشلىتىلىدۇ.

ئەڭ كۆپ ئىشلىتىلىدىغان 5-10 بۇيرۇق / ئۈزۈندىلەر

بۇ يەردە RAG بىلەن LLM نى بىرلەشتۈرۈشتە ئەڭ كۆپ ئىشلىتىلگەن 5-10 بۇيرۇق / پارچىلار بار:

1. "langchain.RAGChain"
2. llama.run (prompt): LLaMA مودېلىنى ئىشلىتىپ تېزلىكتە تېكىست چىقىرىش ھاسىل قىلىدۇ.
3. rag_chain.run (prompt): RAGChain مودېلىنى ئىشلىتىپ تېزلىكتە تېكىست چىقىرىش ھاسىل قىلىدۇ.
4. langchain.chains.
5. llama.get_input (prompt): LLaMA مودېلى ئۈچۈن كىرگۈزگەن تېكىستنى قايتۇرىدۇ.
6. rag_chain.get_output (prompt): RAGChain مودېلىنىڭ چىقىرىش تېكىستىنى قايتۇرىدۇ.
7. langchain.chains.
8. llama.get_output (prompt): LLaMA مودېلىنىڭ چىقىرىش تېكىستىنى قايتۇرىدۇ.
9. rag_chain.get_input (prompt): RAGChain مودېلىنىڭ كىرگۈزۈش تېكىستىنى قايتۇرىدۇ. .

Visualization

بۇ يەردە Chart.js ئارقىلىق RAGChain مودېلىنىڭ ئاددىي تەسۋىرلىنىشى: json { "type": "bar", "data": { "بەلگە": ["LLaMA", "RAGChain"], "datasets": [ { "label": "ئېنىقلىق", "data": [0.8, 0.9], "backgroundColor": ["# FF6384", "# 36A2EB"] } ] }, "options": { "title": { "display": true, "text": "RAGChain مودېل ئېنىقلىقى" }, "تارازا": { "yAxes": [ { "ticks": { "startAtZero": راست } } ] } } } ` بۇ تەسۋىر LLaMA مودېلى ۋە RAGChain مودېلىنىڭ توغرىلىقىنى كۆرسىتىپ بېرىدۇ.

خۇلاسە

RAG بىلەن LLM نى بىرلەشتۈرۈش ھەرىكەتچان يۇمشاق دېتال قۇرۇلمىسى ئۈچۈن بىر قانچە پايدا بىلەن تەمىنلەيدۇ ، بۇنىڭ ئىچىدە توغرىلىق دەرىجىسى يۇقىرى كۆتۈرۈلگەن ، ئۈنۈمدارلىقى يۇقىرى كۆتۈرۈلگەن. LangChain ۋە DSPy ئىككى مودا بولغان ئوركېستىرلاش قورالى بولۇپ ، RAG نى ئاساس قىلغان مودېللارنى يولغا قويغىلى بولىدۇ. بۇ ماقالىدە تەمىنلەنگەن يولغا قويۇش ئىستراتېگىيىسى ۋە كود مىساللىرىغا ئەمەل قىلىش ئارقىلىق ، پروگراممېرلار LLM لارنى يىغىۋېلىش ئەندىزىسى بىلەن بىرلەشتۈرگەن مۇرەككەپ RAG قۇرۇلمىسىنى قۇرالايدۇ. RAG بىلەن LLM نى بىرلەشتۈرۈشتە ئەڭ كۆپ ئىشلىتىلگەن 5-10 بۇيرۇق / پارچىلارمۇ پايدىلىنىش ئۈچۈن تەمىنلەنگەن.