كۈچەيتىلگەن يۇمشاق دېتال ئېچىش خىزمەت ئېقىمى ئۈچۈن RAG بىلەن LLM نى بىرلەشتۈرۈش

تونۇشتۇرۇش

يۇمشاق دېتال ئېچىش مەنزىرىسى تېز تەرەققىي قىلماقتا ، سۈنئىي ئىدراك (AI) ، ماشىنا ئۆگىنىشى (ML) ۋە تەبىئىي تىل بىر تەرەپ قىلىش (NLP) نىڭ ئىلگىرىلىشىنىڭ تۈرتكىسىدە. يۇمشاق دېتال ئېچىش ئۇسۇلىمىزدا ئىنقىلاب قىلىۋاتقان ئىككى ئاچقۇچلۇق تېخنىكا Retrieval-Augmented Generation (RAG) ۋە چوڭ تىل مودېللىرى (LLM). بۇ ماقالىدە يۇمشاق دېتال قۇرۇلۇش جەريانىنى راۋانلاشتۇرۇش ، كود ھاسىل قىلىشنى ياخشىلاش ۋە ئاچقۇچىلارنىڭ ئىشلەپچىقىرىش ئۈنۈمىنى ئاشۇرۇش ئۈچۈن RAG بىلەن LLM نى بىرلەشتۈرۈش ئۈستىدە ئىزدىنىمىز.

يىغىۋېلىش كۈچەيتىلگەن ئەۋلاد (RAG) دېگەن نېمە؟

RAG بولسا NLP نى ئەسلىگە كەلتۈرۈش ۋە ئەۋلادنى ئاساس قىلىش ئۇسۇلىنىڭ كۈچلۈكلۈكىنى بىرلەشتۈرگەن تېخنىكا. ئۇ چوڭ تېكىستتىن مۇناسىۋەتلىك ئۇچۇرلارنى ئېلىش ۋە ئۇنى ئىشلىتىپ يېڭى تېكىستنىڭ ئەۋلادلىرىنى كۆپەيتىشنى ئۆز ئىچىگە ئالىدۇ. بۇ خىل ئۇسۇل سوئالغا جاۋاب بېرىش ، تېكىست خۇلاسىلەش ۋە كود ھاسىل قىلىش قاتارلىق كۆپ خىل NLP ۋەزىپىلىرىدە يۇقىرى ئۈنۈملۈك ئىكەنلىكى ئىسپاتلاندى.

چوڭ تىل مودېللىرى (LLM) دېگەن نېمە؟

LLM بولسا نېرۋا تورى بولۇپ ، ئىنسانغا ئوخشاش تىلنى بىر تەرەپ قىلىش ۋە ھاسىل قىلىش ئۈچۈن لايىھەلەنگەن. ئۇلار ئادەتتە تېكىستنىڭ چوڭ سانلىق مەلۇمات ئامبىرىدا تەربىيەلەنگەن بولۇپ ، تىل تەرجىمىسى ، تېكىست خۇلاسىلەش ۋە كود ھاسىل قىلىش قاتارلىق كونكرېت ۋەزىپىلەرنى ياخشى تەڭشىگىلى بولىدۇ. LLM نۇرغۇن NLP ۋەزىپىلىرىدە زامانىۋى نەتىجىگە ئېرىشتى ھەمدە پاراڭلىشىش ، مەۋھۇم ياردەمچى ۋە تىل تەرجىمە سىستېمىسى قاتارلىق قوللىنىشچان پروگراممىلاردا كەڭ قوللىنىلدى.

كۈچەيتىلگەن يۇمشاق دېتال ئېچىش خىزمەت ئېقىمى ئۈچۈن RAG بىلەن LLM نى بىرلەشتۈرۈش

RAG بىلەن LLM نىڭ بىرلىشىشى بىزنىڭ يۇمشاق دېتال ئېچىش ئۇسۇلىمىزدا ئىنقىلاب قىلىش يوشۇرۇن كۈچىگە ئىگە. ئەسلىگە كەلتۈرۈش ۋە ئەۋلادنى ئاساس قىلىش ئۇسۇلىنىڭ كۈچلۈكلۈكىنى بىرلەشتۈرۈش ئارقىلىق ، RAG LLM لارنىڭ تېخىمۇ توغرا ۋە مۇناسىۋەتلىك كود ھاسىل قىلىشىغا ياردەم بېرەلەيدۇ. بۇ ئاچقۇچىلارنىڭ ئۈنۈمدارلىقى ، كود سۈپىتى ۋە يۇمشاق دېتال ئېچىش خىزمەت ئېقىمىنىڭ كۆرۈنەرلىك ياخشىلىنىشىنى كەلتۈرۈپ چىقىرىدۇ.

ئوركېستىرلاش قوراللىرى: LangChain ۋە DSPy

RAG بىلەن LLM نى بىرلەشتۈرۈش ئۈچۈن ، بىز سانلىق مەلۇمات ئېقىمىنى كونترول قىلالايدىغان ۋە RAG ۋە LLM زاپچاسلىرىنىڭ ئىجرا قىلىنىشىنى كونترول قىلالايدىغان ئوركېستىرلاش قوراللىرىغا موھتاج. بۇ مەقسەتتە ئىشلىتىشكە بولىدىغان ئىككى داڭلىق ئوركېستىرلاش قورالى LangChain ۋە DSPy.

LangChain

LangChain ئوچۇق كودلۇق Python كۈتۈپخانىسى بولۇپ ، RAG نى ئاساس قىلغان قوللىنىشچان پروگراممىلارنى قۇرۇش ئۈچۈن ئاددىي ۋە بىۋاسىتە بىۋاسىتە API بىلەن تەمىنلەيدۇ. ئۇ ئاچقۇچىلارنىڭ RAG نى LLM ۋە باشقا NLP زاپچاسلىرى بىلەن ئاسانلا بىرلەشتۈرۈپ ، كۈچلۈك يۇمشاق دېتال ئېچىش خىزمەت ئېقىمى ھاسىل قىلالايدۇ.

DSPy

DSPy يەنە بىر ئوچۇق كودلۇق Python كۈتۈپخانىسى بولۇپ ، RAG ئاساسىدىكى قوللىنىشچان پروگراممىلارنى قۇرۇش ئۈچۈن يۇقىرى سەۋىيىلىك API بىلەن تەمىنلەيدۇ. ئۇ LLM ۋە باشقا NLP زاپچاسلىرى بىلەن ماس قەدەمدە ئىشلەش ئۈچۈن لايىھەلەنگەن بولۇپ ، RAG بىلەن LLM نى بىرلەشتۈرۈشتىكى كۆڭۈلدىكىدەك تاللاش ھېسابلىنىدۇ.

كود مىسالى: LangChain ئارقىلىق RAG نى LLM بىلەن بىرلەشتۈرۈش

بۇ يەردە LangChain ئارقىلىق RAG بىلەن LLM نى قانداق بىرلەشتۈرۈشنى كۆرسىتىپ بېرىدىغان ئاددىي كود مىسالى: `` python import langchain langchain.chains دىن RAGChain نى ئىمپورت قىلىدۇ

rag_model = langchain.RAG ( index = langchain.Index ( name = "my_index", documents = ["document1", "document2", "document3"], ), retriever = langchain.Retriever ( name = "my_retriever", model = "my_retriever_model", ), generator = langchain.Generator ( name = "my_generator", model = "my_generator_model", ), )

LLM ئەندىزىسىگە ئېنىقلىما بېرىڭ

llm_model = langchain.LLM ( name = "my_llm", model = "my_llm_model", )

RAG زەنجىرىنى قۇر

rag_chain = RAGChain ( name = "my_rag_chain", model = rag_model, llm = llm_model, )

RAG زەنجىرىنى ئىشلىتىپ كود ھاسىل قىلىڭ

code = rag_chain.generate ( input_text = "كىرگۈزۈش سۈپىتىدە ئىككى پۈتۈن ساننى قوبۇل قىلىدىغان ۋە ئۇلارنىڭ يىغىندىسىنى قايتۇرىدىغان ئىقتىدار يېزىڭ", )

بېسىپ چىقىرىش (كود) `` ` بۇ كود مىسالى LangChain ئارقىلىق RAG مودېلىنى قانداق ئېنىقلاش ، LLM مودېلىنى ئېنىقلاش ، RAG زەنجىرىنى قۇرۇش ۋە زەنجىر ئارقىلىق كود ھاسىل قىلىش ئۇسۇلىنى كۆرسىتىپ بېرىدۇ.

ئەڭ كۆپ ئىشلىتىلىدىغان 5-10 بۇيرۇق / ئۈزۈندىلەر

بۇ يەردە LangChain ۋە DSPy ئارقىلىق RAG بىلەن LLM نى بىرلەشتۈرۈشتە ئەڭ كۆپ ئىشلىتىلىدىغان 5-10 بۇيرۇق / ئۈزۈندىلەر:

1. langchain.RAG () `: RAG مودېل ئۈلگىسى قۇرىدۇ.
2. langchain.Index () `: ھۆججەتلەرنى ساقلاش ۋە ئەسلىگە كەلتۈرۈش ئۈچۈن كۆرسەتكۈچ ئۈلگە قۇرىدۇ.
3. langchain.Retriever () `: مۇناسىۋەتلىك ھۆججەتلەرنى ئەسلىگە كەلتۈرۈش ئۈچۈن ئەسلىگە كەلتۈرۈش مىسالى قۇرىدۇ.
4. langchain.Generator () `: يېڭى تېكىست ھاسىل قىلىش ئۈچۈن گېنېراتور ئۈلگىسى قۇرىدۇ.
5. langchain.LLM () `: LLM مودېل ئۈلگىسى قۇردى.
6. RAGChain () `: RAG زەنجىرسىمان ئۈلگە ھاسىل قىلىدۇ.
7. rag_chain.generate (): RAG زەنجىرىنى ئىشلىتىپ كود ھاسىل قىلىدۇ.
8. llm_model.generate () `: LLM مودېلىنى ئىشلىتىپ كود ھاسىل قىلىدۇ.
9. index.add_document () `: كۆرسەتكۈچكە ھۆججەت قوشىدۇ.
10. "Retriever.retrieve ()": ئەسلىگە كەلتۈرۈش ئارقىلىق مۇناسىۋەتلىك ھۆججەتلەرنى ئالىدۇ.

Visualization

بۇ يەردە Chart.js ئارقىلىق RAG ۋە LLM زاپچاسلىرىنىڭ تەسۋىرلىنىشى: json { "type": "bar", "data": { "بەلگە": ["RAG", "LLM"], "datasets": [ { "label": "زاپچاسلار", "data": [10, 20], "backgroundColor": ["# 4CAF50", "# FF9800"] } ] }, "options": { "title": { "display": true, "text": "RAG ۋە LLM زاپچاسلىرى" }, "تارازا": { "yAxes": [ { "display": true, "startAtZero": راست } ] } } } ` بۇ تەسۋىر RAG ۋە LLM تىپىدىكى زاپچاسلارنىڭ سانىنى كۆرسىتىپ بېرىدۇ.

خۇلاسە

RAG بىلەن LLM نىڭ بىرلىشىشى بىزنىڭ يۇمشاق دېتال ئېچىش ئۇسۇلىمىزدا ئىنقىلاب قىلىش يوشۇرۇن كۈچىگە ئىگە. ئەسلىگە كەلتۈرۈش ۋە ئەۋلادنى ئاساس قىلىش ئۇسۇلىنىڭ كۈچلۈكلۈكىنى بىرلەشتۈرۈش ئارقىلىق ، RAG LLM لارنىڭ تېخىمۇ توغرا ۋە مۇناسىۋەتلىك كود ھاسىل قىلىشىغا ياردەم بېرەلەيدۇ. بۇ ئاچقۇچىلارنىڭ ئۈنۈمدارلىقى ، كود سۈپىتى ۋە يۇمشاق دېتال ئېچىش خىزمەت ئېقىمىنىڭ كۆرۈنەرلىك ياخشىلىنىشىنى كەلتۈرۈپ چىقىرىدۇ. LangChain ۋە DSPy غا ئوخشاش ئوركېستىرلاش قوراللىرى ئارقىلىق ، پروگراممېرلار RAG نى LLM ۋە باشقا NLP زاپچاسلىرى بىلەن ئاسانلا بىرلەشتۈرۈپ ، كۈچلۈك يۇمشاق دېتال ئېچىش خىزمەت ئېقىمى ھاسىل قىلالايدۇ.