ការរួមបញ្ចូល RAG (Retrieval-Augmented Generation) ជាមួយនឹងក្របខ័ណ្ឌបណ្តាញទំនើប៖ ការណែនាំជាក់ស្តែង | B4N1

ការរួមបញ្ចូល RAG (Retrieval-Augmented Generation) ជាមួយនឹងក្របខ័ណ្ឌបណ្តាញទំនើប៖ ការណែនាំជាក់ស្តែង

9 months ago · b4n1 Read time: 2 min

**ការរួមបញ្ចូល RAG (Retrieval-Augmented Generation) ជាមួយនឹងក្របខ័ណ្ឌបណ្តាញទំនើប៖ ការណែនាំជាក់ស្តែង **

សេចក្តីផ្តើម

ក្នុងប៉ុន្មានឆ្នាំថ្មីៗនេះ វិស័យដំណើរការភាសាធម្មជាតិ (NLP) បានឃើញការកើនឡើងគួរឱ្យកត់សម្គាល់នៅក្នុងការអភិវឌ្ឍន៍នៃគំរូភាសាធំ (LLMs) និងកម្មវិធីរបស់ពួកគេនៅក្នុងដែនផ្សេងៗ។ ទោះជាយ៉ាងណាក៏ដោយ ដែនកំណត់សំខាន់មួយនៃ LLMs គឺអសមត្ថភាពរបស់ពួកគេក្នុងការទាញយក និងបញ្ចូលចំណេះដឹងខាងក្រៅទៅក្នុងការឆ្លើយតបរបស់ពួកគេ។ នេះគឺជាកន្លែងដែលបច្ចេកទេស Retrieval-Augmented Generation (RAG) ចូលមកលេង។ នៅក្នុងអត្ថបទនេះ យើងនឹងស្វែងយល់ពីការអនុវត្តបច្ចេកទេស RAG ដោយប្រើ FastAPI និង Django ដើម្បីបង្កើនសមត្ថភាព LLM នៅក្នុងកម្មវិធីបណ្តាញ រួមទាំងការ orchestration ជាមួយ LangChain សម្រាប់ការទាញយក និងដំណើរការទិន្នន័យដោយគ្មានថ្នេរ។

តើ RAG ជាអ្វី?

RAG គឺជាបច្ចេកទេសមួយដែលរួមបញ្ចូលគ្នានូវភាពខ្លាំងនៃម៉ូដែល Retrieval និង Generation ដើម្បីបង្កើតការឆ្លើយតបត្រឹមត្រូវ និងផ្តល់ព័ត៌មានកាន់តែច្រើន។ គំនិតជាមូលដ្ឋាននៅពីក្រោយ RAG គឺដើម្បីទាញយកព័ត៌មានពាក់ព័ន្ធពីមូលដ្ឋានចំណេះដឹង ឬមូលដ្ឋានទិន្នន័យ ហើយបន្ទាប់មកប្រើព័ត៌មាននេះដើម្បីបង្កើតការឆ្លើយតប។ វិធីសាស្រ្តនេះអនុញ្ញាតឱ្យ LLMs ប្រើប្រាស់ចំណេះដឹងខាងក្រៅ និងផ្តល់នូវការឆ្លើយតបត្រឹមត្រូវ និងផ្តល់ព័ត៌មានបន្ថែមទៀត។

ហេតុអ្វីត្រូវប្រើ RAG ជាមួយ FastAPI និង Django?

FastAPI និង Django គឺជាក្របខ័ណ្ឌគេហទំព័រដ៏ពេញនិយមបំផុតពីរដែលប្រើសម្រាប់បង្កើតកម្មវិធីគេហទំព័រ។ ពួកគេផ្តល់នូវហេដ្ឋារចនាសម្ព័ន្ធដ៏រឹងមាំ និងអាចធ្វើមាត្រដ្ឋានបានសម្រាប់ការកសាងកម្មវិធីគេហទំព័រ ហើយអាចត្រូវបានរួមបញ្ចូលគ្នាយ៉ាងងាយស្រួលជាមួយនឹងបច្ចេកទេស RAG ដើម្បីបង្កើនសមត្ថភាព LLM ។ FastAPI គឺជាក្របខ័ណ្ឌគេហទំព័រទំនើបដែលផ្តល់នូវវិធីលឿន និងមានប្រសិទ្ធភាពក្នុងការបង្កើតកម្មវិធីគេហទំព័រ ខណៈពេលដែល Django គឺជាក្របខ័ណ្ឌគេហទំព័រកម្រិតខ្ពស់ដែលផ្តល់នូវស្ថាបត្យកម្ម គំរូ និង APIs សម្រាប់បង្កើតកម្មវិធីគេហទំព័រដ៏រឹងមាំ។

ការអនុវត្ត RAG ជាមួយ FastAPI

FastAPI ផ្តល់នូវវិធីសាមញ្ញ និងមានប្រសិទ្ធភាពក្នុងការអនុវត្តបច្ចេកទេស RAG ។ នេះជាឧទាហរណ៍ប្លុកកូដដែលបង្ហាញពីរបៀបប្រើ FastAPI ដើម្បីអនុវត្ត RAG៖

``ពស់ថ្លាន់ ពី fastapi នាំចូល FastAPI ពី langchain នាំចូល LLMChain ពី langchain.chains.openai នាំចូល OpenAIApi

កម្មវិធី = FastAPI()

@app.get("/rag") async def rag (សំណួរ៖ str)៖

llm_chain = LLMChain(
    llm=OpenAIApi(),
    retrieval=LangChainRetrieval(
        index=LangChainIndex(
            name="my_index",
            ឯកសារ =["doc1", "doc2", "doc3"]
        )
    )
)

# បង្កើតការឆ្លើយតបដោយប្រើខ្សែសង្វាក់ LLM
ការឆ្លើយតប = llm_chain.run(សំណួរ)

ត្រឡប់ {"ឆ្លើយតប"៖ ការឆ្លើយតប}

ក្នុងឧទាហរណ៍នេះ យើងកំណត់ខ្សែសង្វាក់ LLM ដោយប្រើថ្នាក់ `LLMChain` ពី LangChain ។ បន្ទាប់មកយើងកំណត់សមាសភាគការទាញយកដោយប្រើថ្នាក់ `LangChainRetrieval` ដែលត្រូវបានប្រើដើម្បីទាញយកព័ត៌មានពាក់ព័ន្ធពីមូលដ្ឋានចំណេះដឹង ឬមូលដ្ឋានទិន្នន័យ។ ជាចុងក្រោយ យើងប្រើវិធីសាស្ត្រ 'រត់' ដើម្បីបង្កើតការឆ្លើយតបដោយប្រើខ្សែសង្វាក់ LLM ។

** ការអនុវត្ត RAG ជាមួយ Django **


Django ផ្តល់នូវក្របខ័ណ្ឌបណ្ដាញកម្រិតខ្ពស់ដែលអាចរួមបញ្ចូលយ៉ាងងាយស្រួលជាមួយបច្ចេកទេស RAG ។ នេះជាឧទាហរណ៍ប្លុកកូដដែលបង្ហាញពីរបៀបប្រើ Django ដើម្បីអនុវត្ត RAG៖

``ពស់ថ្លាន់
ពី django.http នាំចូល JsonResponse
ពី langchain នាំចូល LLMChain
ពី langchain.chains.openai នាំចូល OpenAIApi

def rag (សំណើ):
    # កំណត់ខ្សែសង្វាក់ LLM
    llm_chain = LLMChain(
        llm=OpenAIApi(),
        retrieval=LangChainRetrieval(
            index=LangChainIndex(
                name="my_index",
                ឯកសារ =["doc1", "doc2", "doc3"]
            )
        )
    )

    # បង្កើតការឆ្លើយតបដោយប្រើខ្សែសង្វាក់ LLM
    ការឆ្លើយតប = llm_chain.run(request.GET.get("សំណួរ"))

    ត្រឡប់ JsonResponse ({"ការឆ្លើយតប": ការឆ្លើយតប})

ក្នុងឧទាហរណ៍នេះ យើងកំណត់មុខងារមើល rag ដែលយកសំណួរជាការបញ្ចូល និងបង្កើតការឆ្លើយតបដោយប្រើខ្សែសង្វាក់ LLM ។

រៀបចំ RAG ជាមួយ LangChain

LangChain ផ្តល់នូវវិធីសាមញ្ញ និងមានប្រសិទ្ធភាពក្នុងការរៀបចំបច្ចេកទេស RAG ។ នេះជាឧទាហរណ៍ប្លុកកូដដែលបង្ហាញពីរបៀបប្រើ LangChain ដើម្បីរៀបចំ RAG៖

``ពស់ថ្លាន់ ពី langchain នាំចូល LLMChain ពី langchain.chains.openai នាំចូល OpenAIApi

កំណត់ខ្សែសង្វាក់ LLM

llm_chain = LLMChain( llm=OpenAIApi(), retrieval=LangChainRetrieval( index=LangChainIndex( name="my_index", ឯកសារ =["doc1", "doc2", "doc3"] ) ) )

បង្កើតការឆ្លើយតបដោយប្រើខ្សែសង្វាក់ LLM

ការឆ្លើយតប = llm_chain.run("តើ RAG គឺជាអ្វី?")

បោះពុម្ព (ឆ្លើយតប)


ក្នុងឧទាហរណ៍នេះ យើងកំណត់ខ្សែសង្វាក់ LLM ដោយប្រើថ្នាក់ `LLMChain` ពី LangChain ។ បន្ទាប់មកយើងប្រើវិធីសាស្ត្រ 'រត់' ដើម្បីបង្កើតការឆ្លើយតបដោយប្រើខ្សែសង្វាក់ LLM ។

** កំពូល 5-10 ពាក្យបញ្ជា / អត្ថបទដែលប្រើច្រើនបំផុត **


នេះគឺជាពាក្យបញ្ជាដែលប្រើច្រើនបំផុត 5-10 សម្រាប់ការអនុវត្ត RAG ជាមួយ FastAPI និង Django៖

1. `ពី langchain នាំចូល LLMChain`: នាំចូលថ្នាក់ `LLMChain` ពី LangChain ។
2. `llm_chain = LLMChain(llm=OpenAIApi(), retrieval=LangChainRetrieval(index=LangChainIndex(name="my_index", ឯកសារ=["doc1", "doc2", "doc3"])))`: កំណត់ខ្សែសង្វាក់ LLM ដោយប្រើថ្នាក់ `LLMChain`។
3. `response = llm_chain.run(query)`: បង្កើតការឆ្លើយតបដោយប្រើខ្សែសង្វាក់ LLM ។
4. `ពី fastapi នាំចូល FastAPI`៖ នាំចូលថ្នាក់ `FastAPI` ពី FastAPI។
5. `app = FastAPI()`៖ កំណត់កម្មវិធី FastAPI។
6. `@app.get("/rag")`: កំណត់ផ្លូវសម្រាប់ RAG endpoint។
7. `llm_chain = LLMChain(llm=OpenAIApi(), retrieval=LangChainRetrieval(index=LangChainIndex(name="my_index", ឯកសារ=["doc1", "doc2", "doc3"])))`: កំណត់ខ្សែសង្វាក់ LLM ដោយប្រើថ្នាក់ `LLMChain`។
8. `response = llm_chain.run(query)`: បង្កើតការឆ្លើយតបដោយប្រើខ្សែសង្វាក់ LLM ។
9. `ពី django.http នាំចូល JsonResponse`: នាំចូលថ្នាក់ `JsonResponse` ពី Django ។
10. `return JsonResponse({"response": response})`: ត្រឡប់ការឆ្លើយតប JSON ជាមួយនឹងការឆ្លើយតបដែលបានបង្កើត។

** ការមើលឃើញ **


នេះគឺជាការមើលឃើញនៃបំពង់ RAG ដោយប្រើ Chart.js៖

```json
{
  "type": "របារផ្ដេក",
  "ទិន្នន័យ"៖ {
    "labels": ["ការទាញយក", "ជំនាន់", "ក្រោយដំណើរការ"],
    "សំណុំទិន្នន័យ": [
      {
        "label": "បំពង់ RAG",
        "ទិន្នន័យ": [10, 20, 30],
        "ពណ៌ផ្ទៃខាងក្រោយ": [
          "rgba(255, 99, 132, 0.2)",
          "rgba(54, 162, 235, 0.2)",
          "rgba(255, 206, 86, 0.2)"
        ],
        "ពណ៌ព្រំដែន": [
          "rgba(255, 99, 132, 1)",
          "rgba(54, 162, 235, 1)",
          "rgba(255, 206, 86, 1)"
        ],
        "ទទឹងព្រំដែន"៖ ១
      }
    ]
  },
  "ជម្រើស"៖ {
    "ចំណងជើង"៖ {
      "បង្ហាញ": ពិត,
      "text": "បំពង់ RAG"
    },
    "មាត្រដ្ឋាន"៖ {
      "yAxes": [
        {
          "ធីក"៖ {
            "beginAtZero"៖ ពិត
          }
        }
      ]
    }
  }
}

ការមើលឃើញនេះបង្ហាញពីបំពង់ RAG ដែលមានបីដំណាក់កាល៖ ការទាញយក ការបង្កើត និងក្រោយដំណើរការ។

សេចក្តីសន្និដ្ឋាន

នៅក្នុងអត្ថបទនេះ យើងបានស្វែងយល់ពីការអនុវត្តបច្ចេកទេស RAG ដោយប្រើ FastAPI និង Django ដើម្បីបង្កើនសមត្ថភាព LLM នៅក្នុងកម្មវិធីបណ្តាញ រួមទាំងការ orchestration ជាមួយ LangChain សម្រាប់ការទាញយក និងដំណើរការទិន្នន័យដោយគ្មានថ្នេរ។ យើងក៏បានផ្តល់ការណែនាំជាក់ស្តែងក្នុងការអនុវត្ត RAG ជាមួយ FastAPI និង Django រួមទាំងឧទាហរណ៍កូដ និងការមើលឃើញនៃបំពង់ RAG ផងដែរ។ យើងសង្ឃឹមថាអត្ថបទនេះបានផ្តល់នូវធនធានដ៏មានប្រយោជន៍សម្រាប់អ្នកអភិវឌ្ឍន៍ដែលកំពុងស្វែងរកការអនុវត្តបច្ចេកទេស RAG នៅក្នុងកម្មវិធីគេហទំព័ររបស់ពួកគេ។


Have Questions?

Let's Talk

Contact me on LinkedIn