Comhtháthú RAG le LLManna le haghaidh Sreafaí Oibre Forbartha Bogearraí Feabhsaithe

RAG a chomhtháthú le LLManna le haghaidh Sreafaí Oibre Forbartha Bogearraí Feabhsaithe

Réamhrá

Tá an tírdhreach forbartha bogearraí ag athrú go tapa, á thiomáint ag dul chun cinn in intleacht shaorga (AI), foghlaim meaisín (ML), agus próiseáil teanga nádúrtha (NLP). Dhá phríomhtheicneolaíocht atá ag réabhlóidiú an mhodha a fhorbraímid bogearraí is ea Giniúint Mhéadaithe Aisghabhála (RAG) agus Múnlaí Móra Teanga (LLManna). San Airteagal seo, déanfaimid iniúchadh ar chomhtháthú RAG le LLManna chun próisis innealtóireachta bogearraí a shruthlíniú, giniúint cód a fheabhsú, agus táirgiúlacht fhorbróra a fheabhsú.

Cad é Giniúint Mhéadaithe Aisghabhála (RAG)?

Teicníc is ea RAG a chomhcheanglaíonn láidreachtaí cur chuige atá bunaithe ar aisghabháil agus giniúna i leith NLP. Is éard atá i gceist leis ná faisnéis ábhartha a aisghabháil ó chorpas mór téacs agus é a úsáid chun giniúint téacs nua a mhéadú. Léiríodh go bhfuil an cur chuige seo an-éifeachtach i roinnt tascanna NLP, lena n-áirítear freagra ceisteanna, achoimre téacs, agus giniúint cód.

Cad is Múnlaí Móra Teanga (LLManna) ann?

Is cineál líonra néarúil iad LLManna atá deartha chun teanga atá cosúil le duine a phróiseáil agus a ghiniúint. Cuirtear oiliúint orthu go hiondúil ar thacair shonraí ollmhóra téacs agus is féidir iad a mhionchoigeartú le haghaidh tascanna sonracha mar aistriúchán teanga, achoimriú téacs, agus giniúint cód. Tá torthaí úrscothacha bainte amach ag LLManna i go leor tascanna NLP agus úsáidtear iad go forleathan in feidhmchláir mar chatbots, cúntóirí fíorúla, agus córais aistriúcháin teanga.

RAG a chomhtháthú le LLManna le haghaidh Sreafaí Oibre Forbartha Bogearraí Feabhsaithe

Uirlisí Ceolfhoirne: LangChain agus DSPy

Chun RAG a chomhtháthú le LLManna, tá uirlisí ceolfhoirne de dhíth orainn ar féidir leo sreabhadh na sonraí a bhainistiú agus feidhmiú na gcomhpháirteanna RAG agus LLM a rialú. Dhá uirlis orchestration tóir ar féidir a úsáid chun na críche seo ná LangChain agus DSPy.

LangChain

Is leabharlann Python foinse oscailte é LangChain a sholáthraíonn API simplí agus iomasach chun feidhmchláir RAG-bhunaithe a thógáil. Ligeann sé d’fhorbróirí RAG a chomhtháthú go héasca le LLManna agus le comhpháirteanna NLP eile chun sreafaí oibre forbartha bogearraí cumhachtacha a chruthú.

DSPy

Leabharlann Python foinse oscailte eile is ea DSPy a sholáthraíonn API ardleibhéil chun feidhmchláir RAG-bhunaithe a thógáil. Tá sé deartha chun oibriú gan uaim le LLManna agus le comhpháirteanna NLP eile, rud a fhágann gur rogha iontach é chun RAG a chomhtháthú le LLManna.

Cóid Sampla: RAG a chomhtháthú le LLManna ag baint úsáide as LangChain

Seo sampla cód simplí a thaispeánann conas RAG a chomhtháthú le LLManna ag baint úsáide as LangChain:

allmhairiú langchain
ó langchain.chains allmhairiú RAGChain


rag_model = langchain.RAG(
    index=langchain.Index(
        ainm = "my_innéacs",
        doiciméid=["document1", "document2", "document3"],
    ),
    retriever=langchain.Retriever(
        ainm = "my_retriever",
        samhail="my_retriever_model",
    ),
    gineadóir=langchain.Generator(
        ainm = "my_generator",
        samhail="my_generator_model",
    ),
)

# Sainmhínigh an tsamhail LLM
llm_model = langchain.LLM(
    ainm = "my_llm",
    samhail="my_llm_model",
)

# Cruthaigh slabhra RAG
rag_chain = RAGChain(
    ainm = "my_rag_chain",
    múnla = rag_múnla,
    llm=llm_samhail,
)

# Bain úsáid as an slabhra RAG chun cód a ghiniúint
cód = rag_chain.generate(
    input_text="Scríobh feidhm a ghlacann dhá shlánuimhir mar ionchur agus a sheolann a suim ar ais",
)

cló (cód)

Léiríonn an sampla cód seo conas múnla RAG a shainiú ag baint úsáide as LangChain, múnla LLM a shainiú, slabhra RAG a chruthú, agus an slabhra a úsáid chun cód a ghiniúint.

Na 5-10 nOrd/Blúire is Mó Úsáidte

Seo iad na 5-10 orduithe/blúine is mó a úsáidtear chun RAG a chomhtháthú le LLManna ag baint úsáide as LangChain agus DSPy:

langchain.RAG(): Cruthaítear sampla RAG.
langchain.Index(): Cruthaítear sampla innéacs chun doiciméid a stóráil agus a aisghabháil.
langchain.Retriever(): Cruthaítear sampla aisghabhála chun doiciméid ábhartha a aisghabháil.
langchain.Generator(): Cruthaítear sampla gineadóra chun téacs nua a ghiniúint.
langchain.LLM(): Cruthaítear sampla LLM.
RAGChain(): Cruthaítear sampla slabhra RAG.
rag_chain.generate(): Úsáideann sé an slabhra RAG chun cód a ghiniúint.
llm_model.generate(): Úsáideann sé an tsamhail LLM chun cód a ghiniúint.
index.add_document(): Cuireann sé doiciméad leis an innéacs.
retriever.retrieve(): Aisghabhann sé na doiciméid ábhartha leis an aisghabhálaí.

Amharcléiriú

Seo léirshamhlú ar na comhpháirteanna RAG agus LLM ag baint úsáide as Chart.js:

{
  "cineál": "barra",
  "sonraí": {
    "lipéid": ["RAG", "LLM"],
    "tacair sonraí": [
      {
        "label" : " Comhpháirteanna",
        "sonraí": [10, 20],
        "backgroundColor": ["#4CAF50", "#FF9800"]
      }
    ]
  },
  "roghanna": {
    "teideal": {
      "taispeáint": fíor,
      "text": "Comhpháirteanna RAG agus LLM"
    },
    "scálaí": {
      "yAiseanna": [
        {
          "taispeáint": fíor,
          "beginAtZero": fíor
        }
      ]
    }
  }
}

Léiríonn an léirshamhlú seo líon na gcomhpháirteanna sna samhlacha RAG agus LLM.

Conclúid

D’fhéadfadh comhtháthú RAG le LLManna an bealach ina ndéanaimid bogearraí a fhorbairt a athrú ó bhonn. Trí láidreachtaí cur chuige atá bunaithe ar aisghabháil agus giniúna a chomhcheangal, is féidir le RAG cabhrú le LLManna cód níos cruinne agus níos ábhartha a ghiniúint. D’fhéadfadh feabhsuithe suntasacha a bheith mar thoradh air seo ar tháirgiúlacht an fhorbróra, ar cháilíocht an chóid, agus ar shreafaí foriomlána forbartha bogearraí. Le huirlisí orchestration cosúil le LangChain agus DSPy, is féidir le forbróirí RAG a chomhtháthú go héasca le LLManna agus comhpháirteanna NLP eile chun sreabhadh oibre forbartha bogearraí cumhachtacha a chruthú.

Comhtháthú RAG le LLManna le haghaidh Sreafaí Oibre Forbartha Bogearraí Feabhsaithe

¿Tienes preguntas?