Bi DSPy û LangChain re ji bo DevOpsên Pêşkeftî Rêzikên LLM-ya Mezin saz kirin | B4N1

Bi DSPy û LangChain re ji bo DevOpsên Pêşkeftî Rêzikên LLM-ya Mezin saz kirin

3 months ago · b4n1 Tiempo de lectura: 5 min

Bi DSPy û LangChain-ê re ji bo DevOpsên Pêşkeftî Rêzikên LLM-ya Mezin saz kirin

Destpêk

Hatina Modelên Zimanên Mezin (LLM) şoreşek li qada Pêvajoya Zimanê Xwezayî (NLP) û Zehmetiya Hunerî (AI) kir. Lêbelê, her ku tevlihevî û pîvana pergalên LLM-based zêde dibin, pêdiviya orkestrasyonê û amûrên otomasyonê yên bihêz û bikêr jî zêde dibe. Di vê gotarê de, em ê li cîhana DSPy û LangChain, du çarçoveyên hêzdar ên ku di serdema AI-ê de avakirina pergalên nermalava berxwedêr û berbelav dikin, bigerin.

Pirsgirêka Xetên LLM-ya Mezin

Xetên LLM-ê yên mezin gelek hêmanan vedihewîne, di nav de pêşdibistanên daneyê, perwerdehiya modelê, û encamgirtinê. Van boriyan dikarin tevlihev bin, bi gelek girêdayi û danûstendinên di navbera pêkhateyên cûda de. Her ku pîvana van lûleyan zêde dibe, xetereya xeletî, dereng, û tengasiyên çavkaniyê jî zêde dibe.

DSPy û LangChain têkevin

DSPy û LangChain du çarçove ne ku armanc dikin ku orkestrakirin û otomatîkkirina lûleyên LLM-ya mezin hêsan bikin. DSPy çarçoveyek bingeha Python-ê ye ku rêyek hêsan û bikêrhatî peyda dike ji bo çêkirin û rêvebirina boriyên daneya tevlihev, dema ku LangChain çarçoveyek e ku avakirina pergalên AI-ê yên berbelav û berxwedêr pêk tîne.

DSPy: Çarçoveyek Bingeha Python-ê ji bo Boriyên Daneyê

DSPy çarçoveyek bingeha Python-ê ye ku rêyek hêsan û bikêrhatî peyda dike da ku boriyên daneya tevlihev ava bike û birêve bibe. Bi DSPy re, pêşdebiran dikarin lûleyên daneyê yên ku berbelav, berxwedêr û hêsan têne parastin biafirînin.

Li vir mînakek boriyek daneya hêsan a ku bi DSPy ve hatî çêkirin heye: `` python import dspy wek dsp

çavkaniya_danûstendinê = dsp.Source( nav = "çavkaniya_data_min", type = "csv", path="/path/to/data.csv" )

Pêvajoyek daneyê diyar bikin

data_processor = dsp.Processor( name = "min_data_processor", type = "panda", func=lambda x: x.dropna() )

Parçeyek daneyê diyar bikin

data_sink = dsp.Sink( name="my_data_sink", type = "csv", path="/path/to/output.csv" )

Xetek daneyê biafirînin

lûle = dsp.Pipeline( name = "my_pipeline", çavkaniyên=[çavkaniya_dane], processors=[data_processor], sinks=[data_sink] )

Xeta boriyê bimeşînin

pipeline.run()

Di vê nimûneyê de, em çavkaniyek daneyê, pêvajoyek daneyê, û danûstendinek daneyê diyar dikin, û dûv re boriyek daneyê ku van pêkhateyan girêdide diafirîne. Dûv re boriyê bi rêbaza `run()` tê xebitandin.

** LangChain: Çarçoveyek ji bo Pergalên AI-yê yên berbelav û berxwedêr **

LangChain çarçoveyek e ku avakirina pergalên AI-ê yên berbiçav û berxwedêr pêk tîne. Bi LangChain re, pêşdebiran dikarin pergalên AI-ê yên ku ji bo têkçûnê hêsan têne parastin, pîvandin û berxwedêr biafirînin.

Li vir mînakek pergala AI-ya hêsan a ku bi LangChain ve hatî çêkirin heye:
`` python
zincîra langê wekî lc import bikin

# Modelek diyar bikin
model = lc.Model(
    name = "model_my",
    type = "transformer",
    rê = "/ rê / ber / model"
)

# Serlêdanek diyar bikin
prompt = lc.Prompt(
    name = "min_prompt",
    text="Ev mînakek e"
)

# Pergalek AI-ê biafirînin
ai_system = lc.AISystem(
    name = "my_ai_system",
    model=model,
    prompt=prompt
)

# Pergala AI-ê bimeşînin
ai_system.run()

Di vê nimûneyê de, em modelek, bilezek diyar dikin, û dûv re pergalek AI-yê ku van pêkhateyan girêdide diafirîne. Dûv re pergala AI-ê bi karanîna rêbaza run() tê xebitandin.

Bi DSPy û LangChain re boriyên LLM-Skala Mezin Orkestra kirin

Ji bo ku bi DSPy û LangChain re lûleyên LLM-ê yên mezin saz bikin, em dikarin nêzîkatiya jêrîn bikar bînin:

  1. Bi karanîna DSPy boriyek daneyê diyar bikin ku gelek çavkaniyên daneyê, pêvajoker û lavaman girêdide.
  2. Pergalek AI-ê bi karanîna LangChain ku gelek model, daxwaz û derdan bi hev ve girêdide diyar bikin.
  3. DSPy bikar bînin ku lûleya daneyê û LangChain ji bo birêvebirina pergala AI-ê bikar bînin.
  4. Plansazek ​​wekî Apache Airflow an Kubernetes bikar bînin da ku bicîhkirina lûleya daneyê û pergala AI-ê destnîşan bikin.

Li vir mînakek nivîsarek orkestrasyonê ya hêsan e ku DSPy û LangChain bikar tîne: `` python import dspy wek dsp zincîra langê wekî lc import bikin apache_airflow wekî af import bikin

Rêzikek daneyê diyar bikin

data_pipeline = dsp.Pipeline( name = "my_data_pipeline", sources=[dsp.Source(name="my_data_çavkaniya", type = "csv", rê = "/path/to/data.csv")], processors=[dsp.Processor(name="my_data_processor", type="pandas", func=lambda x: x.dropna())], sinks=[dsp.Sink(name="my_data_sink", type="csv", path="/path/to/output.csv")] )

Pergalek AI-ê diyar bikin

ai_system = lc.AISystem( name = "my_ai_system", model = lc.Model (nav = "model_my", type = "transformer", rê = "/ rê / ber/model"), prompt=lc.Prompt(name = "my_prompt", text = "Ev mînakek e") )

Pêkanîna lûleya daneyê û pergala AI-yê bername bikin

af.schedule_task( task_id = "karê_min", dag_id="dag_min", pipeline=data_pipeline, sîstem=ai_system )

Di vê nimûneyê de, em boriyek daneyê û pergalek AI-ê bi karanîna DSPy û LangChain diyar dikin, û dûv re pêkanîna van hêmanan bi karanîna Apache Airflow destnîşan dikin.

** Serê 5-10 Fermanên Herî Bikaranîn / Parçeyên **

Li vir 5-10 fermanên herî zêde têne bikar anîn ji bo DSPy û LangChain hene:

1. `dsp.Pipeline(name = "my_pipeline", jêder=[çavkanî], pêvajoker=[processor], sinks=[navber])`
2. `lc.Model(name="my_model", type="transformer", path="/path/to/model")`
3. `lc.Prompt(name = "my_prompt", text = "Ev mînakek e")"
4. `dsp.Source(name="my_data_source", type="csv", path="/path/to/data.csv")`
5. `dsp.Processor(name="my_data_processor", type="pandas", func=lambda x: x.dropna())`
6. `dsp.Sink(name="my_data_sink", type="csv", path="/path/to/output.csv")`
7. `lc.AISystem(name = "my_ai_system", model=model, prompt=prompt)"
8. `af.schedule_task(task_id="karê_min", dag_id="my_dag", lûle = lûle, sîstem=pergal)`
9. `dsp.run_pipeline(pipeline)`
10. `lc.run_system(pergal)`

**Visualization **

Li vir dîmenek çarçoveyên DSPy û LangChain bi karanîna Chart.js heye:
```json
{
  "type": "bar",
  "dane": {
    "etîket": ["DSPy", "LangChain"],
    "daneyên": [
      {
        "label": "Taybetmendî",
        "dane": [10, 15],
        "backgroundColor": [
          "rgba(255, 99, 132, 0.2)",
          "rgba(54, 162, 235, 0.2)"
        ],
        "borderColor": [
          "rgba(255, 99, 132, 1)",
          "rgba(54, 162, 235, 1)"
        ],
        "Berfirehiya sînor": 1
      }
    ]
  },
  "vebijark": {}
}

Ev dîtbarî hejmara taybetmendiyên li DSPy û LangChain nîşan dide.

** Encam **

Di encamê de, DSPy û LangChain du çarçoveyên hêzdar in ku di temenê AI-ê de avakirina pergalên nermalava berxwedêr û berbelav dikin. Bi karanîna van çarçoweyan, pêşdebir dikarin lûleyên LLM-ê yên mezin biafirînin ku ji bo têkçûnan bi hêsanî têne parastin, pîvandin û berxwedêr in. Bi alîkariya amûrên orkestrasyon û otomasyonê yên wekî Apache Airflow û Kubernetes, pêşdebir dikarin pêkanîna van boriyan û pergalan plansaz bikin, ku birêvebirina pergalên tevlihev ên AI-ê hêsantir dike.

** Xebata Pêşerojê **

Xebatên pêşerojê hene:

  1. Pêşxistina taybetmendiyên zêdetir ji bo DSPy û LangChain.
  2. Pêşvebirina performans û pîvana DSPy û LangChain.
  3. Ji bo DSPy û LangChain bêtir amûrên orkestrasyon û otomasyonê pêşve xistin.
  4. Ji bo DSPy û LangChain bêtir dîtbar û tabloyan çêbikin.

** Çavkanî **

  1. Belgekirina DSPy: https://dspy.readthedocs.io/en/latest/
  2. Belgekirina LangChain: https://langchain.readthedocs.io/en/latest/
  3. Belgekirina Apache Airflow: https://airflow.apache.org/docs/apache-airflow/stable/index.html
  4. Belgekirina Kubernetes: https://kubernetes.io/docs/home/

¿Tienes preguntas?

Hablemos

Contáctame en LinkedIn