ياخشىلانغان DevOps ئۈچۈن DSPy ۋە LangChain بىلەن چوڭ تىپتىكى LLM تۇرۇبا لىنىيىسىنى تەشكىللەش

تونۇشتۇرۇش

چوڭ تىل مودېللىرىنىڭ بارلىققا كېلىشى تەبىئىي تىل بىر تەرەپ قىلىش (NLP) ۋە سۈنئىي ئىدراك (AI) ساھەسىدە ئىنقىلاب ئېلىپ باردى. قانداقلا بولمىسۇن ، LLM نى ئاساس قىلغان سىستېمىلارنىڭ مۇرەككەپلىكى ۋە كۆلىمىنىڭ ئېشىشىغا ئەگىشىپ ، كۈچلۈك ۋە ئۈنۈملۈك ئوركېستىرلاش ۋە ئاپتوماتلاشتۇرۇش قوراللىرىغا بولغان ئېھتىياجمۇ ئاشتى. بۇ ماقالىدە سۈنئىي ئەقىل دەۋرىدە چىداملىق ۋە كېڭەيتىشچان يۇمشاق دېتال سىستېمىسى بەرپا قىلىدىغان ئىككى كۈچلۈك رامكا DSPy ۋە LangChain دۇنياسىغا چوڭقۇرلاپ كىرىمىز.

چوڭ تىپتىكى LLM تۇرۇبا يولىنىڭ رىقابەت مەسىلىسى

چوڭ تىپتىكى LLM تۇرۇبا لىنىيىسى سانلىق مەلۇمات بىر تەرەپ قىلىش ، مودېل مەشىقى ۋە يەكۈن قاتارلىق كۆپ خىل زاپچاسلارنى ئۆز ئىچىگە ئالىدۇ. بۇ تۇرۇبا يولى مۇرەككەپ بولۇپ ، ئوخشىمىغان زاپچاسلار ئارىسىدا نۇرغۇن بېقىنىش ۋە ئۆز-ئارا تەسىر پەيدا بولىدۇ. بۇ تۇرۇبا يولىنىڭ كۆلىمىنىڭ ئېشىشىغا ئەگىشىپ ، خاتالىق ، كېچىكىش ۋە بايلىق بوغۇش خەۋىپىمۇ كۈچىيىدۇ.

DSPy ۋە LangChain نى كىرگۈزۈڭ

DSPy ۋە LangChain ئىككى خىل رامكا بولۇپ ، چوڭ تىپتىكى LLM تۇرۇبا لىنىيىسىنى تەشكىللەش ۋە ئاپتوماتلاشتۇرۇشنى ئاددىيلاشتۇرىدۇ. DSPy بولسا Python ئاساسىدىكى رامكا بولۇپ ، مۇرەككەپ سانلىق مەلۇمات تۇرۇبا لىنىيىسىنى قۇرۇش ۋە باشقۇرۇشنىڭ ئاددىي ۋە ئۈنۈملۈك ئۇسۇلى بىلەن تەمىنلەيدۇ ، LangChain بولسا كېڭەيتىشچان ۋە چىداملىق سۈنئىي ئەقىل سىستېمىسى بەرپا قىلىدىغان رامكا.

DSPy: سانلىق مەلۇمات تۇرۇبا لىنىيىسىنىڭ Python ئاساسىدىكى رامكىسى

DSPy Python نى ئاساس قىلغان رامكا بولۇپ ، مۇرەككەپ سانلىق مەلۇمات تۇرۇبا يولىنى ياساش ۋە باشقۇرۇشنىڭ ئاددىي ۋە ئۈنۈملۈك يولىنى تەمىنلەيدۇ. DSPy ئارقىلىق ئاچقۇچىلار كۆلەملەشتۈرگىلى ، چىداملىق ۋە ئاسراشقا قۇلايلىق بولغان سانلىق مەلۇمات تۇرۇبا يولىنى قۇرالايدۇ.

بۇ يەردە DSPy بىلەن ياسالغان ئاددىي سانلىق مەلۇمات تۇرۇبىسىنىڭ مىسالى: `` python dspy نى ئىمپورت قىلىڭ

data_source = dsp.Source ( name = "my_data_source", type = "csv", path = "/ path / to / data.csv" )

سانلىق مەلۇمات بىر تەرەپ قىلغۇچقا ئېنىقلىما بېرىڭ

data_processor = dsp.Processor ( name = "my_data_processor", type = "pandas", func = lambda x: x.dropna () )

سانلىق مەلۇمات ئامبىرىغا ئېنىقلىما بېرىڭ

data_sink = dsp.Sink ( name = "my_data_sink", type = "csv", path = "/ path / to / output.csv" )

سانلىق مەلۇمات تۇرۇبا يولى قۇرۇش

تۇرۇبا يولى = dsp. تۇرۇبا يولى ( name = "my_pipeline", مەنبە = [data_source], بىر تەرەپ قىلغۇچ = [data_processor], sinks = [data_sink] )

تۇرۇبا يولىنى ئىجرا قىلىڭ

pipeline.run () `` بۇ مىسالدا بىز سانلىق مەلۇمات مەنبەسى ، سانلىق مەلۇمات بىر تەرەپ قىلغۇچ ۋە سانلىق مەلۇمات چۆككۈچنى ئېنىقلايمىز ، ئاندىن بۇ زاپچاسلارنى تۇتاشتۇرىدىغان سانلىق مەلۇمات تۇرۇبىسى قۇرىمىز. ئاندىن تۇرۇبا يولى «run ()» ئۇسۇلى ئارقىلىق ئىجرا بولىدۇ.

LangChain: كېڭەيتىشچان ۋە چىداملىق سۈنئىي ئەقىل سىستېمىسىنىڭ رامكىسى

LangChain كېڭەيتىشچان ۋە چىداملىق سۈنئىي ئەقىل سىستېمىسى بەرپا قىلىدىغان رامكا. LangChain ئارقىلىق ، ئاچقۇچىلار ئاسراشقا قۇلايلىق ، كېڭەيتىشكە ۋە مەغلۇبىيەتكە چىداملىق سۈنئىي ئەقىل سىستېمىسى قۇرالايدۇ.

بۇ يەردە LangChain بىلەن ياسالغان ئاددىي سۈنئىي ئەقىل سىستېمىسىنىڭ بىر مىسالى: `` python langchain نى lc قىلىپ ئىمپورت قىلىڭ

مودېلغا ئېنىقلىما بېرىڭ

model = lc.Model ( name = "my_model", type = "transformer", path = "/ path / to / model" )

ئەسكەرتىش

prompt = lc.Prompt ( name = "my_prompt", text = "بۇ بىر ئۈلگە ئەسكەرتىش" )

سۈنئىي ئەقىل سىستېمىسى قۇرۇش

ai_system = lc.AISystem ( name = "my_ai_system", model = model, prompt = prompt )

سۈنئىي ئەقىل سىستېمىسىنى ئىجرا قىلىڭ

ai_system.run () `` بۇ مىسالدا بىز بىر مودېل ، تېزلىكنى ئېنىقلايمىز ، ئاندىن بۇ زاپچاسلارنى تۇتاشتۇرىدىغان سۈنئىي ئەقىل سىستېمىسى قۇرىمىز. AI سىستېمىسى ئاندىن «run ()» ئۇسۇلى ئارقىلىق ئىجرا بولىدۇ.

DSPy ۋە LangChain بىلەن چوڭ تىپتىكى LLM تۇرۇبا لىنىيىسىنى تەشكىللەش

DSPy ۋە LangChain بىلەن چوڭ تىپتىكى LLM تۇرۇبا يولىنى تەشكىللەش ئۈچۈن ، بىز تۆۋەندىكى ئۇسۇلنى قوللانساق بولىدۇ:

1. كۆپ سانلىق مەلۇمات مەنبەسى ، بىر تەرەپ قىلغۇچ ۋە چۆكمىلەرنى تۇتاشتۇرىدىغان DSPy ئارقىلىق سانلىق مەلۇمات تۇرۇبىسىغا ئېنىقلىما بېرىڭ.
2. كۆپ خىل مودېل ، ئەسكەرتىش ۋە چىقىرىشنى تۇتاشتۇرىدىغان LangChain ئارقىلىق سۈنئىي ئەقىل سىستېمىسىغا ئېنىقلىما بېرىڭ.
3. DSPy ئارقىلىق سانلىق مەلۇمات تۇرۇبىسىنى ۋە LangChain نى ئىشلىتىپ سۈنئىي ئەقىل سىستېمىسىنى باشقۇرۇڭ.
4. Apache Airflow ياكى Kubernetes غا ئوخشاش ۋاقىت جەدۋىلىنى ئىشلىتىپ ، سانلىق مەلۇمات تۇرۇبا يولى ۋە سۈنئىي ئەقىل سىستېمىسىنىڭ ئىجرا قىلىنىشىنى ئورۇنلاشتۇرۇڭ.

بۇ يەردە DSPy ۋە LangChain ئىشلىتىدىغان ئاددىي ئوركېستىر قوليازمىسىنىڭ مىسالى: `` python dspy نى ئىمپورت قىلىڭ langchain نى lc قىلىپ ئىمپورت قىلىڭ apache_airflow نى ئەكىرىڭ

سانلىق مەلۇمات تۇرۇبىسىغا ئېنىقلىما بېرىڭ

data_pipeline = dsp.Pipeline ( name = "my_data_pipeline", مەنبە = [dsp.Source (name = "my_data_source", type = "csv", path = "/ path / to / data.csv")], بىر تەرەپ قىلغۇچ = [dsp. sinks = [dsp.Sink (name = "my_data_sink", type = "csv", path = "/ path / to / output.csv")] )

سۈنئىي ئەقىل سىستېمىسىغا ئېنىقلىما بېرىڭ

ai_system = lc.AISystem ( name = "my_ai_system", model = lc.Model (name = "my_model", type = "transformer", path = "/ path / to / model"), prompt = lc.Prompt (name = "my_prompt", text = "بۇ بىر ئۈلگە ئەسكەرتىش") )

سانلىق مەلۇمات تۇرۇبا يولى ۋە سۈنئىي ئەقىل سىستېمىسىنىڭ ئىجرا قىلىنىشىنى پىلانلاڭ

af.schedule_task ( task_id = "my_task", dag_id = "my_dag", تۇرۇبا يولى = data_pipeline, system = ai_system ) `` بۇ مىسالدا بىز DSPy ۋە LangChain ئارقىلىق سانلىق مەلۇمات تۇرۇبا يولى ۋە سۈنئىي ئەقىل سىستېمىسىغا ئېنىقلىما بېرىمىز ، ئاندىن Apache Airflow ئارقىلىق بۇ زاپچاسلارنىڭ ئىجرا قىلىنىشىنى ئورۇنلاشتۇرىمىز.

ئەڭ كۆپ ئىشلىتىلىدىغان 5-10 بۇيرۇق / ئۈزۈندىلەر

بۇ يەردە DSPy ۋە LangChain ئۈچۈن ئەڭ كۆپ ئىشلىتىلگەن 5-10 بۇيرۇق / ئۈزۈندىلەر:

1. dsp.Pipeline (name =" my_pipeline ", مەنبە = [مەنبە] ، بىر تەرەپ قىلغۇچ = [بىر تەرەپ قىلغۇچ] ، sinks = [sink])
2. lc.Model (name =" my_model ", type =" transformer ", path =" / path / to / model ")
3. lc.Prompt (name =" my_prompt ", text =" بۇ بىر ئۈلگە ئەسكەرتىش ")
4. dsp.Source (name =" my_data_source ", type =" csv ", path =" / path / to / data.csv ")
5. dsp.Processor (name =" my_data_processor ", type =" pandas ", func = lambda x: x.dropna ())
6. dsp.Sink (name =" my_data_sink ", type =" csv ", path =" / path / to / output.csv ")
7. lc.AISystem (name =" my_ai_system ", model = model, prompt = prompt)
8. `af.schedule_task (task_id =" my_task ", dag_id =" my_dag ", تۇرۇبا = تۇرۇبا ، سىستېما = سىستېما)"
9. dsp.run_pipeline (تۇرۇبا يولى)
10. lc.run_system (سىستېما)

Visualization

بۇ يەردە Chart.js ئارقىلىق DSPy ۋە LangChain رامكىسىنىڭ تەسۋىرلىنىشى: json { "type": "bar", "data": { "بەلگە": ["DSPy", "LangChain"], "datasets": [ { "label": "ئىقتىدار", "data": [10, 15], "backgroundColor": [ "rgba (255, 99, 132, 0.2)", "rgba (54 ، 162 ، 235 ، 0.2)" ], "borderColor": [ "rgba (255, 99, 132, 1)", "rgba (54 ، 162 ، 235 ، 1)" ], "borderWidth": 1 } ] }, "options": {} } بۇ كۆرۈنۈشتە DSPy ۋە LangChain دىكى ئىقتىدارلارنىڭ سانى كۆرسىتىلدى.

خۇلاسە

خۇلاسىلىگەندە ، DSPy ۋە LangChain سۈنئىي ئەقىل دەۋرىدە چىداملىق ۋە كېڭەيتكىلى بولىدىغان يۇمشاق دېتال سىستېمىسى بەرپا قىلىدىغان ئىككى كۈچلۈك رامكا. ئاچقۇچىلار بۇ رامكىلارنى ئىشلىتىش ئارقىلىق ئاسراشقا قۇلايلىق ، كېڭەيتكىلى بولىدىغان ۋە مەغلۇبىيەتكە چىداملىق چوڭ تىپتىكى LLM تۇرۇبا يولىنى قۇرالايدۇ. Apache Airflow ۋە Kubernetes قاتارلىق ئوركېستىرلاش ۋە ئاپتوماتىك قوراللارنىڭ ياردىمىدە ، پروگراممېرلار بۇ تۇرۇبا ۋە سىستېمىلارنىڭ ئىجرا قىلىنىشىنى ئورۇنلاشتۇرالايدۇ ، مۇرەككەپ سۈنئىي ئەقىل سىستېمىسىنى باشقۇرۇشقا قولايلىق يارىتىدۇ.

كەلگۈسى خىزمەت

كەلگۈسى خىزمەت تۆۋەندىكىلەرنى ئۆز ئىچىگە ئالىدۇ:

1. DSPy ۋە LangChain ئۈچۈن تېخىمۇ كۆپ ئىقتىدارلارنى تەرەققىي قىلدۇرۇش.
2. DSPy ۋە LangChain نىڭ ئىقتىدارى ۋە كېڭەيتىشچانلىقىنى ئاشۇرۇش.
3. DSPy ۋە LangChain ئۈچۈن تېخىمۇ كۆپ ئوركېستىرلاش ۋە ئاپتوماتلاشتۇرۇش قوراللىرىنى تەرەققىي قىلدۇرۇش.
4. DSPy ۋە LangChain ئۈچۈن تېخىمۇ كۆپ كۆرۈنۈش ۋە باشقۇرۇش تاختىسى قۇرۇش.

پايدىلانمىلار

1. DSPy ھۆججىتى: https://dspy.readthedocs.io/en/latest/
2. LangChain ھۆججىتى: https://langchain.readthedocs.io/en/latest/
3. Apache Airflow ھۆججىتى: https://airflow.apache.org/docs/apache-airflow/stable/index.html
4. Kubernetes ھۆججىتى: https://kubernetes.io/docs/home/