දත්ත ඇතුළත් කිරීමේ නල මාර්ගයක් සාදන්න | B4N1

දත්ත ඇතුළත් කිරීමේ නල මාර්ගයක් සාදන්න

3 months ago · b4n1 Read time: 5 min

** DSPy සහ LangChain සමඟ AI-බලවත් DevOps සංවිධානය කිරීම: ස්වයංක්‍රීය සිද්ධි විමර්ශනය සඳහා පරිමාණ කළ හැකි ගෘහ නිර්මාණ ශිල්පයක්**

වර්තමාන වේගවත් ඩිජිටල් භූ දර්ශනය තුළ, DevOps කණ්ඩායම් වඩ වඩාත් සංකීර්ණ අභියෝගයකට මුහුණ දෙයි: සිදුවීම් කාර්යක්ෂමව සහ ඵලදායී ලෙස හඳුනා ගැනීම සහ විසඳීම. මෘදුකාංග නිකුතුවේ පරිමාව සහ ප්‍රවේගය වේගවත් වන විට, දෝෂ සහ ආරක්ෂක කඩවීම් ඇතිවීමේ සම්භාවිතාව වර්ධනය වේ. වක්‍රයෙන් ඉදිරියෙන් සිටීමට, සිද්ධි විමර්ශනය සහ විසඳීම ස්වයංක්‍රීය කිරීම සඳහා කෘත්‍රිම බුද්ධියේ (AI) බලය උපයෝගී කර ගන්නා නව්‍ය උපාය මාර්ග සංවිධාන අනුගමනය කළ යුතුය.

මෙම ලිපියෙන්, අපි ස්වයංක්‍රීය සිදුවීම් විමර්ශනය සඳහා පරිමාණ කළ හැකි ගෘහ නිර්මාණ ශිල්පයක් නිර්මාණය කිරීම සඳහා DSPy සහ LangChain භාවිතා කිරීමේ තාක්ෂණික ක්‍රියාත්මක කිරීමේ විස්තර සොයා බලමු. මෙම අති නවීන තාක්‍ෂණ දෙකෙහි ශක්තීන් ඒකාබද්ධ කිරීමෙන්, අපි DevOps කාර්යක්ෂමතාව සහ සඵලතාවය ඉහළ නංවන ශක්තිමත් සහ කාර්යක්ෂම පද්ධතියක් ගොඩනඟන ආකාරය නිරූපණය කරන්නෙමු.

** DSPy සහ LangChain අවබෝධ කර ගැනීම**

අපි තාක්ෂණික ක්‍රියාත්මක කිරීමට පෙර, DSPy සහ LangChain කෙටියෙන් හඳුන්වා දෙමු.

DSPy

DSPy යනු AI බලයෙන් ක්‍රියාත්මක වන යෙදුම් තැනීම සහ යෙදවීම සඳහා ඉහළ මට්ටමේ අතුරු මුහුණතක් සපයන Python පුස්තකාලයකි. එය ඇතුළුව විශේෂාංග රාශියක් ඉදිරිපත් කරයි:

  • ආදර්ශ සේවා: DSPy ඔබට AI මාදිලි API ලෙස සේවය කිරීමට ඉඩ සලසයි, එය පවතින යෙදුම්වලට ඒවා ඒකාබද්ධ කිරීම පහසු කරයි.
  • ආදර්ශ කළමනාකරණය: DSPy විසින් AI ආකෘති කළමනාකරණය සඳහා මෙවලම් සපයයි, ආකෘති යෙදවීම, අධීක්ෂණය සහ අනුවාද ඇතුළත් වේ.
  • දත්ත ඒකාබද්ධ කිරීම: DSPy දත්ත සමුදායන්, APIs සහ ගොනු පද්ධති ඇතුළු විවිධ දත්ත මූලාශ්‍ර සමඟ බාධාවකින් තොරව ඒකාබද්ධ කිරීම සක්‍රීය කරයි.

LangChain

LangChain යනු සංවාදාත්මක AI යෙදුම් ගොඩනැගීම සඳහා රාමුවක් සපයන පයිතන් පුස්තකාලයකි. එය ඇතුළුව විශේෂාංග රාශියක් ඉදිරිපත් කරයි:

  • සංවාද අතුරුමුහුණත්: LangChain chatbots සහ voice Assistant වැනි සංවාද අතුරුමුහුණත් නිර්මාණය කිරීමට හැකියාව ලබා දෙයි.
  • ස්වාභාවික භාෂා සැකසුම් (NLP): LangChain පෙළ වර්ගීකරණය, හැඟීම් විශ්ලේෂණය සහ ආයතන හඳුනාගැනීම ඇතුළු NLP කාර්යයන් සඳහා මෙවලම් සපයයි.
  • දැනුම ප්‍රස්ථාර කළමනාකරණය: LangChain මඟින් සංවාදාත්මක AI යෙදුම් සඳහා අත්‍යවශ්‍ය වන දැනුම් ප්‍රස්ථාර නිර්මාණය කිරීම සහ කළමනාකරණය කිරීම සක්‍රීය කරයි.

පරිමාණය කළ හැකි ගෘහ නිර්මාණ ශිල්පය ගොඩනැගීම

ස්වයංක්‍රීය සිද්ධි විමර්ශනය සඳහා පරිමාණ කළ හැකි ගෘහ නිර්මාණ ශිල්පයක් ගොඩනැගීමට, අපි DSPy සහ LangChain හි ශක්තීන් ඒකාබද්ධ කරන්නෙමු. අපගේ ගෘහ නිර්මාණ ශිල්පය පහත සඳහන් සංරචක වලින් සමන්විත වේ:

  1. දත්ත ආග්‍රහණය: අපි ලඝු-සටහන්, ප්‍රමිතික, සහ API ඇතුළු විවිධ මූලාශ්‍රවලින් දත්ත ලබා ගැනීමට DSPy භාවිත කරන්නෙමු.
  2. දත්ත සැකසීම: විභව සිදුවීම් හඳුනා ගැනීමට AI ආකෘති යොදමින්, අප විසින් ලබා ගන්නා ලද දත්ත සැකසීමට DSPy භාවිතා කරන්නෙමු.
  3. සිදුවීම් හඳුනාගැනීම: අපි පරිශීලකයින්ට පද්ධතිය සමඟ අන්තර් ක්‍රියා කිරීමට සහ සිද්ධි විමර්ශනය සඳහා සන්දර්භය ලබා දීමට ඉඩ සලසමින්, සිදුවීම් හඳුනාගැනීම සඳහා සංවාද අතුරු මුහුණතක් නිර්මාණය කිරීමට LangChain භාවිතා කරන්නෙමු.
  4. දැනුම ප්‍රස්තාර කළමනාකරණය: අපි දැනුම් ප්‍රස්ථාරයක් නිර්මාණය කිරීමට සහ කළමනාකරණය කිරීමට LangChain භාවිතා කරන්නෙමු, එමඟින් සිදුවීම් පිළිබඳ තොරතුරු, ඒවායේ හේතු, බලපෑම් සහ විභේදනය ඇතුළුව ගබඩා කරනු ඇත.
  5. විභේදනය: තීරණ ගැනීම දැනුම් දීමට දැනුම ප්‍රස්ථාරය භාවිතා කරමින්, සිදුවීම් විසඳීමට AI ආකෘති යෙදීමට අපි DSPy භාවිතා කරන්නෙමු.

තාක්ෂණික ක්‍රියාත්මක කිරීම

අපි අපගේ ගෘහ නිර්මාණ ශිල්පයේ තාක්ෂණික ක්‍රියාත්මක කිරීමේ විස්තර වෙත කිමිදෙමු.

දත්ත අවශෝෂණය

අපි ලඝු-සටහන්, ප්‍රමිතික, සහ API ඇතුළු විවිධ මූලාශ්‍රවලින් දත්ත ලබා ගැනීමට DSPy භාවිත කරන්නෙමු. අපි දත්ත සැකසීම සහ ගබඩා කිරීම හසුරුවන DSPy හි DataPipeline පන්තිය භාවිතයෙන් දත්ත ඇතුළත් කිරීමේ නල මාර්ගයක් සාදන්නෙමු.

dsp ලෙස dspy ආනයනය කරන්න


නල මාර්ගය = dsp.DataPipeline()

# නල මාර්ගයට දත්ත මූලාශ්‍ර එක් කරන්න
pipeline.add_source("logs", dsp.LogSource())
pipeline.add_source("මිතික", dsp.MetricSource())
pipeline.add_source("api", dsp.APISsource())

# නල මාර්ගය ආරම්භ කරන්න
නල මාර්ගය.ආරම්භය()

දත්ත සැකසීම

විභව සිද්ධි හඳුනා ගැනීමට AI ආකෘති යොදමින්, ශරීරගත වූ දත්ත සැකසීමට අපි DSPy භාවිත කරන්නෙමු. අපි දත්ත සැකසීම සහ ගබඩා කිරීම හසුරුවන DSPy හි DataPipeline පන්තිය භාවිතයෙන් දත්ත සැකසුම් නල මාර්ගයක් සාදන්නෙමු.

dsp ලෙස dspy ආනයනය කරන්න

# දත්ත සැකසුම් නල මාර්ගයක් සාදන්න
නල මාර්ගය = dsp.DataPipeline()

# නල මාර්ගයට AI ආකෘති එක් කරන්න
pipeline.add_model("සිදුවීම්_අනාවරනය", dsp.IncidentDetectionModel())
pipeline.add_model("විෂමතා_අනාවරනය", dsp.AnomalyDetectionModel())

# නල මාර්ගය ආරම්භ කරන්න
නල මාර්ගය.ආරම්භය()

සිදුවීම් අනාවරණය

පරිශීලකයින්ට පද්ධතිය සමඟ අන්තර් ක්‍රියා කිරීමට සහ සිදුවීම් විමර්ශනය සඳහා සන්දර්භය සැපයීමට, සිද්ධි හඳුනාගැනීම සඳහා සංවාද අතුරු මුහුණතක් නිර්මාණය කිරීමට අපි LangChain භාවිතා කරන්නෙමු.

lc ලෙස langchain ආනයනය කරන්න

# සංවාද අතුරු මුහුණතක් සාදන්න
අතුරු මුහුණත = lc.ConversationalInterface()

# අතුරු මුහුණතට chatbot එකක් එක් කරන්න
interface.add_chatbot("සිද්ධිය_අනාවරනය", lc.Chatbot())

# අතුරු මුහුණත ආරම්භ කරන්න
interface.start()

දැනුම ප්‍රස්තාර කළමනාකරණය

අපි දැනුම් ප්‍රස්ථාරයක් නිර්මාණය කිරීමට සහ කළමනාකරණය කිරීමට LangChain භාවිතා කරන්නෙමු, එමඟින් සිදුවීම් පිළිබඳ තොරතුරු, ඒවායේ හේතු, ප්‍රතිඵල සහ විභේදන ඇතුළුව ගබඩා කරනු ඇත.

lc ලෙස langchain ආනයනය කරන්න

# දැනුම ප්‍රස්ථාරයක් සාදන්න
ප්‍රස්තාරය = lc.KnowledgeGraph()

# ප්‍රස්ථාරයට නෝඩ් එක් කරන්න
graph.add_node("සිද්ධිය1", lc.Node())
graph.add_node("සිද්ධිය2", lc.Node())

# ප්‍රස්ථාරයට දාර එක් කරන්න
graph.add_edge("සිද්ධිය1", "සිද්ධිය2", lc.Edge())

විභේදනය

තීරණ ගැනීම දැනුම් දීමට දැනුම ප්‍රස්ථාරය භාවිතා කරමින් සිදුවීම් විසඳීමට AI ආකෘති යෙදීමට අපි DSPy භාවිත කරන්නෙමු.

dsp ලෙස dspy ආනයනය කරන්න

# විභේදන නල මාර්ගයක් සාදන්න
නල මාර්ගය = dsp.DataPipeline()

# නල මාර්ගයට AI ආකෘති එක් කරන්න
pipeline.add_model("incident_resolution", dsp.IncidentResolutionModel())

# නල මාර්ගය ආරම්භ කරන්න
නල මාර්ගය.ආරම්භය()

ඉහළම 5-10 වැඩිපුරම භාවිතා කරන ලද විධාන/Snippets

DSPy සහ LangChain සඳහා වැඩිපුරම භාවිතා කරන ලද විධාන/snippets 5-10 මෙන්න:

DSPy

  • dsp.DataPipeline(): දත්ත අවශෝෂණය සහ සැකසීම සඳහා දත්ත නල මාර්ගයක් නිර්මාණය කරයි.
  • dsp.add_source(): නල මාර්ගයට දත්ත මූලාශ්‍රයක් එක් කරයි.
  • dsp.add_model(): නල මාර්ගයට AI ආකෘතියක් එක් කරයි.
  • dsp.start(): නල මාර්ගය ආරම්භ කරයි.
  • dsp.stop(): නල මාර්ගය නවත්වයි.

LangChain

  • lc.ConversationalInterface(): සිදුවීම් හඳුනාගැනීම සඳහා සංවාද අතුරු මුහුණතක් නිර්මාණය කරයි.
  • lc.add_chatbot(): අතුරු මුහුණතට chatbot එකක් එක් කරයි.
  • lc.start(): අතුරු මුහුණත ආරම්භ කරයි.
  • lc.KnowledgeGraph(): සිදුවීම් කළමනාකරණය සඳහා දැනුම ප්‍රස්ථාරයක් නිර්මාණය කරයි.
  • lc.add_node(): ප්‍රස්ථාරයට නෝඩයක් එක් කරයි.
  • lc.add_edge(): ප්‍රස්ථාරයට දාරයක් එක් කරයි.

දෘෂ්‍යකරණය

Chart.js භාවිතයෙන් අපගේ ගෘහ නිර්මාණ ශිල්පයේ දෘශ්‍යකරණයක් මෙන්න:

''''ජේසන් { "වර්ගය": "pieChart", "දත්ත": { "ලේබල්": ["දත්ත ආග්‍රහණය", "දත්ත සැකසීම", "සිදුවීම් හඳුනාගැනීම", "දැනුම ප්‍රස්තාර කළමනාකරණය", "විභේදනය"], "දත්ත කට්ටල": [ { "label": "ගෘහ නිර්මාණ සංරචක", "දත්ත": [30, 20, 20, 15, 15], "පසුබිම් වර්ණය": [ "rgba(255, 99, 132, 0.2)", "rgba(54, 162, 235, 0.2)", "rgba(255, 206, 86, 0.2)", "rgba(75, 192, 192, 0.2)", "rgba(153, 102, 255, 0.2)" ], "දේශසීමා වර්ණය": [ "rgba(255, 99, 132, 1)", "rgba(54, 162, 235, 1)", "rgba(255, 206, 86, 1)", "rgba(75, 192, 192, 1)", "rgba(153, 102, 255, 1)" ], "දේශසීමා පළල": 1 } ] }, "විකල්ප": { "මාතෘකාව": { "දර්ශණය": ඇත්ත, "පෙළ": "වාස්තු විද්‍යා සංරචක" }, "පුරාවෘත්තය": { "දර්ශණය": ඇත්ත } } }


මෙම දෘශ්‍යකරණය අපගේ ගෘහනිර්මාණ ශිල්පයේ කොටස් පහ පෙන්වයි, දත්ත ආග්‍රහණය සහ සැකසුම් සංරචක විශාලතම කොටස ලබා ගනී.

** නිගමනය **

මෙම ලිපියෙන් අපි DSPy සහ LangChain භාවිතයෙන් ස්වයංක්‍රීය සිද්ධි විමර්ශනය සඳහා පරිමාණය කළ හැකි ගෘහ නිර්මාණ ශිල්පයක් ගොඩනඟන්නේ කෙසේදැයි පෙන්වා දී ඇත. මෙම අති නවීන තාක්‍ෂණ දෙකෙහි ශක්තීන් ඒකාබද්ධ කිරීමෙන්, අපි DevOps කාර්යක්ෂමතාව සහ සඵලතාවය වැඩි කරන ශක්තිමත් සහ කාර්යක්ෂම පද්ධතියක් නිර්මාණය කර ඇත. අපි කේත කොටස් සහ ගෘහ නිර්මාණ ශිල්පයේ දෘශ්‍යකරණය ඇතුළුව ප්‍රායෝගික ක්‍රියාත්මක කිරීමේ උදාහරණයක් ද සපයා ඇත. මෙම ගෘහනිර්මාණ ශිල්පය අනුගමනය කිරීමෙන්, ආයතනවලට ඔවුන්ගේ සිද්ධි ප්‍රතිචාර කාලය වැඩිදියුණු කිරීමට, අක්‍රීය කාලය අඩු කිරීමට සහ සමස්ත පද්ධතියේ විශ්වසනීයත්වය වැඩි කිරීමට හැකිය.

Have Questions?

Let's Talk

Contact me on LinkedIn