ஆர்கெஸ்ட்ரேஷன் கருவிகளுடன் பாதுகாப்பான மற்றும் அளவிடக்கூடிய AI-உந்துதல் மென்பொருள் கட்டமைப்பை செயல்படுத்துதல்

அறிமுகம்

செயற்கை நுண்ணறிவு (AI) மென்பொருள் பயன்பாடுகளில் ஒருங்கிணைக்கப்பட்டது, சிக்கலைத் தீர்ப்பது, முடிவெடுப்பது மற்றும் ஆட்டோமேஷன் ஆகியவற்றை நாம் அணுகும் விதத்தில் புரட்சியை ஏற்படுத்தியுள்ளது. இருப்பினும், AI-உந்துதல் பயன்பாடுகள் பெருகிய முறையில் சிக்கலானதாகி வருவதால், பாதுகாப்பான மற்றும் அளவிடக்கூடிய கட்டமைப்பின் தேவை ஒரு அழுத்தமான கவலையாக மாறியுள்ளது. இந்தக் கட்டுரையில், AI முகவர்களை DevOps பைப்லைன்களில் ஒருங்கிணைக்க DSPy மற்றும் LangChain போன்ற ஆர்கெஸ்ட்ரேஷன் கருவிகளைப் பயன்படுத்துவதில் குறிப்பிட்ட முக்கியத்துவத்துடன் AI, மென்பொருள் பொறியியல் மற்றும் DevOps ஆகியவற்றின் குறுக்குவெட்டை ஆராய்வோம்.

AI-உந்துதல் மென்பொருள் கட்டமைப்பின் சவால்கள்

AI-உந்துதல் மென்பொருள் பயன்பாடுகள் மென்பொருள் பொறியாளர்கள் மற்றும் DevOps குழுக்களுக்கு தனித்துவமான சவால்களை ஏற்படுத்துகின்றன. முக்கிய சவால்களில் சில:

• அளவிடுதல்: AI மாதிரிகளுக்கு குறிப்பிடத்தக்க கணக்கீட்டு வளங்கள் தேவைப்படுகின்றன, இது உற்பத்திச் சூழல்களில் அளவிடுதல் சிக்கல்களுக்கு வழிவகுக்கும்.
• பாதுகாப்பு: தரவு நச்சுத்தன்மை மற்றும் மாதிரி தலைகீழ் தாக்குதல்கள் போன்ற தாக்குதல்களுக்கு AI மாதிரிகள் பாதிக்கப்படலாம்.
• ஒருங்கிணைப்பு: AI மாதிரிகள் ஏற்கனவே உள்ள மென்பொருள் அமைப்புகளுடன் ஒருங்கிணைக்கப்பட வேண்டும், இது ஒரு சிக்கலான பணியாக இருக்கலாம்.
• கண்காணிப்பு மற்றும் பராமரிப்பு: AI மாதிரிகள் துல்லியமாகவும் நம்பகமானதாகவும் இருப்பதை உறுதிசெய்ய தொடர்ச்சியான கண்காணிப்பு மற்றும் பராமரிப்பு தேவைப்படுகிறது.

ஆர்கெஸ்ட்ரேஷன் கருவிகள்: DSPy மற்றும் LangChain

DSPy மற்றும் LangChain போன்ற ஆர்கெஸ்ட்ரேஷன் கருவிகள் AI முகவர்களை DevOps பைப்லைன்களில் ஒருங்கிணைப்பதன் மூலம் இந்த சவால்களுக்கு ஒரு தீர்வை வழங்குகிறது. இந்தக் கருவிகள் AI மாதிரிகளை உருவாக்குதல், வரிசைப்படுத்துதல் மற்றும் நிர்வகித்தல், AI- இயக்கப்படும் பயன்பாடுகளுக்கான பாதுகாப்பான மற்றும் அளவிடக்கூடிய கட்டமைப்பை உறுதிசெய்வதற்கான கட்டமைப்பை வழங்குகின்றன.

டிஎஸ்பி

DSPy என்பது பைத்தானின் மேல் கட்டப்பட்ட ஒரு திறந்த மூல ஆர்கெஸ்ட்ரேஷன் கருவியாகும். இது AI மாதிரிகளை உருவாக்க, வரிசைப்படுத்த மற்றும் நிர்வகிப்பதற்கான எளிய மற்றும் உள்ளுணர்வு API ஐ வழங்குகிறது. DSPy ஆனது TensorFlow, PyTorch மற்றும் scikit-learn உள்ளிட்ட பரந்த அளவிலான AI கட்டமைப்புகளை ஆதரிக்கிறது.

LangChain

LangChain என்பது AI மாதிரிகளை உருவாக்க, வரிசைப்படுத்த மற்றும் நிர்வகிப்பதற்கான கட்டமைப்பை வழங்கும் மற்றொரு திறந்த மூல ஆர்கெஸ்ட்ரேஷன் கருவியாகும். லாங்செயின் ரஸ்டின் மேல் கட்டப்பட்டுள்ளது மற்றும் AI முகவர்களை DevOps பைப்லைன்களில் ஒருங்கிணைக்க உயர் செயல்திறன் கொண்ட API ஐ வழங்குகிறது.

DSPy உடன் பாதுகாப்பான மற்றும் அளவிடக்கூடிய AI-உந்துதல் மென்பொருள் கட்டமைப்பை செயல்படுத்துதல்

இந்தப் பிரிவில், பாதுகாப்பான மற்றும் அளவிடக்கூடிய AI- இயக்கப்படும் மென்பொருள் கட்டமைப்பை DSPy உடன் செயல்படுத்துவதற்கான எளிய உதாரணத்தை ஆராய்வோம்.

எடுத்துக்காட்டு: DSPy உடன் ஒரு எளிய AI மாதிரியை உருவாக்குதல்

DSPy ஐப் பயன்படுத்தி ஒரு இயந்திர கற்றல் மாதிரியை உருவாக்குவதற்கான எளிய உதாரணத்தைக் கருத்தில் கொள்வோம். நேரியல் பின்னடைவு மாதிரியை உருவாக்க ஸ்கிகிட்-லேர்ன் லைப்ரரியைப் பயன்படுத்துவோம்.

dsp ஐ dsp ஆக இறக்குமதி செய்
sklearn.linear_model இறக்குமதி LinearRegression இலிருந்து
sklearn.datasets இலிருந்து load_diabetes ஐ இறக்குமதி செய்கிறது

# நீரிழிவு தரவுத்தொகுப்பை ஏற்றவும்
தரவுத்தொகுப்பு = load_diabetes()

# தரவுத்தொகுப்பை பயிற்சி மற்றும் சோதனைத் தொகுப்புகளாகப் பிரிக்கவும்
X_train, X_test, y_train, y_test = dsp.split_dataset(dataset.data, dataset.target, test_size=0.2)

# நேரியல் பின்னடைவு மாதிரியை உருவாக்கவும்
மாதிரி = நேரியல் பின்னடைவு()

# பயிற்சி தரவில் மாதிரியைப் பயிற்றுவிக்கவும்
model.fit(X_train, y_train)

# சோதனை தரவுகளில் மாதிரியை மதிப்பிடவும்
துல்லியம் = model.score(X_test, y_test)
அச்சு(f"மாடல் துல்லியம்: {துல்லியம்:.2f}")

இந்த குறியீடு தொகுதி DSPy ஐப் பயன்படுத்தி ஒரு எளிய இயந்திர கற்றல் மாதிரியை எவ்வாறு உருவாக்குவது என்பதை விளக்குகிறது. நாங்கள் நீரிழிவு தரவுத்தொகுப்பை ஏற்றுகிறோம், அதை பயிற்சி மற்றும் சோதனைத் தொகுப்புகளாகப் பிரித்து, நேரியல் பின்னடைவு மாதிரியை உருவாக்குகிறோம், பயிற்சித் தரவைப் பயிற்றுவிப்போம், சோதனைத் தரவில் அதன் துல்லியத்தை மதிப்பிடுகிறோம்.

LangChain உடன் பாதுகாப்பான மற்றும் அளவிடக்கூடிய AI-உந்துதல் மென்பொருள் கட்டமைப்பை செயல்படுத்துதல்

இந்தப் பிரிவில், LangChain உடன் பாதுகாப்பான மற்றும் அளவிடக்கூடிய AI- இயக்கப்படும் மென்பொருள் கட்டமைப்பை செயல்படுத்துவதற்கான எளிய உதாரணத்தை ஆராய்வோம்.

எடுத்துக்காட்டு: LangChain உடன் ஒரு எளிய AI மாதிரியை உருவாக்குதல்

LangChain ஐப் பயன்படுத்தி ஒரு இயந்திர கற்றல் மாதிரியை உருவாக்குவதற்கான எளிய உதாரணத்தைக் கருத்தில் கொள்வோம். நியூரல் நெட்வொர்க் மாதிரியை உருவாக்க, டென்சர்ஃப்ளோ நூலகத்தைப் பயன்படுத்துவோம்.

லாங்செயினை lc ஆகப் பயன்படுத்தவும்;
tensorflow::prelude::*;

// ஒரு எளிய நரம்பியல் நெட்வொர்க் மாதிரியை வரையறுக்கவும்
fn மாதிரி(உள்ளீடு: &டென்சர்) -> டென்சர் {
    வெளியீடு = input.matmul(&Tensor::new(1, 1));
    வெளியீடு
}

// ஒரு LangChain முகவரை உருவாக்கவும்
முகவர் = lc:: முகவர்:: புதிய (மாதிரி);

// தரவுத்தொகுப்பை வரையறுக்கவும்
தரவுத்தொகுப்பை விடுங்கள் = lc::Dataset::new(vec![
    lc::உதாரணம்::புதிய(vec![1.0, 2.0], vec![3.0]),
    lc::உதாரணம்::புதிய(vec![4.0, 5.0], vec![6.0]),
]);

// தரவுத்தொகுப்பில் மாதிரியைப் பயிற்றுவிக்கவும்
agent.train(&dataset);

// தரவுத்தொகுப்பில் மாதிரியை மதிப்பிடவும்
நாம் துல்லியம் = agent.evaluate(&dataset);
println!("மாதிரி துல்லியம்: {}", துல்லியம்);

LangChain ஐப் பயன்படுத்தி ஒரு எளிய இயந்திர கற்றல் மாதிரியை எவ்வாறு உருவாக்குவது என்பதை இந்த குறியீடு தொகுதி விளக்குகிறது. நாங்கள் ஒரு எளிய நரம்பியல் நெட்வொர்க் மாதிரியை வரையறுக்கிறோம், லாங்செயின் முகவரை உருவாக்குகிறோம், தரவுத்தொகுப்பை வரையறுக்கிறோம், தரவுத்தொகுப்பில் மாதிரியைப் பயிற்றுவிப்போம், தரவுத்தொகுப்பில் அதன் துல்லியத்தை மதிப்பிடுகிறோம்.

முதல் 5-10 அதிகம் பயன்படுத்தப்படும் கட்டளைகள்/துணுக்குகள்

DSPy மற்றும் LangChainக்கு அதிகம் பயன்படுத்தப்படும் 5-10 கட்டளைகள்/துணுக்குகள் இங்கே:

டிஎஸ்பி

• dsp.split_dataset(data, target, test_size=0.2): தரவுத்தொகுப்பை பயிற்சி மற்றும் சோதனைத் தொகுப்புகளாகப் பிரிக்கிறது.
• dsp.build_model(model_name, model_params): குறிப்பிட்ட மாதிரி பெயர் மற்றும் அளவுருக்களைப் பயன்படுத்தி இயந்திர கற்றல் மாதிரியை உருவாக்குகிறது.
• dsp.train_model(மாதிரி, தரவு): குறிப்பிட்ட தரவுகளில் இயந்திர கற்றல் மாதிரியைப் பயிற்றுவிக்கிறது.
• dsp.evaluate_model(மாதிரி, தரவு): குறிப்பிட்ட தரவுகளில் இயந்திர கற்றல் மாதிரியின் செயல்திறனை மதிப்பிடுகிறது.
• dsp.deploy_model(model, server_url): குறிப்பிட்ட சர்வர் URLக்கு இயந்திர கற்றல் மாதிரியை வரிசைப்படுத்துகிறது.

LangChain

• lc::Agent::new(model): குறிப்பிட்ட மாதிரியைப் பயன்படுத்தி LangChain முகவரை உருவாக்குகிறது.
• lc::Dataset::new(exams): குறிப்பிட்ட எடுத்துக்காட்டுகளைப் பயன்படுத்தி LangChain தரவுத்தொகுப்பை உருவாக்குகிறது.
• lc::train(agent, dataset): குறிப்பிட்ட தரவுத்தொகுப்பில் LangChain முகவருக்குப் பயிற்சியளிக்கிறது.
• lc:: evaluate(agent, dataset): குறிப்பிட்ட தரவுத்தொகுப்பில் LangChain ஏஜெண்டின் செயல்திறனை மதிப்பிடுகிறது.
• lc:: deploy(agent, server_url): குறிப்பிட்ட சர்வர் URL க்கு LangChain முகவரைப் பயன்படுத்துகிறது.

காட்சிப்படுத்தல்

Chart.jsஐப் பயன்படுத்தி AI-உந்துதல் மென்பொருள் கட்டமைப்பின் எளிய காட்சிப்படுத்தல் இங்கே:

const ctx = document.getElementById('myChart').getContext('2d');
கான்ஸ்ட் விளக்கப்படம் = புதிய விளக்கப்படம்(ctx, {
    வகை: 'பார்',
    தரவு: {
        லேபிள்கள்: ['பயிற்சி நேரம்', 'அனுமான நேரம்', 'மாடல் துல்லியம்'],
        தரவுத்தொகுப்புகள்: [{
            லேபிள்: 'டிஎஸ்பி',
            தரவு: [10, 5, 90],
            பின்னணி நிறம்: 'rgba(255, 99, 132, 0.2)',
            எல்லை வண்ணம்: 'rgba(255, 99, 132, 1)',
            எல்லை அகலம்: 1
        }, {
            லேபிள்: 'LangChain',
            தரவு: [8, 6, 92],
            பின்னணி நிறம்: 'rgba(54, 162, 235, 0.2)',
            எல்லை வண்ணம்: 'rgba(54, 162, 235, 1)',
            எல்லை அகலம்: 1
        }]
    },
    விருப்பங்கள்: {
        அளவுகள்: {
            y: {
                startAtZero: உண்மை
            }
        }
    }
});

இந்த குறியீடு தொகுதி DSPy மற்றும் LangChain இன் செயல்திறனைக் காட்சிப்படுத்த Chart.js ஐப் பயன்படுத்தி எளிய பட்டை விளக்கப்படத்தை உருவாக்குகிறது.

முடிவு

இந்தக் கட்டுரையில், AI முகவர்களை DevOps பைப்லைன்களில் ஒருங்கிணைக்க DSPy மற்றும் LangChain போன்ற ஆர்கெஸ்ட்ரேஷன் கருவிகளைப் பயன்படுத்துவதில் குறிப்பிட்ட முக்கியத்துவத்துடன், AI, மென்பொருள் பொறியியல் மற்றும் DevOps ஆகியவற்றின் குறுக்குவெட்டை நாங்கள் ஆராய்ந்தோம். DSPy மற்றும் LangChain ஐப் பயன்படுத்தி பாதுகாப்பான மற்றும் அளவிடக்கூடிய AI- இயக்கப்படும் மென்பொருள் கட்டமைப்பை எவ்வாறு செயல்படுத்துவது என்பதை நாங்கள் நிரூபித்தோம், மேலும் ஒவ்வொரு கருவியைப் பயன்படுத்தி ஒரு இயந்திர கற்றல் மாதிரியை உருவாக்குவதற்கான எளிய உதாரணத்தையும் வழங்கினோம். ஒவ்வொரு கருவிக்கும் அதிகமாகப் பயன்படுத்தப்படும் 5-10 கட்டளைகள்/துணுக்குகள் மற்றும் Chart.jsஐப் பயன்படுத்தி AI-இயக்கப்படும் மென்பொருள் கட்டமைப்பின் எளிமையான காட்சிப்படுத்தலையும் வழங்கினோம்.