Melaksanakan Seni Bina Perisian Didorong AI yang Selamat dan Boleh Skala dengan Alat Orkestrasi | B4N1

Melaksanakan Seni Bina Perisian Didorong AI yang Selamat dan Boleh Skala dengan Alat Orkestrasi

3 months ago · b4n1 Read time: 4 min

Pengenalan

Penyepaduan Kecerdasan Buatan (AI) ke dalam aplikasi perisian telah merevolusikan cara kami mendekati penyelesaian masalah, membuat keputusan dan automasi. Walau bagaimanapun, apabila aplikasi dipacu AI menjadi semakin kompleks, keperluan untuk seni bina yang selamat dan berskala telah menjadi kebimbangan yang mendesak. Dalam artikel ini, kami akan meneroka persimpangan AI, kejuruteraan perisian dan DevOps, dengan penekanan khusus untuk menggunakan alat orkestra seperti DSPy dan LangChain untuk menyepadukan ejen AI ke dalam saluran paip DevOps.

Cabaran Seni Bina Perisian Didorong AI

Aplikasi perisian dipacu AI menimbulkan cabaran unik kepada jurutera perisian dan pasukan DevOps. Beberapa cabaran utama termasuk:

  • Skalabiliti: Model AI memerlukan sumber pengiraan yang ketara, yang boleh membawa kepada isu kebolehskalaan dalam persekitaran pengeluaran.
  • Keselamatan: Model AI boleh terdedah kepada serangan, seperti keracunan data dan serangan penyongsangan model.
  • Integrasi: Model AI perlu disepadukan dengan sistem perisian sedia ada, yang boleh menjadi tugas yang rumit.
  • Pemantauan dan Penyelenggaraan: Model AI memerlukan pemantauan dan penyelenggaraan berterusan untuk memastikan ia kekal tepat dan boleh dipercayai.

Alat Orkestrasi: DSPy dan LangChain

Alat orkestra seperti DSPy dan LangChain menyediakan penyelesaian kepada cabaran ini dengan membolehkan penyepaduan ejen AI ke dalam saluran paip DevOps. Alat ini menyediakan rangka kerja untuk membina, menggunakan dan mengurus model AI, memastikan seni bina yang selamat dan berskala untuk aplikasi dipacu AI.

DSPy

DSPy ialah alat orkestrasi sumber terbuka yang dibina di atas Python. Ia menyediakan API yang mudah dan intuitif untuk membina, menggunakan dan mengurus model AI. DSPy menyokong pelbagai rangka kerja AI, termasuk TensorFlow, PyTorch dan scikit-learn.

LangChain

LangChain ialah satu lagi alat orkestrasi sumber terbuka yang menyediakan rangka kerja untuk membina, menggunakan dan mengurus model AI. LangChain dibina di atas Rust dan menyediakan API berprestasi tinggi untuk menyepadukan ejen AI ke dalam saluran paip DevOps.

Melaksanakan Seni Bina Perisian Dipacu AI yang Selamat dan Boleh Skala dengan DSPy

Dalam bahagian ini, kami akan meneroka contoh mudah untuk melaksanakan seni bina perisian dipacu AI yang selamat dan boleh skala dengan DSPy.

Contoh: Membina Model AI Mudah dengan DSPy

Mari kita pertimbangkan contoh mudah membina model pembelajaran mesin menggunakan DSPy. Kami akan menggunakan perpustakaan scikit-learn untuk membina model regresi linear.

import dspy sebagai dsp
daripada import sklearn.linear_model LinearRegression
daripada sklearn.datasets import load_diabetes

# Muatkan set data diabetes
set data = load_diabetes()

# Pisahkan set data kepada set latihan dan ujian
X_train, X_test, y_train, y_test = dsp.split_dataset(dataset.data, dataset.target, test_size=0.2)

# Bina model regresi linear
model = LinearRegression()

# Latih model pada data latihan
model.fit(X_train, y_train)

# Nilaikan model pada data ujian
ketepatan = model.skor(X_test, y_test)
print(f"Ketepatan model: {ketepatan:.2f}")

Blok kod ini menunjukkan cara membina model pembelajaran mesin mudah menggunakan DSPy. Kami memuatkan set data diabetes, membahagikannya kepada set latihan dan ujian, membina model regresi linear, melatihnya pada data latihan dan menilai ketepatannya pada data ujian.

Melaksanakan Seni Bina Perisian Didorong AI yang Selamat dan Boleh Skala dengan LangChain

Dalam bahagian ini, kami akan meneroka contoh mudah untuk melaksanakan seni bina perisian dipacu AI yang selamat dan boleh skala dengan LangChain.

Contoh: Membina Model AI Mudah dengan LangChain

Mari kita pertimbangkan contoh mudah membina model pembelajaran mesin menggunakan LangChain. Kami akan menggunakan perpustakaan TensorFlow untuk membina model rangkaian saraf.

gunakan langchain sebagai lc;
gunakan aliran tensor::prelude::*;

// Tentukan model rangkaian neural yang mudah
model fn(input: &Tensor) -> Tensor {
    biarkan output = input.matmul(&Tensor::new(1, 1));
    keluaran
}

// Buat ejen LangChain
biarkan ejen = lc::Agent::new(model);

// Tentukan set data
biarkan dataset = lc::Dataset::new(vec![
    lc::Contoh::baru(vec![1.0, 2.0], vec![3.0]),
    lc::Contoh::baharu(vec![4.0, 5.0], vec![6.0]),
]);

// Latih model pada set data
agent.train(&set data);

// Nilaikan model pada set data
biarkan ketepatan = agent.evaluate(&dataset);
println!("Ketepatan model: {}", ketepatan);

Blok kod ini menunjukkan cara membina model pembelajaran mesin mudah menggunakan LangChain. Kami mentakrifkan model rangkaian saraf yang mudah, mencipta ejen LangChain, mentakrifkan set data, melatih model pada set data dan menilai ketepatannya pada set data.

5-10 Arahan/Snippet Paling Banyak Digunakan

Berikut ialah 5-10 arahan/coretan teratas yang paling banyak digunakan untuk DSPy dan LangChain:

DSPy

  • dsp.split_dataset(data, target, test_size=0.2): Membahagikan set data kepada set latihan dan ujian.
  • dsp.build_model(model_name, model_params): Membina model pembelajaran mesin menggunakan nama model dan parameter yang ditentukan.
  • dsp.train_model(model, data): Melatih model pembelajaran mesin pada data yang ditentukan.
  • dsp.evaluate_model(model, data): Menilai prestasi model pembelajaran mesin pada data yang ditentukan.
  • dsp.deploy_model(model, server_url): Menggunakan model pembelajaran mesin ke URL pelayan yang ditentukan.

LangChain

  • lc::Agent::new(model): Mencipta ejen LangChain menggunakan model yang ditentukan.
  • lc::Dataset::new(example): Mencipta set data LangChain menggunakan contoh yang ditentukan.
  • lc::train(agent, dataset): Melatih ejen LangChain pada set data yang ditentukan.
  • lc::evaluate(agent, dataset): Menilai prestasi ejen LangChain pada set data yang ditentukan.
  • lc::deploy(agent, server_url): Menggunakan ejen LangChain ke URL pelayan yang ditentukan.

Visualisasi

Berikut ialah visualisasi ringkas seni bina perisian dipacu AI menggunakan Chart.js:

const ctx = document.getElementById('myChart').getContext('2d');
carta const = Carta baharu(ctx, {
    jenis: 'bar',
    data: {
        label: ['Masa Latihan', 'Masa Inferens', 'Ketepatan Model'],
        set data: [{
            label: 'DSPy',
            data: [10, 5, 90],
            Warna latar belakang: 'rgba(255, 99, 132, 0.2)',
            Warna sempadan: 'rgba(255, 99, 132, 1)',
            Lebar sempadan: 1
        }, {
            label: 'LangChain',
            data: [8, 6, 92],
            Warna latar belakang: 'rgba(54, 162, 235, 0.2)',
            Warna sempadan: 'rgba(54, 162, 235, 1)',
            Lebar sempadan: 1
        }]
    },
    pilihan: {
        skala: {
            y: {
                beginAtZero: benar
            }
        }
    }
});

Blok kod ini mencipta carta bar ringkas menggunakan Chart.js untuk menggambarkan prestasi DSPy dan LangChain.

Kesimpulan

Dalam artikel ini, kami meneroka persimpangan AI, kejuruteraan perisian dan DevOps, dengan penekanan khusus pada penggunaan alat orkestra seperti DSPy dan LangChain untuk menyepadukan ejen AI ke dalam saluran paip DevOps. Kami menunjukkan cara untuk melaksanakan seni bina perisian dipacu AI yang selamat dan berskala menggunakan DSPy dan LangChain, dan memberikan contoh mudah untuk membina model pembelajaran mesin menggunakan setiap alat. Kami juga menyediakan 5-10 arahan/coretan teratas yang paling banyak digunakan untuk setiap alat dan visualisasi mudah seni bina perisian dipacu AI menggunakan Chart.js.

Have Questions?

Let's Talk

Contact me on LinkedIn