Створіть RAG | B4N1

Створіть RAG

7 months ago · b4n1 Read time: 4 min

Використання інструментів оркестровки для архітектури програмного забезпечення на основі ШІ

Вступ

Зростаючий попит на архітектуру програмного забезпечення на основі штучного інтелекту призвів до розробки різноманітних інструментів оркестровки, які дозволяють бездоганно інтегрувати можливості штучного інтелекту (AI) і машинного навчання (ML) у програмні системи. У цій статті ми дослідимо реалізацію керованої AI архітектури програмного забезпечення за допомогою таких інструментів оркестровки, як LangChain і DSPy, з акцентом на інтеграцію можливостей RAG (Reasoning and Action Graph) і LLM (Large Language Model) для покращення масштабованості, продуктивності та безпеки.

Що таке інструменти оркестровки?

Інструменти оркестрації – це програмні інфраструктури, які дозволяють автоматизувати складні робочі процеси та процеси шляхом інтеграції кількох служб, програм і систем. Вони забезпечують централізовану платформу для управління та координації взаємодії між різними компонентами, забезпечуючи ефективне та масштабоване виконання завдань.

LangChain: інструмент оркестровки на основі Python

LangChain — це бібліотека Python з відкритим вихідним кодом, яка забезпечує комплексну структуру для створення архітектури програмного забезпечення на основі ШІ. Він пропонує низку функцій, зокрема:

  • Інтеграція RAG (Reasoning and Action Graph): LangChain забезпечує вбудовану реалізацію RAG, що дозволяє створювати складні міркування та графіки дій, які можна використовувати для моделювання та виконання робочих процесів, керованих ШІ.
  • Інтеграція LLM (Large Language Model): LangChain підтримує інтеграцію LLM, таких як LLaMA та BERT, для завдань обробки та генерації природної мови.
  • Масштабованість і продуктивність: LangChain розроблено для обробки великомасштабних навантажень ШІ, забезпечуючи ефективне та масштабоване виконання завдань.

Реалізація архітектури програмного забезпечення на основі штучного інтелекту за допомогою LangChain

Щоб продемонструвати реалізацію керованої штучним інтелектом архітектури програмного забезпечення за допомогою LangChain, розглянемо простий приклад чат-бота, який використовує RAG для обговорення запитів користувачів і створення відповідей.

імпорт Langchain
з langchain.chains імпорт llm


rag = langchain.RAG(
    name="chatbot_rag",
    вузли=[
        {"name": "greeting", "text": "Привіт, чим я можу вам допомогти?"},
        {"name": "до побачення", "text": "До побачення, було приємно з тобою поспілкуватися."},
    ],
    edges=[
        {"from": "greeting", "to": "goodbye", "condition": "user_says_goodbye"},
    ],
)

# Створити LLM
llm = llm.LLM(
    name="chatbot_llm",
    модель="лама",
    max_tokens=100,
)

# Створіть ланцюжок чат-ботів
ланцюг = langchain.Chain(
    name="chatbot_chain",
    llm=llm,
    ганчірка=ганчірка,
)

# Протестуйте чат-бота
user_input = "Привіт, як справи?"
відповідь = chain.run(user_input)
друк (відповідь)

DSPy: інструмент оркестровки на основі Rust

DSPy — це інструмент оркестровки на основі Rust, який забезпечує високопродуктивну та масштабовану структуру для створення архітектури програмного забезпечення на основі ШІ. Він пропонує низку функцій, зокрема:

  • Інтеграція RAG (Reasoning and Action Graph): DSPy забезпечує вбудовану реалізацію RAG, що дозволяє створювати складні міркування та графіки дій, які можна використовувати для моделювання та виконання робочих процесів, керованих ШІ.
  • Інтеграція LLM (Large Language Model): DSPy підтримує інтеграцію LLM, таких як LLaMA та BERT, для завдань обробки та генерації природної мови.
  • Масштабованість і продуктивність: DSPy розроблено для обробки великомасштабних навантажень AI, забезпечуючи ефективне та масштабоване виконання завдань.

Реалізація архітектури програмного забезпечення на основі штучного інтелекту за допомогою DSPy

Щоб продемонструвати реалізацію керованої штучним інтелектом архітектури програмного забезпечення за допомогою DSPy, давайте розглянемо простий приклад чат-бота, який використовує RAG для обговорення запитів користувачів і створення відповідей.

використовуйте dspy::chain;
використовуйте dspy::llm;

// Створити RAG
let rag = chain::RAG::new(
    "chatbot_rag",
    vec![
        chain::Node::new("greeting", "Привіт, чим я можу вам допомогти?"),
        chain::Node::new("до побачення", "До побачення, було приємно з вами поспілкуватися."),
    ],
    vec![
        chain::Edge::new("привітання", "до побачення", "user_says_goodbye"),
    ],
);

// Створення LLM
нехай llm = llm::LLM::new(
    "chatbot_llm",
    "лама",
    100,
);

// Створення ланцюжка чат-ботів
let chain = chain::Chain::new(
    "chatbot_chain",
    llm,
    ганчірка,
);

// Перевірте чат-бота
let user_input = "Привіт, як справи?";
let response = chain.run(user_input);
println!("{}", відповідь);

5-10 найбільш часто використовуваних команд/фрагментів

Ось деякі з найбільш часто використовуваних команд і фрагментів для LangChain і DSPy:

  • LangChain:
    • langchain.RAG(): створює новий екземпляр RAG.
    • langchain.LLM(): створює новий екземпляр LLM.
    • langchain.Chain(): створює новий екземпляр ланцюга.
    • rag.run(): запускає RAG і генерує відповідь.
    • llm.run(): запускає LLM і генерує відповідь.
  • DSPy:
    • dspy::chain::RAG::new(): створює новий екземпляр RAG.
    • dspy::llm::LLM::new(): створює новий екземпляр LLM.
    • dspy::chain::Chain::new(): створює новий екземпляр ланцюга.
    • chain.run(): запускає ланцюжок і генерує відповідь.

Візуалізація

Ось проста візуалізація можливостей RAG і LLM за допомогою Chart.js:

const ctx = document.getElementById('myChart').getContext('2d');
const chart = new Chart(ctx, {
    type: 'бар',
    дані: {
        мітки: ['RAG', 'LLM'],
        набори даних: [{
            мітка: «Можливості»,
            дані: [10, 20],
            фоновий колір: [
                'rgba(255, 99, 132, 0,2)',
                'rgba(54, 162, 235, 0,2)',
            ],
            borderColor: [
                'rgba(255, 99, 132, 1)',
                'rgba(54, 162, 235, 1)',
            ],
            borderWidth: 1
        }]
    },
    параметри: {
        ваги: {
            y: {
                beginAtZero: правда
            }
        }
    }
});

Висновок

LangChain і DSPy — це потужні інструменти оркестровки, які дозволяють реалізувати керовану AI архітектуру програмного забезпечення за допомогою можливостей RAG і LLM. Використовуючи ці інструменти, розробники можуть створювати масштабовані, продуктивні та безпечні системи програмного забезпечення, які можуть обробляти складні навантаження ШІ. Завдяки простоті використання та гнучкості LangChain і DSPy є ідеальним вибором для створення архітектури програмного забезпечення на основі ШІ.

Рекомендації

На основі обговорення в цій статті, ось кілька рекомендацій для розробників, які хочуть реалізувати керовану AI архітектуру програмного забезпечення за допомогою LangChain і DSPy:

  • Почніть із вивчення основ LangChain і DSPy, включаючи їх можливості RAG і LLM.
  • Експериментуйте з простими прикладами, такими як приклад чат-бота, щоб зрозуміти, як працюють інструменти.
  • Поступово переходьте до більш складних проектів, таких як створення системи рекомендацій або конвеєра обробки природної мови.
  • Використовуйте розділ «5-10 найбільш використовуваних команд/фрагментів» як довідник для типових команд і фрагментів.
  • Візуалізуйте свої можливості RAG і LLM за допомогою Chart.js, щоб краще зрозуміти взаємозв’язки між різними компонентами.

Дотримуючись цих рекомендацій, розробники можуть повністю розкрити потенціал LangChain і DSPy і побудувати архітектуру програмного забезпечення на основі ШІ, яка може обробляти складні робочі навантаження та забезпечувати виняткову продуктивність і масштабованість.

Have Questions?

Let's Talk

Contact me on LinkedIn