Досягнення в LLM Reasoning: A Technical Deep Dive

Вступ

За останні роки великі мовні моделі (LLM) зробили революцію в області обробки природної мови (NLP). Ці моделі досягли найсучасніших результатів у різних завданнях НЛП, включаючи мовний переклад, резюмування тексту та відповіді на запитання. Однак справжній потенціал LLM полягає в їхній здатності міркувати та розуміти складні відносини між поняттями. У цій статті ми заглибимося в прогрес у міркуванні LLM, досліджуючи основні методи, архітектури та проблеми.

Фон

LLM – це тип нейронної мережі, яка навчається на величезній кількості текстових даних, щоб вивчати шаблони та зв’язки між словами та поняттями. Ці моделі зазвичай складаються з кодера та декодера, де кодер обробляє вхідний текст, а декодер генерує вихідний текст. Кодер зазвичай має архітектуру на основі трансформатора, яка особливо добре підходить для послідовних даних, таких як текст.

Архітектура трансформатора

Архітектура трансформатора, представлена в статті "Увага - це все, що вам потрібно" Васвані та ін. (2017), де-факто став стандартом для LLM. Трансформатор складається з кодера та декодера, кожен з яких складається з кількох рівнів. Кожен рівень складається з двох підрівнів: механізму самоконтролю та повністю підключеної прямої мережі (FFNN).

імпортний факел
імпортувати torch.nn як nn

клас TransformerLayer(nn.Module):
    def __init__(self, d_model, n_heads, d_ff):
        super(TransformerLayer, self).__init__()
        self.self_attn = nn.MultiHeadAttention(d_model, n_heads)
        self.ffnn = nn.Linear(d_model, d_ff)
        self.dropout = nn.Dropout(0,1)
        self.layer_norm = nn.LayerNorm(d_model)

    def forward(self, x):
        # Механізм самоуважності
        x_attn = self.self_attn(x, x)
        x_attn = self.dropout(x_attn)
        x_attn = x + x_attn

        # FFNN
        x_ffnn = self.ffnn(x_attn)
        x_ffnn = self.dropout(x_ffnn)
        x_ffnn = self.layer_norm(x_ffnn + x_attn)

        повернути x_ffnn

Досягнення в міркуванні LLM

LLM досягли значного прогресу в міркуванні та розумінні складних відносин між поняттями. Деякі з ключових досягнень включають:

1. Міркування на основі графіка

Міркування на основі графів передбачає представлення знань у вигляді графа, де вузли представляють поняття, а ребра — зв’язки між ними. LLM можна навчити міркувати про ці графіки, робити прогнози щодо зв’язків між вузлами.

використовуйте graph::Graph;
використовувати neural_network::NeuralNetwork;

fn graph_reasoning(graph: &Graph, query: &str) -> String {
    let embedding = neural_network.query(graph, query);
    let result = neural_network.reason(graph, embedding);
    result.to_string()
}

2. Багатозадачне навчання

Багатозадачне навчання передбачає тренування однієї моделі на кількох завданнях одночасно. Показано, що цей підхід покращує продуктивність магістерів права на різних завданнях, включаючи міркування та розуміння складних відносин.

основний пакет

імпорт (
	"fmt"
	"gonum.org/v1/gonum/mat"
)

type Model struct {
	*nn.Лінійний
	*nn.Лінійний
}

func (m *Model) Forward(x *mat.Dense) *mat.Dense {
	// Передача вперед
	z := m.Linear(x)
	z = m.Linear(z)
	повернення z
}

3. Механізми уваги

Механізми звернення уваги дозволяють LLM зосереджуватися на певних частинах вхідного тексту під час генерації виходу. Показано, що цей підхід покращує продуктивність магістерів права на різних завданнях, включаючи міркування та розуміння складних відносин.

імпортний факел
імпортувати torch.nn як nn

клас AttentionMechanism(nn.Module):
    def __init__(self, d_model, n_heads):
        super(AttentionMechanism, self).__init__()
        self.query = nn.Linear(d_model, d_model)
        self.key = nn.Linear(d_model, d_model)
        self.value = nn.Linear(d_model, d_model)
        self.dropout = nn.Dropout(0,1)
        self.layer_norm = nn.LayerNorm(d_model)

    def forward(self, x):
        # Запит, ключ і значення
        q = self.query(x)
        k = self.key(x)
        v = self.value(x)

        # Ваги уваги
        ваги = torch.matmul(q, k.T) / math.sqrt(q.shape[1])
        ваги = self.dropout(ваги)
        ваги = torch.softmax(ваги, dim=-1)

        # Вектор контексту
        context = torch.matmul(ваги, v)

        повернення контексту

Візуалізація

Щоб візуалізувати продуктивність LLM у різних завданнях, ми можемо використовувати діаграму для порівняння точності різних моделей у певному завданні. Ось приклад діаграми з використанням Chart.js:

{
  "type": "бар",
  "дані": {
    "labels": ["Завдання 1", "Завдання 2", "Завдання 3"],
    "набори даних": [
      {
        "label": "Модель 1",
        "дані": [0,8, 0,7, 0,9],
        "backgroundColor": "rgba(255, 99, 132, 0,2)",
        "borderColor": "rgba(255, 99, 132, 1)",
        "borderWidth": 1
      },
      {
        "label": "Модель 2",
        "дані": [0,9, 0,8, 0,7],
        "backgroundColor": "rgba(54, 162, 235, 0.2)",
        "borderColor": "rgba(54, 162, 235, 1)",
        "borderWidth": 1
      }
    ]
  },
  "параметри": {
    "назва": {
      "display": правда,
      "text": "Точність різних моделей для різних завдань"
    },
    "ваги": {
      "yAxes": [
        {
          "галочки": {
            "beginAtZero": вірно
          }
        }
      ]
    }
  }
}

Висновок

У цій статті ми досліджували прогрес у міркуванні LLM, включаючи міркування на основі графів, багатозадачне навчання та механізми уваги. Ми також надали приклади коду в Python, Rust і Go, щоб проілюструвати ці концепції. Нарешті, ми використали діаграму для візуалізації продуктивності LLM у різних завданнях. Ці досягнення мають потенціал революціонізувати сферу НЛП, дозволяючи магістрам міркувати та розуміти складні відносини між поняттями.

Посилання

Васвані та ін. (2017). Увага – це все, що вам потрібно. препринт arXiv arXiv:1706.03762.
Девлін та ін. (2018). BERT: Попереднє навчання глибоких двонаправлених трансформаторів для розуміння мови. препринт arXiv arXiv:1810.04805.
Редфорд та ін. (2019). Мовні моделі — це багатозадачні учні без контролю. Препринт arXiv arXiv:1906.08237.