Awọn ilọsiwaju ni Idi LLM: Dive Technical Jin Dive

Ifihan

Awọn awoṣe Ede nla (LLMs) ti ṣe iyipada aaye ti iṣelọpọ ede adayeba (NLP) ni awọn ọdun aipẹ. Awọn awoṣe wọnyi ti ṣaṣeyọri awọn abajade-ti-ti-aworan ni ọpọlọpọ awọn iṣẹ ṣiṣe NLP, pẹlu itumọ ede, akopọ ọrọ, ati idahun ibeere. Sibẹsibẹ, agbara otitọ ti LLM wa ni agbara wọn lati ronu ati loye awọn ibatan idiju laarin awọn imọran. Ninu àpilẹkọ yii, a yoo ṣawari sinu awọn ilọsiwaju ni ero LLM, ṣawari awọn ilana ti o wa ni ipilẹ, awọn ile-iṣẹ, ati awọn italaya.

Lẹhin

Awọn LLM jẹ iru nẹtiwọọki nkankikan ti o jẹ ikẹkọ lori iye pupọ ti data ọrọ lati kọ ẹkọ awọn ilana ati awọn ibatan laarin awọn ọrọ ati awọn imọran. Awọn awoṣe wọnyi ni igbagbogbo ni koodu koodu ati oluyipada kan, nibiti koodu koodu ṣe ilana ọrọ titẹ sii ati oluyipada ṣe ipilẹṣẹ ọrọ ti o wu jade. Awọn kooduopo nigbagbogbo jẹ faaji ti o da lori transformer, eyiti o baamu ni pataki fun data lẹsẹsẹ bi ọrọ.

Amunawa Architecture

Awọn faaji transformer, ti a ṣe ninu iwe "Ifiyesi jẹ Gbogbo Ohun ti O Nilo" nipasẹ Vaswani et al. (2017), ti di boṣewa de facto fun LLMs. Oluyipada naa ni koodu koodu ati oluyipada kan, ọkọọkan ti o ni awọn fẹlẹfẹlẹ pupọ. Layer kọọkan ni awọn ipele-ipin meji: ẹrọ ifarabalẹ ti ara ẹni ati nẹtiwọọki ifunni siwaju ti a ti sopọ ni kikun (FFNN).

`` Python gbe wọle ògùṣọ agbewọle ògùṣọ.nn bi nn

kilasi TransformerLayer(nn.Module): defi init(ara-ara, d_model, n_heads, d_ff): Super (AyiyipadaLayer, ara).init() self.self_attn = nn.MultiHeadAttention(d_model, n_heads) self.ffnn = nn.Linear(d_model, d_ff) ara ẹni.dropout = nn.Dropout (0.1) self.layer_norm = nn.LayerNorm(d_model)

pa siwaju (ara, x):
    # Ilana akiyesi ara ẹni
    x_attn = ara.self_attn(x, x)
    x_attn = ara-idasilẹ (x_attn)
    x_attn = x + x_attn

    # FFNN
    x_ffnn = ara-ẹni.ffnn (x_attn)
    x_ffnn = ara-idasilẹ (x_ffnn)
    x_ffnn = ara.layer_norm(x_ffnn + x_attn)

    pada x_ffnn


## Awọn ilọsiwaju ni Idi LLM

Awọn LLM ti ṣe ilọsiwaju pataki ni ero ati oye awọn ibatan idiju laarin awọn imọran. Diẹ ninu awọn ilọsiwaju bọtini pẹlu:

### 1. Ipilẹ-Idi-Eya

Idiyemọ ti o da lori aworan pẹlu iṣoju imọ bi aworan kan, nibiti awọn apa ṣe aṣoju awọn imọran ati awọn egbegbe ṣe aṣoju awọn ibatan laarin wọn. LLM le jẹ ikẹkọ lati ronu nipa awọn aworan wọnyi, ṣiṣe awọn asọtẹlẹ nipa awọn ibatan laarin awọn apa.

`` ipata
lo awonya :: Aworan;
lo neural_network :: NeuralNetwork;

fn graph_reasoning (aworan: &Ayaya, ibeere: &str) -> Okun {
    jẹ ki ifibọ = neural_network.query (aya, ìbéèrè);
    jẹ ki abajade = neural_network.reason (aya, ifibọ);
    esi.to_okun()
}

2. Olona-ṣiṣe Learning

Ẹkọ iṣẹ-ọpọlọpọ pẹlu ikẹkọ awoṣe ẹyọkan lori awọn iṣẹ ṣiṣe lọpọlọpọ nigbakanna. Ọna yii ti han lati mu ilọsiwaju iṣẹ ti LLMs sori awọn iṣẹ ṣiṣe lọpọlọpọ, pẹlu ironu ati oye awọn ibatan idiju.

package akọkọ

gbe wọle (
	"fmt"
	"gonum.org/v1/gonum/mat"
)

Iru awoṣe awoṣe {
	* nn.Laini
	* nn.Laini
}

func (m *Awoṣe) Siwaju(x *mat.Dense) *mat.Dense {
	// Siwaju kọja
	z:= m.Linear(x)
	z = m.Laini(z)
	pada z
}

3. Akiyesi Mechanisms

Awọn ọna ṣiṣe akiyesi gba awọn LLM laaye lati dojukọ awọn apakan kan pato ti ọrọ titẹ sii nigbati o ba n ṣe iṣelọpọ. Ọna yii ti han lati mu ilọsiwaju iṣẹ ti LLMs sori awọn iṣẹ ṣiṣe lọpọlọpọ, pẹlu ironu ati oye awọn ibatan idiju.

`` Python gbe wọle ògùṣọ agbewọle ògùṣọ.nn bi nn

kilasi AttentionMechanism(nn.Module): defi init(ara-ara, d_model, n_heads): super (AttentionMechanism, ara).init() self.query = nn.Linear(d_model, d_model) self.key = nn.Linear(d_model, d_model) self.value = nn.Linear(d_model, d_model) ara ẹni.dropout = nn.Dropout (0.1) self.layer_norm = nn.LayerNorm(d_model)

pa siwaju (ara, x):
    # Ibeere, bọtini, ati iye
    q = ara. ibeere (x)
    k = ara.bọtini (x)
    v = ara-iye (x)

    # Awọn iwuwo akiyesi
    òṣuwọn = ògùṣọ.matmul (q, k.T) / math.sqrt (q.apẹrẹ[1])
    òṣuwọn = ara.dropout(ìwọ̀n)
    òṣuwọn = ògùṣọ.softmax(ìwọ̀n, dim=-1)

    # fekito ọrọ
    ipo = ògùṣọ.matmul (awọn òṣuwọn, v)

    pada o tọ


## Wiwo

Lati wo iṣẹ ṣiṣe ti LLMs lori awọn iṣẹ ṣiṣe lọpọlọpọ, a le lo chart kan lati ṣe afiwe deede ti awọn awoṣe oriṣiriṣi lori iṣẹ ṣiṣe ti a fifun. Eyi ni apẹẹrẹ ti chart kan nipa lilo Chart.js:

`` json
{
  "type": "ọgọ",
  "data": {
    "labels": ["Iṣẹ 1", "Iṣẹ 2", "Iṣẹ 3"],
    "awọn ipilẹ data": [
      {
        "label": "Awoṣe 1",
        "data": [0.8, 0.7, 0.9],
        "backgroundColor": "rgba(255, 99, 132, 0.2)",
        "borderColor": "rgba(255, 99, 132, 1)",
        "AalaWidth": 1
      },
      {
        "label": "Awoṣe 2",
        "data": [0.9, 0.8, 0.7],
        "backgroundColor": "rgba(54, 162, 235, 0.2)",
        "borderColor": "rgba(54, 162, 235, 1)",
        "AalaWidth": 1
      }
    ]
  },
  "awọn aṣayan": {
    "akọle": {
      "ifihan": otitọ,
      "text": "Ipeye ti Awọn Awoṣe Oriṣiriṣi lori Awọn iṣẹ-ṣiṣe Oniruuru"
    },
    "iwọn": {
      "yAxes": [
        {
          "awọn ami": {
            "beginAtZero": otitọ
          }
        }
      ]
    }
  }
}

Ipari

Ninu àpilẹkọ yii, a ti ṣawari awọn ilọsiwaju ni ero LLM, pẹlu awọn ero ti o da lori aworan, ẹkọ iṣẹ-ṣiṣe pupọ, ati awọn ilana akiyesi. A tun ti pese awọn apẹẹrẹ koodu ni Python, Rust, ati Lọ lati ṣe apejuwe awọn imọran wọnyi. Nikẹhin, a ti lo aworan apẹrẹ kan lati wo iṣẹ ṣiṣe ti LLM lori awọn iṣẹ ṣiṣe lọpọlọpọ. Awọn ilọsiwaju wọnyi ni agbara lati ṣe iyipada aaye ti NLP, ṣiṣe awọn LLMs lati ronu ati loye awọn ibatan idiju laarin awọn imọran.

Awọn itọkasi

Vaswani et al. (2017). Ifarabalẹ ni Gbogbo Ohun ti O Nilo. arXiv preprint arXiv: 1706.03762.
Devlin et al. (2018). BERT: Ikẹkọ-tẹlẹ ti Awọn Ayirapada Bidirectional Jin fun Oye Ede. arXiv preprint arXiv: 1810.04805.
Radford et al. (2019). Awọn awoṣe Ede jẹ Awọn Akẹẹkọ Multitask Abojuto. arXiv preprint arXiv: 1906.08237.