Whakataki
Ko nga Tauira Reo Nui (LLMs) kua huri i te waahi o te tukatuka reo maori (NLP) i nga tau tata nei. Kua tutuki i enei tauira nga hua hou i roto i nga momo mahi NLP, tae atu ki te whakamaoritanga reo, te whakarapopototanga tuhinga, me te whakautu patai. Heoi ano, ko te tino kaha o nga LLM kei roto i to raatau kaha ki te whakaaro me te mohio ki nga hononga uaua i waenga i nga kaupapa. I roto i tenei tuhinga, ka rukuhia e tatou nga ahunga whakamua i roto i te whakaaro LLM, te tirotiro i nga tikanga, nga hoahoanga me nga wero.
Papamuri
Ko nga LLM he momo whatunga neural kua whakangungua ki te maha o nga raraunga kuputuhi hei ako i nga tauira me nga hononga i waenga i nga kupu me nga ariā. Kei roto i enei tauira he encoder me te wetewaehere, kei reira te encoder e tukatuka ana i te tuhinga whakauru me te wetewetehere hei whakaputa i te tuhinga whakaputa. Ko te whakawaehere he hoahoanga-a-whakawhiti, he mea tino pai mo nga raraunga raupapa penei i te tuhinga.
Hangahanga Kaihuri
Ko te hoahoanga hurihuri, i whakauruhia ki te pepa "Attention is All You Need" na Vaswani et al. (2017), kua noho hei paerewa pono mo nga LLM. Kei roto i te kaitahuri he encoder me te wetewaehere, he maha nga papahanga o ia waahanga. E rua nga paparanga o ia paparanga: he tikanga aro-whaiaro me tetahi whatunga whangai-whakamua (FFNN).
rama kawemai
kawemai rama.nn hei nn
class TransformerLayer(nn.Module):
def __init__(whaiaro, d_model, n_heads, d_ff):
super(TransformerLayer, self).__init__()
self.self_attn = nn.MultiHeadAttention(d_tauira, n_upoko)
self.ffnn = nn.Raina(d_tauira, d_ff)
self.dropout = nn.Whakarerea(0.1)
self.layer_norm = nn.LayerNorm(d_tauira)
def whakamua(whaiaro, x):
# Tikanga aro-whaiaro
x_attn = whaiaro.self_attn(x, x)
x_attn = self.dropout(x_attn)
x_attn = x + x_attn
# FFNN
x_ffnn = whaiaro.ffnn(x_attn)
x_ffnn = self.dropout(x_ffnn)
x_ffnn = self.layer_norm(x_ffnn + x_attn)
hoki x_ffnn
Nga whakamua i roto i te LLM Reasoning
He nui te ahunga whakamua a nga LLM ki te whakaaro me te mohio ki nga hononga uaua i waenga i nga ariā. Ko etahi o nga ahunga whakamua matua ko:
1. Te Whakaaro-a-Kauwhata
Ko te whakaaro i runga i te kauwhata ko te whakaatu i te matauranga hei kauwhata, ko nga pona hei tohu i nga ariā me nga taha e tohu ana i nga hononga i waenga i a raatau. Ka taea te whakangungua nga LLM ki te whakaaro mo enei kauwhata, ma te matapae mo nga hononga i waenga i nga pona.
whakamahi kauwhata::Kauwhata;
whakamahia neural_network::NeuralNetwork;
fn graph_reasoning(graph: &Graph, ui: &str) -> String {
tukua te whakauru = neural_network.query(graph, query);
kia hua = neural_network.reason(kauwhata, whakauru);
result.to_string()
}
2. Akoranga Mahi-maha
Ko te ako maha-mahi he whakangungu i te tauira kotahi mo nga mahi maha i te wa kotahi. Kua whakaatuhia tenei huarahi ki te whakapai ake i nga mahi a nga LLM i runga i nga momo mahi, tae atu ki te whakaaro me te mohio ki nga hononga uaua.
mōkihi matua
kawemai (
"fmt"
"gonum.org/v1/gonum/mat"
)
momo Hanga tauira {
*nn.Rarangi
*nn.Rarangi
}
func (m *Model) Whakamua(x *mat.Dense) *mat.Dense {
// Haere whakamua
z := m.Raina(x)
z = m.Raina(z)
hoki z
}
3. Nga Tikanga Atawhai
Ko nga tikanga aro ka taea e nga LLM te aro ki nga waahanga motuhake o te tuhinga whakauru i te wa e whakaputa ana i te putanga. Kua whakaatuhia tenei huarahi ki te whakapai ake i nga mahi a nga LLM i runga i nga momo mahi, tae atu ki te whakaaro me te mohio ki nga hononga uaua.
rama kawemai
kawemai rama.nn hei nn
class AttentionMechanism(nn.Module):
def __init__(whaiaro, d_model, n_heads):
super(AttentionMechanism, self).__init__()
self.query = nn.Raina(d_tauira, d_tauira)
self.key = nn.Raina(d_tauira, d_tauira)
self.value = nn.Raina(d_tauira, d_tauira)
self.dropout = nn.Whakarerea(0.1)
self.layer_norm = nn.LayerNorm(d_tauira)
def whakamua(whaiaro, x):
# Uiui, matua, me te uara
q = whaiaro. uiui(x)
k = whaiaro.key(x)
v = whaiaro.uara(x)
# Taumaha aro
taumaha = torch.matmul(q, k.T) / math.sqrt(q.shape[1])
taumaha = self.dropout(weights)
taumaha = torch.softmax(taimaha, atarua=-1)
# Horopaki vector
horopaki = torch.matmul(taimaha, v)
horopaki hoki
Whakaaturanga
Hei whakaata i nga mahi a nga LLM i runga i nga momo mahi, ka taea e tatou te whakamahi i te tūtohi hei whakataurite i te tika o nga tauira rereke i runga i tetahi mahi. Anei he tauira o te tūtohi e whakamahi ana i te Chart.js:
{
"type": "pae",
"raraunga": {
"labels": ["Tumahi 1", "Tumahi 2", "Tumahi 3"],
"raunga raraunga": [
{
"label": "Tauira 1",
"raraunga": [0.8, 0.7, 0.9],
"backgroundColor": "rgba(255, 99, 132, 0.2)",
"borderColor": "rgba(255, 99, 132, 1)",
"BorderWidth": 1
},
{
"label": "Tauira 2",
"raraunga": [0.9, 0.8, 0.7],
"backgroundColor": "rgba(54, 162, 235, 0.2)",
"borderColor": "rgba(54, 162, 235, 1)",
"BorderWidth": 1
}
]
},
"kōwhiringa": {
"taitara": {
"whakaatu": pono,
"text": "Te tika o nga tauira rereke mo nga mahi rereke"
},
"tauine": {
"yAxes": [
{
"tika": {
"beginAtZero": pono
}
}
]
}
}
}
Whakamutunga
I roto i tenei tuhinga, kua tirotirohia e matou nga ahunga whakamua i roto i te whakaaro LLM, tae atu ki te whakaaro-kauwhata, te ako mahi-maha, me nga tikanga aro. Kua tukuna ano e matou etahi tauira waehere i roto i te Python, Rust, me te Haere hei whakaatu i enei ariā. Ka mutu, kua whakamahia e matou he tūtohi hei whakaata i nga mahi a nga LLM i runga i nga momo mahi. Ko enei ahunga whakamua ka kaha ki te whakarereke i te mara o te NLP, ka taea e nga LLM te whakaaro me te mohio ki nga hononga uaua i waenga i nga kaupapa.
Tohutoro
- Vaswani et al. (2017). Ko te aro anake e hiahia ana koe. arXiv preprint arXiv:1706.03762.
- Devlin et al. (2018). BERT: Whakangungu i mua i nga Kaihuri Aro-rua mo te Maramatanga o te Reo. arXiv preprint arXiv:1810.04805.
- Radford et al. (2019). Ko nga Tauira Reo he Kaiako Mahi-maha Karekau e tirotirohia. arXiv preprint arXiv:1906.08237.