Réamhrá
Le blianta beaga anuas tá réabhlóidí déanta ag Múnlaí Móra Teanga (LLManna) i réimse na próiseála teanga nádúrtha (NLP). Tá torthaí úrscothacha bainte amach ag na samhlacha seo i dtascanna éagsúla NLP, lena n-áirítear aistriúchán teanga, achoimriú téacs, agus freagra ceisteanna. Mar sin féin, luíonn fíoracmhainneacht LLManna ina gcumas réasúnaíocht agus tuiscint a fháil ar ghaolmhaireachtaí casta idir coincheapa. San Airteagal seo, scrúdóimid an dul chun cinn atá déanta i réasúnaíocht LLM, ag fiosrú na dteicnící, na hailtireachta agus na dúshláin bhunúsacha.
Cúlra
Is cineál de líonra néarúil iad LLManna atá oilte ar mhéideanna ollmhóra sonraí téacs chun patrúin agus caidrimh idir focail agus coincheapa a fhoghlaim. Is éard atá sna samhlacha seo go hiondúil ná ionchódóir agus díchódóir, áit a bpróiseálann an t-ionchódóir an téacs ionchuir agus gineann an díchódóir an téacs aschuir. De ghnáth is ailtireacht atá bunaithe ar chlaochladán é an t-ionchódóir, a oireann go háirithe do shonraí seicheamhacha cosúil le téacs.
Ailtireacht Trasfhoirmeora
An ailtireacht claochladáin, a tugadh isteach sa pháipéar "Attention is All You Need" le Vaswani et al. (2017), an caighdeán de facto do LLManna. Is éard atá sa chlaochladán ná ionchódóir agus díchódóir, gach ceann comhdhéanta de shraitheanna iolracha. Tá dhá fho-chiseal i ngach ciseal: meicníocht féin-aire agus líonra lán-nasctha ar aghaidh (FFNN).
tóirse allmhairiú
allmhairiú tóirse.nn mar nn
Class TransformerLayer(nn.Modúl):
def __init__(féin, d_mhúnla, n_cinn, d_ff):
sár(Transfhoirmeoir Sraith, tú féin). __init__()
self.self_attn = nn.MultiHeadAttention(d_model, n_heads)
self.ffnn = nn.Líneach(d_model, d_ff)
self.dropout = nn.Dropout(0.1)
self.layer_norm = nn.LayerNorm(d_model)
def ar aghaidh(féin, x):
# Meicníocht féin-aire
x_attn = féin.self_attn(x, x)
x_attn = féin.dropout(x_attn)
x_attn = x + x_attn
#FFNN
x_ffnn = féin.ffnn(x_attn)
x_ffnn = self.dropout(x_ffnn)
x_ffnn = self.layer_norm(x_ffnn + x_attn)
ar ais x_ffnn
Dul chun cinn i Réasúnaíocht LLM
Tá dul chun cinn suntasach déanta ag LLManna maidir le réasúnú agus tuiscint a fháil ar chaidrimh chasta idir coincheapa. I measc cuid de na príomh-dul chun cinn tá:
1. Réasúnaíocht Ghraf-Bhunaithe
Baineann réasúnaíocht ghraf-bhunaithe le heolas a léiriú mar ghraf, áit a seasann nóid do choincheapa agus seasann imill na gaolmhaireachtaí eatarthu. Is féidir LLManna a oiliúint chun réasúnaíocht a dhéanamh faoi na graif seo, ag déanamh tuartha faoi na gaolmhaireachtaí idir nóid.
úsáid graf::Graph;
úsáid neural_network::NeuralNetwork;
fn graph_reasoning(graf: &Graph, ceist: &str) -> Teaghrán {
ligean leabú = neural_network.query(graf, ceist);
lig toradh = neural_network.reason(graf, leabú);
toradh.to_string()
}
2. Foghlaim Ilthasc
Is éard atá i gceist le foghlaim ilthasc ná múnla amháin a oiliúint ar ilthascanna ag an am céanna. Léiríodh go bhfeabhsóidh an cur chuige seo feidhmíocht LLManna ar thascanna éagsúla, lena n-áirítear réasúnú agus tuiscint ar chaidrimh chasta.
príomhphacáiste
iompórtáil (
"fmt"
"gonum.org/v1/gonum/mat"
)
cineál Samhail struchtúr {
*nn.Líneach
*nn.Líneach
}
func (m *Samhail) Ar Aghaidh(x *mat.Dense) *mat.Dense {
// Pas ar aghaidh
z := m. Líneach(x)
z = m. Líneach(z)
filleadh z
}
3. Meicníochtaí Airde
Ligeann meicníochtaí aire do LLManna díriú ar chodanna sonracha den téacs ionchuir agus an t-aschur á ghiniúint acu. Léiríodh go bhfeabhsóidh an cur chuige seo feidhmíocht LLManna ar thascanna éagsúla, lena n-áirítear réasúnú agus tuiscint ar chaidrimh chasta.
tóirse allmhairiú
allmhairiú tóirse.nn mar nn
Meicníocht AttentionMechanism(nn.Modúl):
def __init__(féin, d_mhúnla, n_cinn):
sár(AirdeMeicníocht, féin). __init__()
self.query = nn.Linear(d_model, d_model)
self.key = nn.Linear(d_model, d_model)
self.value = nn.Linear(d_model, d_model)
self.dropout = nn.Dropout(0.1)
self.layer_norm = nn.LayerNorm(d_model)
def ar aghaidh(féin, x):
# Ceist, eochair, agus luach
q = féin.cheist(x)
k = féin. eochair(x)
v = féin.luach(x)
# Meáchain aird
meáchain = tóirse.matmul(q, k.T) / math.sqrt(q.cruth[1])
meáchain = féin. dropout(meáchain)
meáchain = tóirse.softmax(meáchain, dim=-1)
# Comhthéacs veicteoir
comhthéacs = tóirse.matmul(meáchain, v)
comhthéacs filleadh
Amharcléiriú
Chun feidhmíocht LLManna ar thascanna éagsúla a shamhlú, is féidir linn cairt a úsáid chun cruinneas na múnlaí éagsúla ar thasc ar leith a chur i gcomparáid. Seo sampla de chairt a úsáideann Chart.js:
{
"cineál": "barra",
"sonraí": {
"labels": ["Tasc 1", "Tasc 2", "Tasc 3"],
"tacair sonraí": [
{
"label": "Samhail 1",
"sonraí": [0.8, 0.7, 0.9],
"backgroundColor": "rgba(255, 99, 132, 0.2)",
"borderColor": "rgba(255, 99, 132, 1)",
"leithead teorann": 1
},
{
"label": "Samhail 2",
"sonraí": [0.9, 0.8, 0.7],
"backgroundColor": "rgba(54, 162, 235, 0.2)",
"borderColor": "rgba(54, 162, 235, 1)",
"leithead teorann": 1
}
]
},
"roghanna": {
"teideal": {
"taispeáint": fíor,
"text": "Cruinneas Múnlaí Difriúla ar Thascanna Éagsúla"
},
"scálaí": {
"yAiseanna": [
{
"ticeanna": {
"beginAtZero": fíor
}
}
]
}
}
}
Conclúid
San Airteagal seo, tá iniúchadh déanta againn ar an dul chun cinn i réasúnaíocht LLM, lena n-áirítear réasúnaíocht ghraf-bhunaithe, foghlaim il-thasc, agus meicníochtaí aire. Tá samplaí cód curtha ar fáil againn freisin i Python, Rust, agus Go chun na coincheapa seo a léiriú. Ar deireadh, tá cairt úsáidte againn chun feidhmíocht LLManna ar thascanna éagsúla a fheiceáil. D’fhéadfadh an dul chun cinn seo réimse an NLP a réabhlóidiú, ag cur ar chumas LLM gaolmhaireachtaí casta idir coincheapa a réasúnú agus a thuiscint.
Tagairtí
- Vaswani et al. (2017). Tá aird ar fad a theastaíonn uait. arXiv réamhchló arXiv:1706.03762.
- Devlin et al. (2018). BERT: Réamh-oiliúint do Dhomhain-chlaochladáin Déthreo le haghaidh Tuiscint Teanga. arXiv réamhchló arXiv:1810.04805.
- Radford et al. (2019). Is Foghlaimeoirí Ilthascacha Neamh-mhaoirsithe iad Múnlaí Teanga. arXiv réamhchló arXiv:1906.08237.