Кереш
Зур тел модельләре (LLM) соңгы елларда табигый тел эшкәртү өлкәсендә революция ясадылар (NLP). Бу модельләр төрле NLP биремнәрендә заманча нәтиҗәләргә ирештеләр, шул исәптән тел тәрҗемә итү, текстны гомумиләштерү, сорауларга җавап бирү. Ләкин, LLMларның чын потенциалы аларның концепцияләр арасындагы катлаулы мөнәсәбәтләрне аңлау һәм аңлау сәләтендә. Бу мәкаләдә без LLM фикер йөртүендәге алгарышларны тикшерәчәкбез, төп техниканы, архитектураны, проблемаларны өйрәнәчәкбез.
Фон
LLM - нейрон челтәрнең бер төре, ул сүзләр һәм төшенчәләр арасындагы үрнәкләрне һәм бәйләнешләрне өйрәнү өчен бик күп текст мәгълүматлары буенча күнегелгән. Бу модельләр гадәттә кодлаучы һәм декодердан тора, анда кодлау кертү текстын эшкәртә һәм декодер чыгару текстын чыгара. Анкодер гадәттә трансформатор нигезендәге архитектура, ул текст кебек эзлекле мәгълүматлар өчен аеруча яраклы.
Трансформатор архитектурасы
Васвани һ.б.ның "Игътибар - сезгә кирәк" кәгазендә кертелгән трансформатор архитектурасы. (2017), LLMлар өчен де-факто стандартына әйләнде. Трансформатор кодлаучы һәм декодердан тора, һәрберсе берничә каттан тора. Eachәр катлам ике суб-катламнан тора: үз-үзеңә игътибар итү механизмы һәм тулы бәйләнгән азык-төлек челтәре (FFNN).
"питон факел кертү факелны импортлагыз
класс TransformerLayer (nn.Module): def init __ (үз, d_model, n_heads, d_ff): супер (TransformerLayer, үз) . init __ () self.self_attn = nn.MultiHeadAttention (d_model, n_heads) self.ffnn = nn.Linear (d_model, d_ff) self.dropout = nn.Dropout (0,1) self.layer_norm = nn.LayerNorm (d_model)
def алга (үз, х):
# Selfз-үзеңә игътибар итү механизмы
x_attn = self.self_attn (x, x)
x_attn = self.dropout (x_attn)
x_attn = x + x_attn
# FFNN
x_ffnn = self.ffnn (x_attn)
x_ffnn = self.dropout (x_ffnn)
x_ffnn = self.layer_norm (x_ffnn + x_attn)
x_ffnn кайтару
"
LLM Сөйләшүдә алга китеш
LLMлар фикерләр һәм төшенчәләр арасындагы катлаулы мөнәсәбәтләрне аңлауда зур уңышларга ирештеләр. Кайбер төп казанышлар:
1. График нигездә фикер йөртү
Графка нигезләнгән фикер йөртү белемнәрне график итеп күрсәтүне үз эченә ала, анда төеннәр төшенчәләрне, кырлар алар арасындагы мөнәсәбәтләрне күрсәтәләр. LLMларны бу графиклар турында уйларга, төеннәр арасындагы мөнәсәбәтләр турында фаразларга өйрәтергә мөмкин.
"дат график кулланыгыз :: График; neural_network кулланыгыз :: NeuralNetwork;
fn graph_reasoning (график: & График, сорау: & str) -> Сызык { урнаштыру = neural_network.query (график, сорау) булсын; нәтиҗә = neural_network.reason булсын (график, урнаштыру); result.to_string () } "
2. Күп биремле уку
Күп биремле уку бер үк вакытта берничә эш буенча бер модельне укытуны үз эченә ала. Бу алым LLMларның төрле биремнәрдә эшләвен яхшырту өчен күрсәтелде, шул исәптән фикер йөртү һәм катлаулы мөнәсәбәтләрне аңлау.
"бар төп пакет
импорт ( "fmt" "gonum.org/v1/gonum/mat" )
модель структурасы type * нн * нн }
функция (м * модель) Алга (х * мат.Денс) * мат.Денс { // Алга җибәрү z: = m.Linear (x) z = m.Линар (z) кайту z } "
3. Игътибар механизмнары
Игътибар механизмнары LLM-ларга чыгыш ясаганда кертү текстының аерым өлешләренә игътибар итергә мөмкинлек бирә. Бу алым LLMларның төрле биремнәрдә эшләвен яхшырту өчен күрсәтелде, шул исәптән фикер йөртү һәм катлаулы мөнәсәбәтләрне аңлау.
"питон факел кертү факелны импортлагыз
класс AttentionMechanism (nn.Module): def init __ (үз, d_model, n_heads): супер (Игътибар Механизм, үзең) . init __ () self.query = nn.Linear (d_model, d_model) self.key = nn.Linear (d_model, d_model) self.value = nn.Linear (d_model, d_model) self.dropout = nn.Dropout (0,1) self.layer_norm = nn.LayerNorm (d_model)
def алга (үз, х):
# Сорау, ачкыч, кыйммәт
q = self.query (x)
k = self.key (x)
v = self.value (x)
# Игътибар авырлыклары
авырлыклар = факел.матмул (q, k.T) / math.sqrt (q.shape [1])
авырлыклар = үз-үзеңне ташлау (авырлыклар)
авырлыклар = факел.софтмакс (авырлыклар, караңгы = -1)
# Контекст векторы
контекст = факел.матмул (авырлыклар, v)
кире контекст
"
Визуализация
Төрле биремнәрдә LLMларның эшләвен күз алдына китерү өчен, без бирелгән биремдә төрле модельләрнең төгәллеген чагыштыру өчен диаграмма куллана алабыз. Менә Chart.js ярдәмендә диаграмма мисалы:
"json { "тип": "бар", "мәгълүмат": { "этикеткалар": ["1 нче бирем", "2 нче бирем", "3 нче бирем"], "мәгълүматлар базасы": [ { "ярлык": "Модель 1", "мәгълүмат": [0.8, 0.7, 0.9], "backgroundColor": "rgba (255, 99, 132, 0,2)", "borderColor": "rgba (255, 99, 132, 1)", "чик киңлеге": 1 }, { "ярлык": "Модель 2", "мәгълүмат": [0.9, 0.8, 0.7], "backgroundColor": "rgba (54, 162, 235, 0,2)", "borderColor": "rgba (54, 162, 235, 1)", "чик киңлеге": 1 } ] }, "вариантлар": { "титул": { "күрсәтү": дөрес, "текст": "Төрле биремнәрдә төрле модельләрнең төгәллеге" }, "тараза": { "yAxes": [ { "таллар": { "startAtZero": дөрес } } ] } } } "
Йомгаклау
Бу мәкаләдә без LLM фикер йөртүендәге алгарышларны өйрәндек, шул исәптән график нигезле фикер йөртү, күп эшле уку, игътибар механизмнары. Бу төшенчәләрне күрсәтү өчен без Python, Rust, Go-та код мисалларын китердек. Ниһаять, без төрле биремнәрдә LLM эшләрен күз алдына китерү өчен диаграмма кулландык. Бу алгарышлар NLP өлкәсен революцияләү потенциалына ия, LLMларга концепцияләр арасындагы катлаулы мөнәсәбәтләрне уйларга һәм аңларга мөмкинлек бирә.
Белешмәләр
- Васвани һ.б. (2017). Игътибар сезгә кирәк. arXiv алдан бастыру arXiv: 1706.03762.
- Девлин һ.б. (2018). БЕРТ: Телне аңлау өчен тирән ике яклы трансформаторларны алдан әзерләү. arXiv алдан бастыру arXiv: 1810.04805.
- Радфорд һ.б. (2019). Тел модельләре - күзәтелмәгән мультипаск өйрәнүчеләр. arXiv алдан бастыру arXiv: 1906.08237.