په LLM استدلال کې پرمختګونه: یو تخنیکي ژور غوطه

پیژندنه

د لویو ژبو ماډلونو (LLMs) په وروستیو کلونو کې د طبیعي ژبې پروسس کولو (NLP) په ډګر کې انقلاب راوستی دی. دې ماډلونو د NLP په مختلفو دندو کې خورا عصري پایلې ترلاسه کړې، پشمول د ژبې ژباړه، د متن لنډیز، او د پوښتنو ځوابونه. په هرصورت، د LLMs ریښتیني ظرفیت د مفکورو ترمنځ د پیچلو اړیکو د استدلال او پوهیدو په وړتیا کې دی. پدې مقاله کې ، موږ به د LLM استدلال کې پرمختګونو ته وده ورکړو ، د اصلي تخنیکونو ، جوړښتونو او ننګونو سپړنه.

شالید

LLMs د عصبي شبکې یو ډول دی چې د متن ډیټا په پراخه کچه روزل کیږي ترڅو د کلمو او مفکورو ترمینځ نمونې او اړیکې زده کړي. دا ماډلونه عموما د کوډر او ډیکوډر څخه جوړ دي، چیرته چې کوډ کوونکی د ان پټ متن پروسس کوي او کوډ کوونکی د محصول متن تولیدوي. کوډګر معمولا د ټرانسفارمر پر بنسټ جوړښت دی، کوم چې په ځانګړې توګه د متن په څیر د ترتیب شوي معلوماتو لپاره مناسب دی.

د ټرانسفارمر جوړښت

د ټرانسفارمر جوړښت، د واسواني او ال لخوا "توجه ټول تاسو ته اړتیا ده" په مقاله کې معرفي شوي. (2017)، د LLMs لپاره د حقیقت معیار ګرځیدلی. ټرانسفارمر د کوډ کوونکی او یو ډیکوډر څخه جوړ دی، هر یو د څو پرتونو څخه جوړ شوی. هر پرت دوه فرعي پرتونه لري: د ځان پاملرنې میکانیزم او په بشپړ ډول د فیډ فارورډ شبکه (FFNN).

``پېتون د واردولو مشعل torch.nn د nn په توګه وارد کړئ

ټولګي ټرانسفارمر لیر (nn.Module): def init(ځان، d_model، n_heads، d_ff): سپر (د ټرانسفارمر لیر، ځان).init() self.self_attn = nn.Multi Head Attention(d_model, n_heads) self.ffnn = nn.Linear(d_model, d_ff) self.dropout = nn.dropout(0.1) self.layer_norm = nn.LayerNorm(d_model)

def فارورډ (ځان، x):
    # د ځان پاملرنې میکانیزم
    x_attn = self.self_attn(x, x)
    x_attn = self.dropout(x_attn)
    x_attn = x + x_attn

    #FFNN
    x_ffnn = self.ffnn(x_attn)
    x_ffnn = ځان پریښودل(x_ffnn)
    x_ffnn = self.layer_norm(x_ffnn + x_attn)

    بېرته x_ffnn

``

په LLM استدلال کې پرمختګونه

LLMs د مفاهیمو ترمنځ د پیچلو اړیکو د استدلال او پوهیدو په برخه کې د پام وړ پرمختګ کړی دی. ځینې ​​مهم پرمختګونه پدې کې شامل دي:

1. د ګراف پر بنسټ استدلال

د ګراف پر بنسټ استدلال د ګراف په توګه د پوهې استازیتوب کوي، چیرې چې نوډونه د مفکورو استازیتوب کوي او څنډې د دوی ترمنځ د اړیکو استازیتوب کوي. LLMs د دې ګرافونو په اړه د دلیل لپاره روزل کیدی شي، د نوډونو ترمنځ د اړیکو په اړه وړاندوینې کوي.

زنګ ګراف استعمال کړئ::ګراف؛ neural_network::NeuralNetwork وکاروئ؛

fn graph_reasoning (ګراف: & ګراف، پوښتنه: &str) -> تار { اجازه راکړئ سرایت = neural_network.query(ګراف، پوښتنه)؛ اجازه راکړئ نتیجه = neural_network.reason(ګراف، سرایت)؛ result.to_string() } ``

2. د څو کارونو زده کړه

د څو کارونو زده کړه په یو وخت کې د څو کارونو لپاره د یو واحد ماډل روزنه شامله ده. دا طریقه په مختلفو دندو کې د LLMs فعالیت ښه کولو لپاره ښودل شوې، پشمول د پیچلو اړیکو استدلال او پوهه.

لاړ شه اصلي بسته

واردول( "fmt" "gonum.org/v1/gonum/mat" )

د ماډل جوړښت ډول { * nn.linear * nn.linear }

func (m *Model) Forward(x *mat.Dense) *mat.Dense { // فارورډ پاس z := m. خطي(x) z = m. خطي(z) بیرته راګرځئ z } ``

3. د پاملرنې میکانیزمونه

د پاملرنې میکانیزمونه LLMs ته اجازه ورکوي چې د محصول تولیدولو پرمهال د ان پټ متن ځانګړي برخو باندې تمرکز وکړي. دا طریقه په مختلفو دندو کې د LLMs فعالیت ښه کولو لپاره ښودل شوې، پشمول د پیچلو اړیکو استدلال او پوهه.

``پېتون د واردولو مشعل torch.nn د nn په توګه وارد کړئ

ټولګي د پاملرنې میکانیزم (nn.Module): def init (ځان، d_model، n_heads): سپر (د توجه میکانیزم، ځان).init() self.query = nn.Linear(d_model, d_model) self.key = nn.Linear(d_model, d_model) self.value = nn.Linear(d_model, d_model) self.dropout = nn.dropout(0.1) self.layer_norm = nn.LayerNorm(d_model)

def فارورډ (ځان، x):
    # پوښتنه، کلیدي او ارزښت
    q = self.query(x)
    k = self.key(x)
    v = ځان ارزښت(x)

    # د پام وړ وزنونه
    وزن = torch.matmul(q, k.T) / math.sqrt(q.shape[1])
    وزن = د ځان څخه غورځول (وزن)
    وزن = torch.softmax(وزن، dim=-1)

    # د متن ویکتور
    context = torch.matmul(وزن، v)

    بیرته ستنیدنه

``

لید

د مختلفو دندو په اړه د LLMs فعالیت لیدلو لپاره، موږ کولی شو یو چارټ وکاروو ترڅو په ورکړل شوي دنده کې د مختلف ماډلونو دقت پرتله کړو. دلته د Chart.js په کارولو سره د چارټ یوه بیلګه ده:

json { "ډول": "بار" "ډاټا": { "labels": ["Task 1", "Task 2", "Task 3"], "ډاټاسایټ": [ { "label": "ماډل ۱", "ډاټا": [0.8, 0.7, 0.9], "backgroundColor": "rgba(255, 99, 132, 0.2)", "borderColor": "rgba(255, 99, 132, 1)", "borderWidth": 1 }، { "label": "ماډل 2", "ډاټا": [0.9, 0.8, 0.7], "backgroundColor": "rgba(54, 162, 235, 0.2)", "borderColor": "rgba(54, 162, 235, 1)", "borderWidth": 1 } ] }، "اختیارونه": { "عنوان": { "ښکاره": ریښتیا، "text": "په مختلفو کارونو کې د مختلفو موډلونو دقت" }، "ترازې": { "yAxes": [ { "ticks": { "beginAtZero": ریښتیا } } ] } } }

پایله

پدې مقاله کې ، موږ د LLM استدلال کې پرمختګونه سپړلي ، پشمول د ګراف پراساس استدلال ، څو کاري زده کړې ، او د پاملرنې میکانیزمونه. موږ د دې مفکورو د روښانه کولو لپاره په Python، Rust او Go کې د کوډ مثالونه هم چمتو کړي دي. په نهایت کې، موږ په مختلفو دندو کې د LLMs فعالیت لیدلو لپاره یو چارټ کارولی دی. دا پرمختګونه د NLP په ساحه کې د انقلاب کولو وړتیا لري، د LLMs توان ورکوي چې د مفکورو تر منځ پیچلي اړیکو دلیل او پوه کړي.

حوالې

• واسواني او نور. (2017). پاملرنه ټول هغه څه دي چې تاسو ورته اړتیا لرئ. arXiv پری چاپ arXiv:1706.03762.
• Devlin et al. (۲۰۱۸). BERT: د ژبې د پوهیدو لپاره د ژور دوه اړخیز ټرانسفارمرونو دمخه روزنه. arXiv پری چاپ arXiv:1810.04805.
• Radford et al. (۲۰۱۹). د ژبې موډلونه غیر څارل شوي ملټي ټاسک زده کونکي دي. arXiv مخکی چاپ arXiv:1906.08237.