ପରିଚୟ
ବୃହତ ଭାଷା ମଡେଲଗୁଡିକ (LLMs) ନିକଟ ଅତୀତରେ ପ୍ରାକୃତିକ ଭାଷା ପ୍ରକ୍ରିୟାକରଣ (NLP) କ୍ଷେତ୍ରରେ ପରିବର୍ତ୍ତନ ଆଣିଛି | ଏହି ମଡେଲଗୁଡିକ ବିଭିନ୍ନ NLP କାର୍ଯ୍ୟଗୁଡ଼ିକରେ ଅତ୍ୟାଧୁନିକ ଫଳାଫଳ ହାସଲ କରିଛନ୍ତି, ଯେପରିକି ଭାଷା ଅନୁବାଦ, ପାଠ୍ୟ ସାରାଂଶ ଏବଂ ପ୍ରଶ୍ନର ଉତ୍ତର | ତଥାପି, LLM ଗୁଡ଼ିକର ପ୍ରକୃତ ସମ୍ଭାବନା ଧାରଣା ଏବଂ ଜଟିଳ ସମ୍ପର୍କକୁ ବୁ understand ିବା ଏବଂ ବୁ understand ିବା କ୍ଷମତା ମଧ୍ୟରେ ଅଛି | ଏହି ଆର୍ଟିକିଲରେ, ଆମେ ଅନ୍ତର୍ନିହିତ କ ques ଶଳ, ସ୍ଥାପତ୍ୟ ଏବଂ ଆହ୍ .ାନଗୁଡିକ ଅନୁସନ୍ଧାନ କରି LLM ଯୁକ୍ତିରେ ଅଗ୍ରଗତି ବିଷୟରେ ଅନୁଧ୍ୟାନ କରିବୁ |
ପୃଷ୍ଠଭୂମି
LLM ଗୁଡିକ ହେଉଛି ଏକ ପ୍ରକାର ସ୍ନାୟୁ ନେଟୱାର୍କ ଯାହା ଶବ୍ଦ ଏବଂ ଧାରଣା ମଧ୍ୟରେ s ାଞ୍ଚା ଏବଂ ସମ୍ପର୍କ ଶିଖିବା ପାଇଁ ବିପୁଳ ପରିମାଣର ପାଠ୍ୟ ତଥ୍ୟ ଉପରେ ତାଲିମ ପ୍ରାପ୍ତ | ଏହି ମଡେଲଗୁଡିକ ସାଧାରଣତ an ଏକ ଏନକୋଡର୍ ଏବଂ ଏକ ଡିକୋଡର୍ ଧାରଣ କରିଥାଏ, ଯେଉଁଠାରେ ଏନକୋଡର୍ ଇନପୁଟ୍ ପାଠ୍ୟ ପ୍ରକ୍ରିୟାକରଣ କରିଥାଏ ଏବଂ ଡିକୋଡର୍ ଆଉଟପୁଟ୍ ପାଠ୍ୟ ସୃଷ୍ଟି କରିଥାଏ | ଏନକୋଡର୍ ସାଧାରଣତ a ଏକ ଟ୍ରାନ୍ସଫର୍ମର-ଆଧାରିତ ସ୍ଥାପତ୍ୟ, ଯାହା ପାଠ୍ୟ ପରି କ୍ରମାଗତ ତଥ୍ୟ ପାଇଁ ବିଶେଷ ଉପଯୁକ୍ତ ଅଟେ |
ଟ୍ରାନ୍ସଫର୍ମର ସ୍ଥାପତ୍ୟ
ଟ୍ରାନ୍ସଫର୍ମର ସ୍ଥାପତ୍ୟ, ଭାସୱାନି ଏବଂ ଅନ୍ୟମାନଙ୍କ ଦ୍ୱାରା “ଧ୍ୟାନ ହେଉଛି ତୁମର ଆବଶ୍ୟକତା” କାଗଜରେ ଉପସ୍ଥାପିତ | (2017), LLM ପାଇଁ ଡି-ଫ୍ୟାକ୍ଟୋ ଷ୍ଟାଣ୍ଡାର୍ଡ ହୋଇଛି | ଟ୍ରାନ୍ସଫର୍ମରଟି ଏକ ଏନକୋଡର୍ ଏବଂ ଏକ ଡିକୋଡର୍ ଧାରଣ କରେ, ପ୍ରତ୍ୟେକଟି ଏକାଧିକ ସ୍ତରରେ ଗଠିତ | ପ୍ରତ୍ୟେକ ସ୍ତର ଦୁଇଟି ଉପ-ସ୍ତର ଧାରଣ କରିଥାଏ: ଏକ ଆତ୍ମ-ଧ୍ୟାନ ଯନ୍ତ୍ର ଏବଂ ଏକ ସଂପୂର୍ଣ୍ଣ ସଂଯୁକ୍ତ ଫିଡ୍-ଫରୱାର୍ଡ ନେଟୱାର୍କ (FFNN) |
"ପାଇଥନ୍ | ମଶାଲ ଆମଦାନି କରନ୍ତୁ | nch ଭାବରେ torch.nn ଆମଦାନି କରନ୍ତୁ |
ଶ୍ରେଣୀ ଟ୍ରାନ୍ସଫର୍ମର ଲେୟାର (nn.Module): def init __ (ସ୍ୱୟଂ, d_model, n_heads, d_ff): ସୁପର (ଟ୍ରାନ୍ସଫର୍ମର ଲେୟାର, ଆତ୍ମ) . init __ () self.self_attn = nn.MultiHeadAttention (d_model, n_heads) self.ffnn = nn.Linear (d_model, d_ff) self.dropout = nn.Dropout (0.1) self.layer_norm = nn.LayerNorm (d_model)
def forward (self, x):
# ଆତ୍ମ-ଧ୍ୟାନ ପ୍ରଣାଳୀ |
x_attn = self.self_attn (x, x)
x_attn = self.dropout (x_attn)
x_attn = x + x_attn
# FFNN
x_ffnn = self.ffnn (x_attn)
x_ffnn = self.dropout (x_ffnn)
x_ffnn = self.layer_norm (x_ffnn + x_attn)
x_ffnn ଫେରସ୍ତ କରନ୍ତୁ |
``
LLM ଯୁକ୍ତିରେ ଅଗ୍ରଗତି |
ଧାରଣା ମଧ୍ୟରେ ଜଟିଳ ସମ୍ପର୍କକୁ ବୁ understanding ିବା ଏବଂ ବୁ understanding ିବାରେ LLM ଗୁଡିକ ଗୁରୁତ୍ୱପୂର୍ଣ୍ଣ ଅଗ୍ରଗତି କରିଛନ୍ତି | କେତେକ ପ୍ରମୁଖ ଅଗ୍ରଗତି ଅନ୍ତର୍ଭୁକ୍ତ:
1। ଗ୍ରାଫ୍-ଆଧାରିତ କାରଣ |
ଗ୍ରାଫ୍-ଆଧାରିତ ଯୁକ୍ତି ଜ୍ଞାନକୁ ଏକ ଗ୍ରାଫ୍ ଭାବରେ ପ୍ରତିନିଧିତ୍ୱ କରେ, ଯେଉଁଠାରେ ନୋଡଗୁଡ଼ିକ ଧାରଣାକୁ ପ୍ରତିନିଧିତ୍ୱ କରେ ଏବଂ ଧାରଗୁଡ଼ିକ ସେମାନଙ୍କ ମଧ୍ୟରେ ସମ୍ପର୍କକୁ ପ୍ରତିନିଧିତ୍ୱ କରେ | ନୋଡଗୁଡିକ ମଧ୍ୟରେ ସମ୍ପର୍କ ବିଷୟରେ ଭବିଷ୍ୟବାଣୀ କରି, ଏହି ଗ୍ରାଫ୍ ବିଷୟରେ ଯୁକ୍ତି କରିବାକୁ LLM ଗୁଡ଼ିକୁ ତାଲିମ ଦିଆଯାଇପାରେ |
"କଳଙ୍କ ଗ୍ରାଫ୍ ବ୍ୟବହାର କରନ୍ତୁ: ଗ୍ରାଫ୍; neural_network ବ୍ୟବହାର କରନ୍ତୁ :: NeuralNetwork;
fn graph_reasoning (ଗ୍ରାଫ୍: & ଗ୍ରାଫ୍, ଜିଜ୍ଞାସା: & str) -> ଷ୍ଟ୍ରିଙ୍ଗ୍ { ଏମ୍ବେଡିଂ କରିବାକୁ ଦିଅନ୍ତୁ = neural_network.query (ଗ୍ରାଫ୍, ଜିଜ୍ଞାସା); ଫଳାଫଳ ଦିଅନ୍ତୁ = neural_network.reason (ଗ୍ରାଫ୍, ଏମ୍ବେଡିଂ); result.to_string () } ``
2 ମଲ୍ଟି-ଟାସ୍କ ଲର୍ନିଂ |
ମଲ୍ଟି-ଟାସ୍କ ଶିକ୍ଷଣ ଏକାସାଙ୍ଗରେ ଏକାଧିକ କାର୍ଯ୍ୟ ଉପରେ ଏକକ ମଡେଲକୁ ତାଲିମ ଦେବା ସହିତ ଜଡିତ | ବିଭିନ୍ନ କାର୍ଯ୍ୟ ଉପରେ LLM ଗୁଡ଼ିକର କାର୍ଯ୍ୟଦକ୍ଷତାକୁ ଉନ୍ନତ କରିବା ପାଇଁ ଏହି ପଦ୍ଧତି ଦର୍ଶାଯାଇଛି, ଜଟିଳ ସମ୍ପର୍କକୁ ଯୁକ୍ତି କରିବା ଏବଂ ବୁ understanding ିବା ସହିତ |
`` ଯାଅ ପ୍ୟାକେଜ୍ ମେନ୍ |
ଆମଦାନି ( "fmt" "gonum.org/v1/gonum/mat" )
ମଡେଲ୍ struct ଟାଇପ୍ କରନ୍ତୁ * nn * nn }
ଫଙ୍କସ୍ (ମି * ମଡେଲ୍) ଅଗ୍ରଗାମୀ (x * mat.Dense) * mat.Dense { // ଅଗ୍ରଗାମୀ ପାସ୍ | z: = m ଲାଇନ୍ (x) z = m.Linear (z) ଫେରସ୍ତ z } ``
3। ଧ୍ୟାନ ପ୍ରଣାଳୀ |
ଧ୍ୟାନ ପ୍ରଣାଳୀ LLM ଗୁଡ଼ିକୁ ଆଉଟପୁଟ୍ ସୃଷ୍ଟି କରିବା ସମୟରେ ଇନପୁଟ୍ ପାଠ୍ୟର ନିର୍ଦ୍ଦିଷ୍ଟ ଅଂଶ ଉପରେ ଧ୍ୟାନ ଦେବାକୁ ଅନୁମତି ଦିଏ | ବିଭିନ୍ନ କାର୍ଯ୍ୟରେ LLM ଗୁଡ଼ିକର କାର୍ଯ୍ୟଦକ୍ଷତାକୁ ଉନ୍ନତ କରିବା ପାଇଁ ଯୁକ୍ତିଯୁକ୍ତ ଏବଂ ଜଟିଳ ସମ୍ପର୍କ ବୁ understanding ିବା ସହିତ ଏହି ପଦ୍ଧତି ଦର୍ଶାଯାଇଛି |
"ପାଇଥନ୍ | ମଶାଲ ଆମଦାନି କରନ୍ତୁ | nch ଭାବରେ torch.nn ଆମଦାନି କରନ୍ତୁ |
ଶ୍ରେଣୀ ଧ୍ୟାନ ମେକାନିଜିମ୍ (nn.Module): def init __ (ଆତ୍ମ, d_model, n_heads): ସୁପର (AttentionMechanism, self) . init __ () self.query = nn.Linear (d_model, d_model) self.key = nn.Linear (d_model, d_model) self.value = nn.Linear (d_model, d_model) self.dropout = nn.Dropout (0.1) self.layer_norm = nn.LayerNorm (d_model)
def forward (self, x):
# ଜିଜ୍ଞାସା, ଚାବି, ଏବଂ ମୂଲ୍ୟ |
q = self.query (x)
k = self.key (x)
v = self.value (x)
# ଧ୍ୟାନ ଓଜନ |
ଓଜନ = torch.matmul (q, k.T) / math.sqrt (q.shape [1])
ଓଜନ = self.dropout (ଓଜନ)
ଓଜନ = torch.softmax (ଓଜନ, dim = -1)
# ପ୍ରସଙ୍ଗ ଭେକ୍ଟର୍ |
ପ୍ରସଙ୍ଗ = torch.matmul (ଓଜନ, v)
ଫେରସ୍ତ ପ୍ରସଙ୍ଗ
``
ଭିଜୁଆଲାଇଜେସନ୍
ବିଭିନ୍ନ କାର୍ଯ୍ୟରେ LLM ର କାର୍ଯ୍ୟଦକ୍ଷତାକୁ ଭିଜୁଆଲ୍ କରିବାକୁ, ଏକ ନିର୍ଦ୍ଦିଷ୍ଟ କାର୍ଯ୍ୟରେ ବିଭିନ୍ନ ମଡେଲଗୁଡିକର ସଠିକତା ତୁଳନା କରିବାକୁ ଆମେ ଏକ ଚାର୍ଟ ବ୍ୟବହାର କରିପାରିବା | Chart.js ବ୍ୟବହାର କରି ଏକ ଚାର୍ଟର ଏକ ଉଦାହରଣ ଏଠାରେ ଅଛି:
json { "ପ୍ରକାର": "ଦଣ୍ଡିକା", "ଡାଟା": { "ଲେବଲ୍": ["ଟାସ୍କ 1", "ଟାସ୍କ 2", "ଟାସ୍କ 3"], "ଡାଟାବେସ୍": [ { "ଲେବଲ୍": "ମଡେଲ୍ 1", "ତଥ୍ୟ": [0.8, 0.7, 0.9], "ପୃଷ୍ଠଭୂମି ରଙ୍ଗ": "rgba (255, 99, 132, 0.2)", "borderColor": "rgba (255, 99, 132, 1)", "ସୀମା ଓସାର": 1 }, { "ଲେବଲ୍": "ମଡେଲ୍ 2", "ତଥ୍ୟ": [0.9, 0.8, 0.7], "ପୃଷ୍ଠଭୂମି ରଙ୍ଗ": "rgba (54, 162, 235, 0.2)", "borderColor": "rgba (54, 162, 235, 1)", "ସୀମା ଓସାର": 1 } ] }, "ବିକଳ୍ପଗୁଡିକ": { "ଆଖ୍ୟା": { "ପ୍ରଦର୍ଶନ": ସତ୍ୟ, "ପାଠ୍ୟ": "ବିଭିନ୍ନ କାର୍ଯ୍ୟରେ ବିଭିନ୍ନ ମଡେଲଗୁଡିକର ସଠିକତା" }, "ମାପ": { "yAxes": [ { "ଟିକ୍ସ": { "startAtZero": ସତ୍ୟ | } } ] } } }
ସିଦ୍ଧାନ୍ତ
ଏହି ଆର୍ଟିକିଲରେ, ଆମେ LLM ଯୁକ୍ତିରେ ଅଗ୍ରଗତି ଅନୁସନ୍ଧାନ କରିଛୁ, ଗ୍ରାଫ୍-ଆଧାରିତ ଯୁକ୍ତି, ମଲ୍ଟି-ଟାସ୍କ ଲର୍ନିଂ, ଏବଂ ଧ୍ୟାନ ପ୍ରଣାଳୀ | ଏହି ଧାରଣାଗୁଡ଼ିକୁ ବର୍ଣ୍ଣନା କରିବାକୁ ଆମେ ପାଇଥନ୍, ରୁଷ୍ଟ, ଏବଂ ଗୋରେ କୋଡ୍ ଉଦାହରଣ ମଧ୍ୟ ପ୍ରଦାନ କରିଛୁ | ଶେଷରେ, ବିଭିନ୍ନ କାର୍ଯ୍ୟରେ LLM ର କାର୍ଯ୍ୟଦକ୍ଷତାକୁ ଭିଜୁଆଲ୍ କରିବାକୁ ଆମେ ଏକ ଚାର୍ଟ ବ୍ୟବହାର କରିଛୁ | ଏହି ଅଗ୍ରଗତିଗୁଡିକ NLP କ୍ଷେତ୍ରରେ ବ revolution ପ୍ଳବିକ କରିବାର କ୍ଷମତା ରଖିଛି, LLM ଗୁଡ଼ିକୁ ଧାରଣା ମଧ୍ୟରେ ଜଟିଳ ସମ୍ପର୍କକୁ ବୁ understand ିବା ଏବଂ ବୁ understand ିବାରେ ସକ୍ଷମ କରେ |
ସନ୍ଦର୍ଭ
- ଭାସୱାନି ଏବଂ ଅନ୍ୟମାନେ | (2017) ଧ୍ୟାନ ତୁମର ସମସ୍ତ ଆବଶ୍ୟକ | arXiv ପ୍ରିଣ୍ଟର୍ arXiv: 1706.03762 |
- ଡେଭଲିନ୍ ଏବଂ ଅନ୍ୟମାନେ | (2018) ବର୍ଟ: ଭାଷା ବୁ standing ିବା ପାଇଁ ଗଭୀର ଦ୍ୱି-ଦିଗୀୟ ଟ୍ରାନ୍ସଫର୍ମରର ପ୍ରି-ଟ୍ରେନିଂ | arXiv ପ୍ରିଣ୍ଟର୍ arXiv: 1810.04805 |
- ରେଡଫୋର୍ଡ୍ ଏଲ୍। (2019) ଭାଷା ମଡେଲଗୁଡ଼ିକ ହେଉଛି ଅସୁରକ୍ଷିତ ମଲ୍ଟିଟାସ୍କ ଶିକ୍ଷାର୍ଥୀ | arXiv ପ୍ରିଣ୍ଟର୍ arXiv: 1906.08237 |