எல்எல்எம் ரீசனிங்கில் முன்னேற்றங்கள்: ஒரு தொழில்நுட்ப ஆழமான டைவ்

அறிமுகம்

பெரிய மொழி மாதிரிகள் (LLMs) சமீபத்திய ஆண்டுகளில் இயற்கை மொழி செயலாக்க (NLP) துறையில் புரட்சியை ஏற்படுத்தியுள்ளன. இந்த மாதிரிகள் மொழி மொழிபெயர்ப்பு, உரை சுருக்கம் மற்றும் கேள்வி பதில் உள்ளிட்ட பல்வேறு NLP பணிகளில் அதிநவீன முடிவுகளை அடைந்துள்ளன. இருப்பினும், எல்.எல்.எம்-களின் உண்மையான ஆற்றல், கருத்தாக்கங்களுக்கிடையேயான சிக்கலான உறவுகளை நியாயப்படுத்துவதற்கும் புரிந்து கொள்வதற்கும் உள்ள அவர்களின் திறனில் உள்ளது. இந்தக் கட்டுரையில், எல்எல்எம் பகுத்தறிவின் முன்னேற்றங்கள், அடிப்படை நுட்பங்கள், கட்டமைப்புகள் மற்றும் சவால்களை ஆராய்வோம்.

பின்னணி

எல்எல்எம்கள் என்பது ஒரு வகையான நரம்பியல் வலையமைப்பாகும், அவை வார்த்தைகள் மற்றும் கருத்துக்களுக்கு இடையே உள்ள வடிவங்கள் மற்றும் உறவுகளைக் கற்றுக்கொள்வதற்காக பரந்த அளவிலான உரை தரவுகளில் பயிற்சியளிக்கப்படுகின்றன. இந்த மாதிரிகள் பொதுவாக ஒரு குறியாக்கி மற்றும் குறிவிலக்கியைக் கொண்டிருக்கும், அங்கு குறியாக்கி உள்ளீட்டு உரையை செயலாக்குகிறது மற்றும் குறிவிலக்கி வெளியீட்டு உரையை உருவாக்குகிறது. குறியாக்கி பொதுவாக ஒரு மின்மாற்றி அடிப்படையிலான கட்டமைப்பாகும், இது குறிப்பாக உரை போன்ற தொடர்ச்சியான தரவுகளுக்கு மிகவும் பொருத்தமானது.

மின்மாற்றி கட்டிடக்கலை

டிரான்ஸ்பார்மர் கட்டிடக்கலை, வாஸ்வானி மற்றும் பலர் "கவனம் உங்களுக்கு தேவை" என்ற தாளில் அறிமுகப்படுத்தப்பட்டது. (2017), LLMகளுக்கான நடைமுறை தரநிலையாக மாறியுள்ளது. மின்மாற்றி ஒரு குறியாக்கி மற்றும் குறிவிலக்கியைக் கொண்டுள்ளது, ஒவ்வொன்றும் பல அடுக்குகளைக் கொண்டது. ஒவ்வொரு அடுக்கிலும் இரண்டு துணை அடுக்குகள் உள்ளன: ஒரு சுய-கவனம் இயக்கம் மற்றும் முழுமையாக இணைக்கப்பட்ட ஃபீட்-ஃபார்வர்டு நெட்வொர்க் (FFNN).

இறக்குமதி ஜோதி
torch.nn ஐ nn ஆக இறக்குமதி செய்யவும்

class TransformerLayer(nn.Module):
    def __init__(self, d_model, n_heads, d_ff):
        சூப்பர்(டிரான்ஸ்ஃபார்மர் லேயர், சுய).__init__()
        self.self_attn = nn.MultiHeadAttention(d_model, n_heads)
        self.ffnn = nn.Linear(d_model, d_ff)
        self.dropout = nn.Dropout(0.1)
        self.layer_norm = nn.LayerNorm(d_model)

    முன்னோக்கி (சுய, x):
        # சுய கவனம் பொறிமுறை
        x_attn = self.self_attn(x, x)
        x_attn = self.dropout(x_attn)
        x_attn = x + x_attn

        # FFNN
        x_ffnn = self.ffnn(x_attn)
        x_ffnn = self.dropout(x_ffnn)
        x_ffnn = self.layer_norm(x_ffnn + x_attn)

        திரும்ப x_ffnn

எல்எல்எம் ரீசனிங்கில் முன்னேற்றங்கள்

கருத்துக்களுக்கு இடையிலான சிக்கலான உறவுகளை பகுத்தறிதல் மற்றும் புரிந்துகொள்வதில் LLMகள் குறிப்பிடத்தக்க முன்னேற்றத்தை அடைந்துள்ளன. முக்கிய முன்னேற்றங்களில் சில:

1. வரைபட அடிப்படையிலான பகுத்தறிவு

வரைபட அடிப்படையிலான பகுத்தறிவு அறிவை வரைபடமாகப் பிரதிநிதித்துவப்படுத்துகிறது, அங்கு முனைகள் கருத்துக்களைக் குறிக்கின்றன மற்றும் விளிம்புகள் அவற்றுக்கிடையேயான உறவுகளைக் குறிக்கின்றன. இந்த வரைபடங்களைப் பற்றி நியாயப்படுத்த LLM களுக்குப் பயிற்சி அளிக்கப்பட்டு, கணுக்களுக்கு இடையிலான உறவுகளைப் பற்றிய கணிப்புகளைச் செய்யலாம்.

வரைபடத்தைப் பயன்படுத்தவும் ::வரைபடம்;
neural_network பயன்படுத்தவும் ::NeuralNetwork;

fn graph_reasoning(வரைபடம்: &வரைபடம், வினவல்: &str) -> சரம் {
    உட்பொதிக்க அனுமதிக்கவும் = neural_network.query(வரைபடம், வினவல்);
    முடிவு = neural_network.reason(வரைபடம், உட்பொதித்தல்);
    result.to_string()
}

2. பல பணி கற்றல்

மல்டி-டாஸ்க் கற்றல் என்பது ஒரு மாதிரிக்கு ஒரே நேரத்தில் பல பணிகளில் பயிற்சி அளிப்பதை உள்ளடக்கியது. இந்த அணுகுமுறையானது பல்வேறு பணிகளில் LLMகளின் செயல்திறனை மேம்படுத்துவதாகக் காட்டப்பட்டுள்ளது, இதில் பகுத்தறிவு மற்றும் சிக்கலான உறவுகளைப் புரிந்துகொள்வது உட்பட.

முக்கிய தொகுப்பு

இறக்குமதி (
	"fmt"
	"gonum.org/v1/gonum/mat"
)

வகை மாதிரி அமைப்பு {
	*nn.நேரியல்
	*nn.நேரியல்
}

func (m *Model) Forward(x *mat.Dense) *mat.Dense {
	// முன்னோக்கி பாஸ்
	z := m.Linear(x)
	z = m.Linear(z)
	திரும்ப z
}

3. கவனம் செலுத்தும் வழிமுறைகள்

கவனம் செலுத்தும் வழிமுறைகள் வெளியீட்டை உருவாக்கும் போது உள்ளீட்டு உரையின் குறிப்பிட்ட பகுதிகளில் கவனம் செலுத்த LLMகளை அனுமதிக்கின்றன. இந்த அணுகுமுறையானது பல்வேறு பணிகளில் LLMகளின் செயல்திறனை மேம்படுத்துவதாகக் காட்டப்பட்டுள்ளது, இதில் பகுத்தறிவு மற்றும் சிக்கலான உறவுகளைப் புரிந்துகொள்வது உட்பட.

இறக்குமதி ஜோதி
torch.nn ஐ nn ஆக இறக்குமதி செய்யவும்

வகுப்பு கவனம் பொறிமுறை(nn.Module):
    def __init__(self, d_model, n_heads):
        சூப்பர்(கவனம் மெக்கானிசம், சுய).__init__()
        self.query = nn.Linear(d_model, d_model)
        self.key = nn.Linear(d_model, d_model)
        self.value = nn.Linear(d_model, d_model)
        self.dropout = nn.Dropout(0.1)
        self.layer_norm = nn.LayerNorm(d_model)

    முன்னோக்கி (சுய, x):
        # வினவல், விசை மற்றும் மதிப்பு
        q = self.query(x)
        k = self.key(x)
        v = self.value(x)

        # கவனம் எடைகள்
        எடைகள் = டார்ச்.மட்முல்(q, k.T) / math.sqrt(q.shape[1])
        எடைகள் = self.dropout(எடைகள்)
        எடைகள் = டார்ச்.சாஃப்ட்மேக்ஸ்(எடைகள், மங்கலான=-1)

        # சூழல் திசையன்
        சூழல் = டார்ச்.மட்முல்(எடைகள், v)

        திரும்பும் சூழல்

காட்சிப்படுத்தல்

பல்வேறு பணிகளில் LLMகளின் செயல்திறனைக் காட்சிப்படுத்த, கொடுக்கப்பட்ட பணியின் வெவ்வேறு மாதிரிகளின் துல்லியத்தை ஒப்பிட்டுப் பார்க்க ஒரு விளக்கப்படத்தைப் பயன்படுத்தலாம். Chart.js ஐப் பயன்படுத்தும் விளக்கப்படத்தின் எடுத்துக்காட்டு இங்கே:

{
  "வகை": "பார்",
  "தரவு": {
    "லேபிள்கள்": ["பணி 1", "பணி 2", "பணி 3"],
    "தரவுத்தொகுப்புகள்": [
      {
        "லேபிள்": "மாடல் 1",
        "தரவு": [0.8, 0.7, 0.9],
        "பின்னணி நிறம்": "rgba(255, 99, 132, 0.2)",
        "borderColor": "rgba(255, 99, 132, 1)",
        "எல்லை அகலம்": 1
      },
      {
        "லேபிள்": "மாடல் 2",
        "தரவு": [0.9, 0.8, 0.7],
        "பின்னணி நிறம்": "rgba(54, 162, 235, 0.2)",
        "borderColor": "rgba(54, 162, 235, 1)",
        "எல்லை அகலம்": 1
      }
    ]
  },
  "விருப்பங்கள்": {
    "தலைப்பு": {
      "காட்சி": உண்மை,
      "text": "பல்வேறு பணிகளில் வெவ்வேறு மாதிரிகளின் துல்லியம்"
    },
    "செதில்கள்": {
      "yAxes": [
        {
          "உண்ணி": {
            "beginAtZero": உண்மை
          }
        }
      ]
    }
  }
}

முடிவு

இந்தக் கட்டுரையில், வரைபட அடிப்படையிலான பகுத்தறிவு, பல-பணி கற்றல் மற்றும் கவனம் செலுத்தும் வழிமுறைகள் உட்பட LLM பகுத்தறிவின் முன்னேற்றங்களை நாங்கள் ஆராய்ந்தோம். இந்த கருத்துகளை விளக்குவதற்கு பைதான், ரஸ்ட் மற்றும் கோ ஆகியவற்றில் குறியீடு உதாரணங்களையும் வழங்கியுள்ளோம். இறுதியாக, பல்வேறு பணிகளில் LLMகளின் செயல்திறனைக் காட்சிப்படுத்த ஒரு விளக்கப்படத்தைப் பயன்படுத்தியுள்ளோம். இந்த முன்னேற்றங்கள் என்எல்பி துறையில் புரட்சியை ஏற்படுத்தும் ஆற்றலைக் கொண்டுள்ளன, எல்எல்எம்கள் கருத்துக்களுக்கு இடையே உள்ள சிக்கலான உறவுகளை நியாயப்படுத்தவும் புரிந்துகொள்ளவும் உதவுகிறது.

குறிப்புகள்

• வாஸ்வானி மற்றும் பலர். (2017) கவனம் தேவை. arXiv முன்அச்சு arXiv:1706.03762.
• டெவ்லின் மற்றும் பலர். (2018) பெர்ட்: மொழிப் புரிதலுக்கான ஆழமான இருதரப்பு மின்மாற்றிகளின் முன் பயிற்சி. arXiv முன்அச்சு arXiv:1810.04805.
• ராட்ஃபோர்ட் மற்றும் பலர். (2019) மொழி மாதிரிகள் மேற்பார்வை செய்யப்படாத பல்பணி கற்றவர்கள். arXiv முன்அச்சு arXiv:1906.08237.