Utaina te tauira LLM me te tokenizer | B4N1

Utaina te tauira LLM me te tokenizer

6 months ago · b4n1 Read time: 6 min

Te Whakatinana i te Tirohanga Tutukinga Aunoa me nga Kaihoko DevOps me nga LLM

Whakataki

I roto i te tere tere o te whenua mamati, kei te raru nga roopu DevOps i te wero uaua: te tautuhi me te whakatau i nga maiki i te tere. Ko nga tikanga tirotiro a-ringa ka pau te wa, ka paopao ki te he tangata, ka roa te wa heke me te heke o te pai o nga kaihoko. Hei whakatika i tenei take, kei te tirotirohia e matou te waahitanga o te miihini DevOps, te tirotiro mai i nga aitua a AI, me te mahi a nga Tauira Reo Nui (LLM) ki te whakarei ake i nga taputapu DevOps penei i te AWS DevOps Agent me Copado Agentia.

Te ahua o nga mahi tirotirohanga o naianei

Ko te whakatewhatewha aitua tetahi waahanga nui o DevOps, e pa ana ki te tautuhi, te tātari, me te whakatau i nga take e pa ana ki nga punaha rorohiko. Ko nga tikanga tuku iho e whakawhirinaki ana ki nga mahi a-ringa, penei i te tātari rangitaki, te tirotiro hapa, me te whakawhitiwhiti korero me te hunga whai paanga. Ahakoa e whai hua ana enei tikanga, ka puhoi, ka paheke ki nga hapa, ka arahi ki:

  1. Kua nui ake te wa paheke: Ka taea e nga tikanga tirotiro a-ringa te whakaroa i te whakataunga maiki, ka roa te wa heke me te heke o te pai o nga kaihoko.
  2. Hapa a te tangata: Ko nga tukanga a-ringa ka pangia e te he tangata, ka hee te tātaritanga me te whakatau i nga aitua.
  3. Nga take tauine: I te tipu haere o te rahi me te uaua o nga punaha, ka uaua haere nga tikanga tirotiro a-ringa ki te awhatatia.

Te Mahi a nga Kaihoko DevOps ki te tirotiro i nga aitua

Ko nga kaihoko a DevOps, penei i te AWS DevOps Agent me Copado Agentia, he mahi nui ki te whakaaunoa i nga mahi tirotiro. Ka taea e enei kaihoko:

  1. Kohikohi me te wetewete i nga raarangi: Ka taea e nga kaihoko a DevOps te kohi me te wetewete i nga raarangi mai i nga punaa maha, ma te whai whakaaro nui ki nga take maiki.
  2. Whakaaunoa te aroturuki hapa: Ka taea e nga Kaihautu te whakaaunoa i te aroturuki hapa, te whakaiti i te wa me te whakapau kaha mo te tirotiro a-ringa.
  3. Whakanuia te whakawhitiwhitinga korero: Ka taea e nga kaihoko te whakahaere i te whakawhitiwhiti korero i waenga i nga roopu, te hunga whai paanga, me nga punaha, me te whakarite kia pai te tohatoha o nga korero maiki.

Ko te Mahi a nga LLM i roto i te Tirotiro Tutukinga

Ko nga Tauira Reo Nui (LLMs) kua huri i te waahi o te tukatuka reo maori (NLP), ka taea e nga miihini te mohio me te whakaputa tuhinga rite te tangata. I roto i te horopaki o te rangahau maiki, ka taea e nga LLM te:

  1. Tatarihia nga purongo maiki: Ka taea e nga LLM te wetewete i nga purongo maiki, te tautuhi i nga korero me nga tauira matua e tohu ana i te putake o tetahi aitua.
  2. Hanga whakarāpopototanga maiki: Ka taea e nga LLM te whakaputa whakarāpopototanga poto o nga ripoata maiki, te whakahaere i te whakawhitiwhiti korero me te whakatau.
  3. Whakarato whakaaro-a-roto: Ka taea e nga LLM te tuku whakaaro-a-roto mo te whakatau i nga maiki, me te whai whakaaro ki te punaha motuhake, te taiao, me te hunga whai paanga.

Te Whakatinana i te Tirohanga Tutukinga Aunoa me nga Kaihoko DevOps me nga LLM

Hei whakatinana i nga mahi tirotiro i nga aitua me nga apiha DevOps me nga LLM, ka whai maatau i te huarahi taahiraa-i-taahiraa:

  1. Whakakotahitia nga kaihoko DevOps: Whakauruhia nga kaihoko DevOps, penei i te AWS DevOps Agent me Copado Agentia, me to punaha whakahaere maiki.
  2. Kohikohi me te wetewete i nga raarangi: Whirihorahia nga kaihoko a DevOps ki te kohi me te tātari i nga raarangi mai i nga punaa maha, e whakarato ana i nga maaramatanga nui ki nga take maia.
  3. Whakangungua he tauira LLM: Whakangunguhia he tauira LLM i runga i te huingararaunga o nga purongo maiki, nga raarangi, me etahi atu korero e tika ana.
  4. Whakakotahitia te LLM me nga kaihoko DevOps: Whakauruhia te tauira LLM me nga kaihoko DevOps, ka taea e te LLM te tātari i nga purongo maiki me te tuku whakaaro mo te whakatau maiki.
  5. Hoatuhia te otinga: Hoatuhia te otinga whakatewhatewha maiki aunoa, me te whakarite he tauineine, pono, me te haumaru.

Waehere Tauira: Te whakauru i te LLM me nga Kaihoko DevOps

Anei tetahi tauira tohu waehere i Python, e whakaatu ana me pehea te whakauru i tetahi tauira LLM me tetahi kaihoko DevOps:

te takiuru kawemai
mai i nga kaitahuri kawemai AutoModelForSequenceClassification, AutoTokenizer
mai i aws_devops_agent kawemai Agent


tauira =AunoaModelForSequenceClassification.from_pretrained("distilbert-base-uncased")
tokenizer =AunoaTokenizer.from_pretrained("distilbert-base-uncased")

# Whakauruhia te kaihoko DevOps
māngai = Agent()

# Tautuhia he mahi hei tātari i nga purongo maiki ma te tauira LLM
def analysis_incident_report(report):
    # Tukatukahia te purongo maiki
    whakauru = tokenizer.encode_plus(pūrongo, 
                                    add_special_tokens=Tono, 
                                    morahi_roa=512, 
                                    return_attention_mask=Tono, 
                                    return_tensors='pt')
    
    # Tātarihia te pūrongo maiki mā te tauira LLM
    putanga = tauira(whakauru['whakauru_id'], attention_mask=whakauru['attention_mask'])
    
    # Tangohia te tapanga karaehe matapae
    classed_class = torch.argmax(putanga.logits)
    
    hoki matapae_akomanga

# Tautuhia he mahi hei tuku whakaaro mo te whakatau maiki
def provide_suggestions(predicted_class):
    # Whakamahia te tapanga karaehe matapae hei tuku whakaaro mo te whakatau maiki
    ki te matapae_class == 0:
        hoki "Tirohia nga raarangi punaha mo nga hapa"
    elif predicted_class == 1:
        hoki "Manatokohia te hononga whatunga"
    atu:
        whakahoki "Whakapa atu ki te roopu whanaketanga mo te awhina"

# Whakauruhia te tauira LLM me te kaihoko DevOps
def incident_investigation():
    # Kohikohia me te tātari i nga raarangi mai i te kaihoko DevOps
    rangitaki = agent.get_logs()
    
    # Tātarihia ngā rākau mā te tauira LLM
    classed_class = wetewete_incident_report(rakau)
    
    # Whakarato whakaaro mo te whakatau maiki
    whakaaro = whakarato_tohutohu(matapae_akomanga)
    
    whakahoki whakaaro

# Tukuna te otinga tirotirohanga maiki
maiki_whakatewhatewha()

Tiki 5-10 Nga Tono Whakamahinga/Momohipi

Anei nga tono 5-10 e tino whakamahia ana mo tenei hangarau:

  1. aws devops agent get-logs: Kohia he rangitaki mai i te kaihoko DevOps.
  2. transformers.AutoModelForSequenceClassification.from_pretrained(): Utaina te tauira LLM.
  3. tokenizer.encode_plus(): Tukatuka i te purongo maiki.
  4. tauira(whakauru['input_ids'], attention_mask=inputs['attention_mask']): Tātarihia te ripoata maiki ma te whakamahi i te tauira LLM.
  5. torch.argmax(outputs.logits): Tangohia te tapanga karaehe matapae.
  6. provide_suggestions(predicted_class): Homai he whakaaro mo te whakatau maiki.
  7. agent.get_logs(): Kohia nga rangitaki mai i te kaihoko DevOps.
  8. analyse_incident_report(report): Tātarihia te pūrongo maiki mā te tauira LLM.
  9. Incident_Investigation(): Hoatuhia te otinga tirotirohanga maiki.
  10. torch.save(model.state_dict(), 'model.pth'): Tiakina te tauira LLM.

Whakakitenga

Anei te whakakitenga o te otinga whakatewhatewha maiki aunoa ma te whakamahi i te Chart.js:

{
  "type": "pae",
  "raraunga": {
    "labels": ["Tirotiro-A-ringa", "Tirohanga Aunoa"],
    "raunga raraunga": [
      {
        "label": "Wā hei Whakatau",
        "raraunga": [10, 2],
        "backgroundColor": ["rgba(255, 99, 132, 0.2)", "rgba(54, 162, 235, 0.2)"],
        "BorderColor": ["rgba(255, 99, 132, 1)", "rgba(54, 162, 235, 1)"],
        "BorderWidth": 1
      }
    ]
  },
  "kōwhiringa": {
    "taitara": {
      "whakaatu": pono,
      "text": "Wai ki te Whakatau i nga aitua"
    },
    "tauine": {
      "yAxes": [
        {
          "tika": {
            "beginAtZero": pono
          }
        }
      ]
    }
  }
}

Ko tenei tirohanga ka whakataurite i te wa ki te whakatau i nga maiki ma te whakamahi i nga tikanga tirotiro a-ringa me nga tikanga tirotiro aunoa ma te whakamahi i nga kaihoko DevOps me nga LLM.

Whakamutunga

Ko te whakatinana i nga mahi tirotiro aitua me nga apiha DevOps me nga LLM ka tino pai ake te pai me te whai huatanga o te whakatau maiki. Ma te whakauru i nga kaihoko a DevOps me nga LLM, ka taea e nga whakahaere te tarai aunoa i te tātaritanga o nga raarangi, te whakarato i nga whakaaro mohio ki te horopaki mo te whakatau maiki, me te whakaiti i te wa ki te whakatau i nga aitua. Kua tirotirohia e matou te waahi o te miihini DevOps, te tirotiro mai i nga aitua a AI, me te mahi a nga LLM ki te whakarei ake i nga taputapu DevOps penei i te AWS DevOps Agent me Copado Agentia. Ma te whai i nga huarahi taahiraa-i-te-taahiraa i tuhia i roto i tenei tuhinga, ka taea e nga whakahaere te tuku i tetahi otinga tirotirohanga maiki, pono, haumaru hoki.


Have Questions?

Let's Talk

Contact me on LinkedIn