Оркестриране на базирани на AI DevOps тръбопроводи с DSPy и LangChain за проактивно разследване и разрешаване на инциденти в периферни изчислителни среди
Въведение
Нарастващата сложност на съвременните софтуерни системи, съчетана с нарастващото търсене на обработка и анализ на данни в реално време, доведе до появата на периферни изчислителни среди. Тези среди, които се характеризират с наличието на разпределени, автономни и хетерогенни системи, поставят значителни предизвикателства за екипите на DevOps. В тази статия ще проучим как да използваме най-новите постижения в инструментите за преглед на код, базирани на изкуствен интелект, и платформите AIOps, по-специално DSPy и LangChain, за да позволим проактивно разследване и разрешаване на инциденти в периферни изчислителни среди.
Пресечната точка на AI, DevOps и Edge Computing
Edge компютърните среди се характеризират с наличието на разпределени, автономни и хетерогенни системи, което може да направи предизвикателство за екипите на DevOps да откриват и разрешават инциденти по своевременен и ефективен начин. За да се отговори на това предизвикателство, задвижваните от AI инструменти за преглед на код и платформи AIOps се очертаха като обещаващо решение. Тези инструменти използват алгоритми за машинно обучение и техники за обработка на естествен език, за да анализират системни регистрационни файлове, показатели за производителност и други източници на данни, позволявайки на екипите на DevOps да откриват аномалии и да предвиждат потенциални инциденти, преди да възникнат.
DSPy: Библиотека на Python за преглед на код, захранван от AI
DSPy е библиотека на Python, която позволява на разработчиците да се възползват от силата на задвижваните от AI инструменти за преглед на код в своите DevOps тръбопроводи. DSPy предоставя прост и интуитивен API за интегриране на алгоритми за машинно обучение и техники за обработка на естествен език в работни процеси за преглед на код. С DSPy разработчиците могат да анализират системни регистрационни файлове, показатели за производителност и други източници на данни, за да открият аномалии и да предвидят потенциални инциденти.
LangChain: Рамка за изграждане на базирани на AI AIOps платформи
LangChain е рамка за изграждане на базирани на изкуствен интелект AIOps платформи, които позволяват проактивно разследване и разрешаване на инциденти в периферни изчислителни среди. LangChain предоставя набор от предварително изградени компоненти и API за интегриране на алгоритми за машинно обучение, техники за обработка на естествен език и други инструменти, задвижвани от AI, в AIOps платформи. С LangChain разработчиците могат да изграждат персонализирани AIOps платформи, които използват най-новите постижения в инструментите за преглед на код, базирани на AI, и AIOps платформите.
Оркестриране на базирани на AI DevOps тръбопроводи с DSPy и LangChain
За да организират базирани на AI тръбопроводи DevOps с DSPy и LangChain, разработчиците могат да следват следните стъпки:
- Интегрирайте DSPy в DevOps тръбопровода: Разработчиците могат да интегрират DSPy в DevOps тръбопровода, като използват DSPy API за анализиране на системни регистрационни файлове, показатели за ефективност и други източници на данни.
- Използвайте LangChain, за да изградите персонализирана AIOps платформа: Разработчиците могат да използват LangChain, за да изградят персонализирана AIOps платформа, която използва най-новите постижения в базираните на AI инструменти за преглед на код и AIOps платформи.
- Интегрирайте платформата AIOps в конвейера DevOps: Разработчиците могат да интегрират платформата AIOps в конвейера DevOps, като използват LangChain API за анализиране на системни регистрационни файлове, показатели за производителност и други източници на данни.
Практически пример: Използване на DSPy за анализиране на системни регистрационни файлове
Ето прост пример за това как да използвате DSPy за анализиране на системни регистрационни файлове:
импортиране на dspy
регистрационни файлове = dspy.load_logs('system_logs.log')
# Анализирайте системните регистрационни файлове с помощта на алгоритъм за машинно обучение
аномалии = dspy.analyze_logs(дневници, алгоритъм='MLP')
# Отпечатайте аномалиите
печат (аномалии)
В този пример зареждаме системните регистрационни файлове с помощта на функцията dspy.load_logs, анализираме регистрационните файлове с помощта на алгоритъм за машинно обучение (MLP) с помощта на функцията dspy.analyze_logs и отпечатваме аномалиите.
Топ 5-10 най-използвани команди/фрагменти
Ето топ 5-10 най-използвани команди/фрагменти за DSPy и LangChain:
dspy.load_logs('system_logs.log'): Зарежда системните регистрационни файлове.dspy.analyze_logs(logs, algorithm='MLP'): Анализира системните регистрационни файлове с помощта на алгоритъм за машинно обучение.langchain.build_aiops_platform(): Създава персонализирана AIOps платформа с помощта на LangChain.langchain.integrate_aiops_platform(): Интегрира AIOps платформата в конвейера DevOps.dspy.visualize_anomalies(anomalies): Визуализира аномалиите с помощта на диаграма.langchain.use_ml_algorithm(logs, algorithm='SVM'): Използва алгоритъм за машинно обучение (SVM) за анализ на системните регистрационни файлове.dspy.print_anomalies(anomalies): Отпечатва аномалиите.langchain.use_nlp_techniques(logs, techniques=['NER', 'POS']): Използва техники за обработка на естествен език (NER, POS) за анализ на системните регистрационни файлове.dspy.save_anomalies(anomalies, 'anomalies.csv'): Записва аномалиите в CSV файл.langchain.use_custom_aiops_platform(): Използва персонализирана AIOps платформа, създадена с помощта на LangChain.
Визуализация
Ето пример как да визуализирате аномалиите с помощта на диаграма:
{
"тип": "лента",
"данни": {
"етикети": ["Аномалия 1", "Аномалия 2", "Аномалия 3"],
"набори от данни": [
{
"label": "Аномалии",
"данни": [10, 20, 30],
"backgroundColor": "rgba(255, 99, 132, 0.2)",
"borderColor": "rgba(255, 99, 132, 1)",
"borderWidth": 1
}
]
},
"опции": {
"заглавие": {
"дисплей": вярно,
"text": "Аномалии"
},
"легенда": {
"дисплей": вярно
}
}
}
В този пример използваме библиотеката Chart.js, за да създадем стълбовидна диаграма, която визуализира аномалиите.
Заключение
В тази статия проучихме как да използваме най-новите постижения в инструментите за преглед на код, базирани на изкуствен интелект, и платформите AIOps, по-специално DSPy и LangChain, за да позволим проактивно разследване и разрешаване на инциденти в крайни изчислителни среди. Предоставихме практически пример как да използвате DSPy за анализиране на системни регистрационни файлове и визуализирахме аномалиите с помощта на диаграма. Предоставихме и списък с топ 5-10 най-използвани команди/фрагменти за DSPy и LangChain. Като следват стъпките, описани в тази статия, разработчиците могат да изградят персонализирани AIOps платформи, които използват най-новите постижения в инструментите за преглед на код, базирани на изкуствен интелект, и AIOps платформите, позволявайки проактивно разследване на инциденти и разрешаване на проблеми в крайни изчислителни среди.