MLOps 体系结构模型
MLOps 体系结构模型人工智能继续改变企业,但这导致企业在数字化转型和组织变革方面面临新的挑战。根据 2023 年福布斯报告,这些挑战可以总结如下:
分析技术堆栈围绕分析/批处理工作负载构建的公司需要开始适应实时数据处理(福布斯)。这种变化不仅影响了数据的收集方式,还导致了对新的数据处理和数据分析架构模型的需求。
AI 法规需要被视为 AI/ML 架构模型的一部分。据《福布斯》报道,“Gartner 预测,到 2025 年,法规将迫使公司专注于人工智能道德、透明度和隐私。因此,这些平台将需要遵守即将出台的标准。
必须建立专门的 AI 团队,他们不仅应该能够构建和维护 AI 平台,还应该能够与其他团队合作,通过这些平台支持模型的生命周期。
这些新挑战的答案似乎是 MLOps 或机器学习操作。MLOps 建立在 DevOps 和 DataOps 之上,旨在促进机器学习 (ML) 应用程序,并更好地管理 ML 系统的复杂性。本文旨在系统地概述 MLOps 架构挑战,并演示管理这种复杂性的方法。
MLOps 应用程序:设置用例在本文中,我们的示例用例是一家多年来一直在 ...
使用 Trivy 扫描 Docker 镜像漏洞详细指南
使用 Trivy 扫描 Docker 镜像漏洞详细指南本文介绍了使用 Trivy 扫描程序保护 Docker 镜像免受潜在漏洞侵害的基本步骤。
Trivy 扫描程序是一个开源工具,可用于扫描 Docker 镜像的漏洞。
Docker 镜像是打包和部署应用程序的简单方法。但是,如果它们包含漏洞,也可能存在安全风险。它可能是库中的问题、应用程序依赖项中的漏洞、容器配置错误等。
Trivy 是一个有效的 Docker 漏洞扫描程序,支持多个漏洞数据库,包括常见漏洞和披露 (CVE) 数据库。Trivy 还可以扫描错误的配置和安全性。
使用 Trivy 扫描 Docker 镜像下图显示了高级组件和容器扫描工作流。首先,你需要在系统或要实现 Docker 镜像扫描的 CI 代理节点上安装 trivy。
可以在 Trivy 官网找到安装步骤。
使用 Trivy 扫描 Docker 镜像非常简单。只需要使用要扫描的镜像名称运行以下trivy命令。
1trivy image <image-name>
例如,工作站中有一个名为 techiescamp/pet-clinic-app 的镜像 ...
k8s安装nginx Ingress超详细指南
k8s安装nginx Ingress超详细指南在本全面的 Ingress 指南中,您将学习如何在 Kubernetes上设置 Nginx Ingress控制器并使用 DNS 配置 Ingress。
目前有两种 Nginx Ingress 控制器。
kubernetes 社区的 Nginx Ingress 控制器
Nginx Inc 开发的 Nginx Ingress 控制器
我们将使用 Kubernetes 社区 Nginx 控制器。
Ingress & Nginx Ingress 控制器架构下面是使用 Nginx Ingress 控制器的 Kubernetes Ingress 的高级架构。在本指南中,我们将学习如何在体系结构中构建设置。
先决条件
Kubernetes 集群
Kubectl 已安装并已通过 Kubernetes 集群的身份验证。
对 kubernetes 集群的管理员访问权限。
指向 Ingress 控制器负载均衡器 IP 的有效域。(可选)
Nginx Ingress 控制器 Kubernetes 清单本教程中使用的所有 kubernetes 清单都 ...
使用Spring AI 和 LLM 实现数据库查询
使用Spring AI 和 LLM 实现数据库查询AIDocumentLibraryChat 项目已扩展为支持提问来搜索关系数据库。用户可以输入一个问题,然后嵌入搜索相关的数据库表和列来回答问题。然后,LLM 获取相关表的数据库架构,并根据找到的表和列生成一个 SQL 查询,来展示结果回答问题。
数据集和元数据使用的开源数据集有 6 个表,彼此之间有关系。它包含有关博物馆和艺术品的数据。为了获得有用的问题查询,必须为数据集提供元数据,并且必须在嵌入中转换元数据。
为了使 LLM 能够找到所需的表和列,它需要知道它们的名称和描述。对于像 museum 表这样的所有数据表,元数据都存储在 column_metadata 和 table_metadata 表中。它们的数据可以在以下文件中找到: column_metadata.csv 和 table_metadata.csv。它们包含表或列的唯一 ID、名称、描述等。该描述用于创建与问题嵌入进行比较的嵌入。描述的质量对结果有很大的影响,因为更好的描述会使嵌入更精确。提供同义词是提高质量的一种选择。表元数据包含表的模式,以便仅向 LLM 提 ...