MirrorML博客

分类
人工智能

Prompt Engineering（提示词工程）

人工智能

Prompt Engineering（提示词工程）做Agent 有两个方法一个提示词工程，通过Agent系统结构提升模型的能力，典型如manus 一种通过强化学习RL方式，端到端优化Agent，典型如 DeepResearch·通过自学强化学习内容;比如:B站赵老师的《强化学习数学原理》核心观

RAG客服“推荐问题”生成方案详解

人工智能

RAG客服“推荐问题”生成方案详解在RAG（Retrieval Augmented Generation）智能客服系统中，为用户推荐“可能还会问的问题”或“相关问题”能够有效提升用户体验，引导用户探索更多相关信息，或更快地解决潜在的后续疑问。以下是对“基于大语言模型（LLM）生成”和“基于检索文档

记录一次A100集群的存储崩溃

人工智能

记录一次A100集群的存储崩溃集群架构：整个A100集群由4台8卡A100、一台CPU服务器、一个存储阵列（大概200T）组成。存储阵列是通过一个万兆交换机连接到这个Node00管理节点。其它计算设备都是走的管理节点的映射。前两天新到一台服务器，准备并入这个集群里面。供应商需要安装一个软件进行

IB网卡驱动安装及其IP配置

人工智能

IB网卡驱动安装及其IP配置正常流程服务器配置网络，由于机房不能连接外网只能通过内部网络做代理。设置http代理 export http_proxy=http://x.x.x.x:x export https_proxy=http://x.x.x.x:x 设置apt代理 sudo nano

扩散模型能批处理吗？为什么单次推理单批生成速度会线性增长？(Diffusion in Parallel)

人工智能

扩散模型能批处理吗？为什么单次推理单批生成速度会线性增长？(Diffusion in Parallel) 如果大家使用扩散模型进行推理会发现一个现象：似乎输入多个prompt和输入一个prompt需要的时间差距很大，这不符合Batch常理。这个表是我们在单卡3090上进行测试不同prompt的结果

快速完成多模态模型-CLIP的训练

人工智能

快速完成多模态模型-CLIP的训练当前多模态作为很火的领域，使用多模态可以编很多故事，那么如何训练一个多模态模型就是一个很重要的事，下面讲一下快速上手针对自己的数据集进行训练多模态模型。数据集准备以Clip为主的多模态模型其训练数据主要是图像-文本对，图像单独存放到一个路径，文本-图像路径存放

批处理？推理速度快一万倍！！！！大模型批量推理（LLM Generate in Parallel）

人工智能

批处理？推理速度快一万倍！！！！大模型批量推理（LLM Generate in Parallel）众所周知，CPU只能多进程串行计算，而GPU是天然能进行多进程并行计算。数据标注作为一个现在常用的方式，往往使用大模型对图像进行标注，利用大模型的理解能力重新合成图像所对应的文本。 huggingf

Llama3 本地部署 CPU进行推理

人工智能

Llama3 本地部署 CPU进行推理下载模型 https://llama.meta.com/llama-downloads 提交邮件就能申请，在官方GitHub仓库下载示例代码进行使用。 https://github.com/meta-llama/llama3 GPU推理 Llama3默认是开启

LLM开发范式之RAG及其框架LangChain

人工智能

LLM开发范式之RAG及其框架LangChain RAG及其框架LangChain finetune是一个常见的模型微调方式，但大语言模型通常训练成本高昂。本次主要学习一种新的开发范式。RAG（Retrieval Augmented Generation）：检索增强生成。 RAG大概就是将用户输入的

可控人脸生成-第一次总结

人工智能

可控人脸生成对于可控人脸生成，优先解决人脸生成的问题，目前有三种生成的方式GAN、VAE、Diffusion三种模型，主流的选型为Diffusion Model，通过进行调研，目前主流的生成模型几乎为Diffusion Model。文本生成图像通过控制条件生成图像文本生成视频生成图片检测