常用Vscode DeBug 技巧 工具分享 常用Vscode DeBug 技巧 一: 调试库函数 在Debug的配置launch.json里,添加 "justMyCode" : false 需要注意的是,在启动调试的时候要点击左上角,选择当前配置去启动,不能之间点击右上角的Debug 二: 调试函数的参数输入 通常情况下,代码都需要输入参数
批处理?推理速度快一万倍!!!! 大模型批量推理(LLM Generate in Parallel) 人工智能 批处理?推理速度快一万倍!!!! 大模型批量推理(LLM Generate in Parallel) 众所周知,CPU只能多进程串行计算,而GPU是天然能进行多进程并行计算。数据标注作为一个现在常用的方式,往往使用大模型对图像进行标注,利用大模型的理解能力重新合成图像所对应的文本。 huggingf
Jumpserver不能进行TCP转发端口转发解决 Jumpserver不能进行TCP转发端口转发解决 在环境变量配置加入 ENABLE_LOCAL_PORT_FORWARD=true ENABLE_VSCODE_SUPPORT=true 重启解决问题
记录一次服务器被挖矿(top、htop被修改) 记录一次服务器被挖矿(top,htop被修改) 挖矿一个简单的词汇经常出现在互联网各个角落但往往没人在意,直到今天我们实验室的H800服务器出现了问题,才发现挖矿竟在我身边。 背景: 上周我在使用服务器写LLM调试代码的过程中,debug总是失效,加上代码还没写好便没有在意,以为是debug功能出现
苍穹外卖技术点学习(一) 后端开发 苍穹外卖技术点学习 1. Nignx实现反向代理和负载均衡 不使用Nignx的场景下,前端请求的接口直接对接后端的端口存在不安全,耦合度高等问题。使用Nignx进行反向代理将前端发送的请求动态转发到后端服务器 请求的接口地址: http://localhost:8080/admin/employee
Llama3 本地部署 CPU进行推理 人工智能 Llama3 本地部署 CPU进行推理 下载模型 https://llama.meta.com/llama-downloads 提交邮件就能申请,在官方GitHub仓库下载示例代码进行使用。 https://github.com/meta-llama/llama3 GPU推理 Llama3默认是开启
Leetcode周赛394 算法 Leetcode周赛394 100294. 统计特殊字母的数量 I 解法一 将小写字母放到一个集合中,将大写字母变成小写字母放到另一个集合中,取两个集合之间的交集。 class Solution { public int numberOfSpecialChars(String word) {
服务器基础环境安装 工具分享 服务器基础环境安装 保证服务器的系统版本是20.04及其以上 在线升级的教程,服务器默认是无网络连接环境,网络配置参考教程 1. sudo apt update # 如果遇到apt下载问题,自行换源,参考(https://mirrors.tuna.tsinghua.edu.cn/help/ubun
关于MI 11刷Root弄丢数据这件事 杂谈 关于我给MI11刷ROOT把手机数据弄丢这件事 上次刷root还是在2014的初二,那时候用的都是什么360超级root大师和mt管理器等进行。最近需要用到虚拟定位,很多软件都需要收费,所以打算直接解锁root来进行。 于是Google一搜索就是教程,直接就开整,结果没有备份数据,在解锁BL的时候把
LLM开发范式之RAG及其框架LangChain 人工智能 LLM开发范式之RAG及其框架LangChain RAG及其框架LangChain finetune是一个常见的模型微调方式,但大语言模型通常训练成本高昂。本次主要学习一种新的开发范式。RAG(Retrieval Augmented Generation):检索增强生成。 RAG大概就是将用户输入的