MirrorML博客

批处理？推理速度快一万倍！！！！大模型批量推理（LLM Generate in Parallel）

人工智能

批处理？推理速度快一万倍！！！！大模型批量推理（LLM Generate in Parallel）众所周知，CPU只能多进程串行计算，而GPU是天然能进行多进程并行计算。数据标注作为一个现在常用的方式，往往使用大模型对图像进行标注，利用大模型的理解能力重新合成图像所对应的文本。 huggingf

Jumpserver不能进行TCP转发端口转发解决

Jumpserver不能进行TCP转发端口转发解决在环境变量配置加入 ENABLE_LOCAL_PORT_FORWARD=true ENABLE_VSCODE_SUPPORT=true 重启解决问题

记录一次服务器被挖矿（top、htop被修改）

记录一次服务器被挖矿（top，htop被修改）挖矿一个简单的词汇经常出现在互联网各个角落但往往没人在意，直到今天我们实验室的H800服务器出现了问题，才发现挖矿竟在我身边。背景：上周我在使用服务器写LLM调试代码的过程中，debug总是失效，加上代码还没写好便没有在意，以为是debug功能出现

苍穹外卖技术点学习（一）

后端开发

苍穹外卖技术点学习 1. Nignx实现反向代理和负载均衡不使用Nignx的场景下，前端请求的接口直接对接后端的端口存在不安全，耦合度高等问题。使用Nignx进行反向代理将前端发送的请求动态转发到后端服务器请求的接口地址： http://localhost:8080/admin/employee

Llama3 本地部署 CPU进行推理

人工智能

Llama3 本地部署 CPU进行推理下载模型 https://llama.meta.com/llama-downloads 提交邮件就能申请，在官方GitHub仓库下载示例代码进行使用。 https://github.com/meta-llama/llama3 GPU推理 Llama3默认是开启

Leetcode周赛394

算法

Leetcode周赛394 100294. 统计特殊字母的数量 I 解法一将小写字母放到一个集合中，将大写字母变成小写字母放到另一个集合中，取两个集合之间的交集。 class Solution { public int numberOfSpecialChars(String word) {

服务器基础环境安装

工具分享

服务器基础环境安装保证服务器的系统版本是20.04及其以上在线升级的教程，服务器默认是无网络连接环境，网络配置参考教程 1. sudo apt update # 如果遇到apt下载问题，自行换源，参考(https://mirrors.tuna.tsinghua.edu.cn/help/ubun

关于MI 11刷Root弄丢数据这件事

杂谈

关于我给MI11刷ROOT把手机数据弄丢这件事上次刷root还是在2014的初二，那时候用的都是什么360超级root大师和mt管理器等进行。最近需要用到虚拟定位，很多软件都需要收费，所以打算直接解锁root来进行。于是Google一搜索就是教程，直接就开整，结果没有备份数据，在解锁BL的时候把

LLM开发范式之RAG及其框架LangChain

人工智能

LLM开发范式之RAG及其框架LangChain RAG及其框架LangChain finetune是一个常见的模型微调方式，但大语言模型通常训练成本高昂。本次主要学习一种新的开发范式。RAG（Retrieval Augmented Generation）：检索增强生成。 RAG大概就是将用户输入的

Leetcode 1438. 绝对差不超过限制的最长连续子数组

算法

Leetcode 1438. 绝对差不超过限制的最长连续子数组给你一个整数数组 nums ，和一个表示限制的整数 limit，请你返回最长连续子数组的长度，该子数组中的任意两个元素之间的绝对差必须小于或者等于 limit 。如果不存在满足条件的子数组，则返回 0 思路分析常规滑动窗口题，比较值