整理一下mcp和prompts相关的资料
mcp相关 glama https://github.com/punkpeye/awesome-mcp-servers https://glama.ai/mcp/servers smithery https://smithery.ai/ dart mcp server https://github.com/its-dart/dart-mcp-server prompts相关 cursor提示词库 https://cursor.directory/ cursor memory bank https://gist.github.com/ipenywis/1bdb541c3a612dbac4a14e1e3f4341ab
微调Qwen2.5 VL-7B-Instruct
简介 记录训练通义千问Qwen2.5 VL-7B-Instruct模型Lora的一些主要步骤和命令。任务简单来说就是质检,微观结构的判定。 环境准备 租用AutoDL服务器,远程ssh。 硬件配置 GPU: H20-NVLink(96GB) * 1 CPU: 20 vCPU Intel® Xeon® Platinum 8457C RAM: 200GB 费用 ¥7.98/时 软件依赖 PyTorch 2.5.1 Python 3.12(ubuntu22.04) CUDA 12.4 ssh配置 配置端口映射和ssh私钥登陆, 将swift/tensorboard/vllm/ollama等选择性映射到本机 123456789Host autodl HostName xxxx User root Port xxxxx IdentityFile ~/.ssh/xxxxx LocalForward 0.0.0.0:7860 localhost:7860 LocalForward 0.0.0.0:6006 localhost:6006 ...
记录旧笔记本数据迁移过程
迁移旧笔记本数据 背景 换了一台m4 mbp做便携开发机,淘汰掉旧的msi 7700+1060,把重要资料备份,然后删了数据重新格式化,然后挂咸鱼。 迁移步骤 scoop应用列表 MSI上安装了这堆scoop应用,不管有没有用,先mark着。 123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051Name Version Source Updated Info---- ------- ------ ------- ----7zip 24.09 main 2024-12-09 00:40:23adb 35.0.2 main 2024-12-09...
记录一下最近的Shell配置和工具
CLI tools atop: 监控系统资源使用情况(偏IRQ) btop: 监控系统资源使用情况(好看) fzf: 模糊查找 zsh 安装 1brew install zsh Oh My Zsh 1sh -c "$(curl -fsSL https://raw.githubusercontent.com/ohmyzsh/ohmyzsh/master/tools/install.sh)" powerlevel10k主题 定制PS1 1git clone --depth=1 https://github.com/romkatv/powerlevel10k.git ${ZSH_CUSTOM:-$HOME/.oh-my-zsh/custom}/themes/powerlevel10k zsh-autosuggestions 自动建议,右键补全,alt+右键补单词 1git clone https://github.com/zsh-users/zsh-autosuggestions...
记第一次LoRA训练
记第一次LoRA训练 这两天断断续续的在了解一些关于LLM fine-tuning和LoRA训练的知识,但是一直还没上手实践,感觉眼睛学会了个7、8成。 就在刚才到处逛看到一个叫伶荔的project,一看owner好家伙是深圳大学计算机视觉研究所,母校。 洗澡前打算交点活给GPU干,于是想让它训练一个LoRA。数据集就用Linly提到的instructions,我只取了其中的CSL部分。 原本打算基于Llama-2 13B GQPT模型训练,但是它报错,训练GPTQ模型的LoRA需要一个叫monkeypatch的包。这个包装不上 123 except ImportError, e: ^^^^^^^^^^^^^^SyntaxError: multiple exception types must be parenthesized 好像是太老了,新python已经不支持except这种写法。急着洗澡没去仔细研究,于是换了个vicuna-13b-v1.3-hf,可以跑起来,就走开了。 洗澡真是个彻底放松的时间,sparks of inspiration...
Stable diffusion上手试玩
Stable diffusion上手试玩 前几天尝试搭了个Stable diffusion webui,可以说整个过程十分简单,很傻瓜化,只碰到了一个pip安装问题,从issue也找到了解决方式。 然后抄了c站上的prompt,尝试画甘雨 其他画的一些感觉还不错的图
K-means与KNN
K-means 1234567891011121314151617181920212223242526272829303132333435363738394041424344454647484950515253545556575859606162import numpy as npimport matplotlib.pyplot as pltdef kmeans(x, k, norm=2): # n samples n = x.shape[0] if n < k: raise "len(x) < k" y = np.ones(n) * -1 centroid_idx = np.linspace(0, n - 1, int(n / (n / k)), dtype=int) centroid = x[centroid_idx, :] updated = -1 distance = np.zeros(k) epoch = 0 while updated != 0 and...
逻辑回归整理
逻辑回归 Sigmoid function Sigmoid函数:σ(z)=(1+e−z)−1\sigma(z) = (1 + e^{-z})^{-1}σ(z)=(1+e−z)−1 线性回归:z=w0x0+w1x1+...+wixi=∑iwixiz = w_0x_0 + w1_x1 + ... + w_ix_i = \sum_{i} w_ix_iz=w0x0+w1x1+...+wixi=∑iwixi, 矩阵形式: z=WTXz = W^TXz=WTX 逻辑回归:σ(z)=σ(w0x0+w1x1+...+wixi)=(1+e−(w0x0+w1x1+...+wixi))−1=(1+e−WTX)−1\sigma(z) = \sigma(w_0x_0 + w1_x1 + ... + w_ix_i) = (1 + e^{-(w_0x_0 + w1_x1 + ... + w_ix_i)})^{-1} = (1 +...
相关性系数笔记
相关性系数笔记 相关性系数可以用于衡量两个变量的相关性。 协方差 (covariance) 协方差在概率论和统计学中用于衡量两个变量的总体误差。x和y是两个随机变量,以下函数用于计算x和y序列的协方差。 covx,y=1N−1∑i=1N(xi−xˉ)(yi−yˉ)cov_{x,y}=\frac{1}{N - 1}\sum_{i=1}^{N}(x_{i}-\bar{x})(y_{i}-\bar{y})covx,y=N−11∑i=1N(xi−xˉ)(yi−yˉ) covx,ycov_{x,y}covx,y = covariance between variable x and y xix_{i}xi = data value of x yiy_{i}yi = data value of y xˉ\bar{x}xˉ = mean of x yˉ\bar{y}yˉ = mean of y NNN = number of data values 协方差输出正值表示正相关,负值表示负相关,0表示不相关。值大小不代表相关程度。 协方差矩阵 (covariance...
梯度下降拟合曲线
梯度下降拟合曲线 原本打算使用python代码实现梯度下降曲线拟合。搜索了一圈没有找到讲得非常详细的文章。自己实践了一下记录在此。 注:公式是后期整理的没有很仔细,也许会有些细节上的问题,仅供参考。 原理 首先确定拟合曲线的函数是怎样的,这里用一元k次方程: y(w0,w1...wk)=w0+w1x+w2x2...+wkxk=∑n=0kwnxny(w_0,w_1...w_k) = w_0 + w_1 x + w_2 x^2 ... + w_k x^k = \sum_{n=0}^{k} {w_n}{x^n}y(w0,w1...wk)=w0+w1x+w2x2...+wkxk=∑n=0kwnxn 然后,确定使用最小二乘损失函数: L=∑i=0j12j(yi^−𝑦i)2L = \sum_{i=0}^{j} \frac{1}{2j} (\hat{y_i} - 𝑦_i) ^ 2L=∑i=0j2j1(yi^−yi)2 这里的y^\hat{y}y^是观测值, yiy_iyi是理论值(ground...