PocketPal AI

PocketPal AI软件是一款简单好用的开源离线AI助手，支持多个系统。基于语言模型进行运行，用户能够在手机中与AI进行互动，无需联网即可轻松操作。支持多种模型，置强大智能的内存管理功能，能够自动卸载和加载模型以节省更多空间。自定义模型的参数进行操作，更有强大的功能，能够实时提示系统内容，查看性能指标。所有对话均能够在本地进行操作处理，更好确保数据安全。欢迎大家前来本站下载体验。

PocketPal AI怎么使用

打开软件点击Models，点+，点Hugging Face搜索大模型

尽量下载名字带Q4_NL（4bit量化 normal 压缩）的模型，回答比较精准

解释一下部分量化标识命名规则：NL 平衡精度与速度（Normal）、M 中等优化（middle）、 XS 极致压缩（Extra Small）、K 极限压缩（K-special）、Qx 量化位数（手机上运行 Q4 最佳）

在加载好模型后在Settings中把N PREDICT设置为4096

PocketPal AI操作流程

下载模型

点击汉堡菜单

导航到 “Models” 页面

选择您想要的型号并点击下载

加载模型

下载后，点击 Load 将模型导入内存。现在您可以聊天了

技巧

在 iOS 设备上，Apple 的 GPU API （Metal） 默认处于激活状态。如果您遇到任何问题，请尝试停用它。

iOS 金属

自动卸载/加载

为了保持设备平稳运行，PocketPal AI 可以自动管理内存使用情况：

在模型页面上启用 “Auto Offload/Load” （默认情况下是）

该应用程序将在后台卸载模型

当您返回时，它会重新加载（对于较大的模型，请等待几秒钟）

高级设置

单击 V 形图标可访问高级 LLM 设置，例如：

温度

BOS 代币

聊天模板选项等

最后，让我们聊聊吧

加载模型后，前往 “聊天” 页面并开始与加载的模型交谈！

此时还会显示 generation performance （生成性能） 指标。如果有兴趣，请观察聊天气泡以获取实时性能指标：每秒令牌数和每个令牌的毫秒数

重要提示：截至目前，我还没有找到一种简单的方法来从生成的响应中选择和复制文本，同时保留文本格式，尤其是 Markdown 支持

同时，以下是当前用于复制文本的选项：

段落级复制：长按特定段落可复制其内容

完整响应复制：使用文本气泡底部的复制图标复制 AI 生成的整个响应

PocketPal AI软件亮点

离线人工智能助手：直接在您的设备上运行语言模型，无需互联网连接

机型灵活性：下载并在多个SLM之间交换，包括Danube 2和3、Phi、Gemma 2和Qwen

自动卸载/加载：当应用处于后台时，通过卸载模型自动管理内存

推理设置：自定义模型参数，如系统提示，温度，BOS令牌和聊天模板

实时性能分析：在AI响应生成期间查看每秒令牌和每个令牌的毫秒数

PocketPal AI小编测评

能够在手机上直接运行，无需依赖互联网连接，确保了使用的便捷性和隐私性

下载和切换多种语言模型，包括Danube、Phi、Gemma等，满足不同需求

在AI生成响应的过程中，实时查看生成性能指标，如每秒令牌数和每个令牌的毫秒数，了解AI的工作状态