老柯修机铺

通讯行老师傅的手机软件笔记——每款 App 装过、用过,才敢写下来

出差酒店 Wi-Fi 封了 AI API,我掏手机用 Local AI 救了场

项目内容
软件Local AI
版本1.1
平台Android APK
体积193.06M
分类ai软件
开发商深圳市清鸽科技有限公司
包名tech.qingge.localai
官网Local AI 官网
下载一Local AI 下载,Local AI 下载
下载二Local AI 下载,Local AI 下载
文档Local AI 文档
介绍程序员小王在酒店被客户临时发来一张财务报表截图要求分析,云端大模型全连不上,Local AI 的离线多模态识图成了唯一出路。

Local AI 是什么——装在安卓手机里的离线大模型

模型列表界面

先交代清楚这款软件的定位:Local AI 是一个跑在安卓手机上的 GGUF 模型运行器。它本体不带任何模型,像一个空的播放器,你自己往里面装 Qwen、DeepSeek、Llama 这些开源模型的 GGUF 版本,然后所有对话、识图、推理都在手机本地完成,全程不经过云端。应用本身只有 193MB,模型按需下载,不用就删,体积完全可控。

周三下午三点的紧急报表

上周三我在杭州出差,住在西湖边一家老酒店。下午三点整,客户发来一条微信,附了一张财务报表截图:

「小王,这张 Q3 成本明细表,帮我看一下哪些科目异常,今天下班前给我分析结论。」

我当时的状态是:坐在酒店床上,打开随身带的笔记本,登录了三个常用的云端大模型网页端——然后发现这个酒店的 Wi-Fi 把所有 AI 相关的域名都封了。API 请求超时、网页加载到一半卡住、换了三个浏览器结果一样。

笔记本连手机热点倒是能上网,但我翻了翻自己的月度流量,剩 200MB 不到,根本撑不起一轮完整的大模型对话。

我盯着客户的截图,又盯着 Wi-Fi 信号图标,愣了大概两分钟。

朋友群里翻出来的一个名字

我在公司的技术小群里吐槽了一句「有没有人能想到离线看截图的办法」,群里沉默了几秒,一个同事 @了我:

「你有没有装 Local AI?安卓的,离线跑 GGUF 模型,支持多模态识图。我上周在动车上试过,全程飞行模式,识一张票据快得很。」

我其实之前在应用商店刷到过这个名字,但总觉得「手机跑大模型」是个噱头,没当真。但此刻有真实需求压过来,我立刻打开应用商店搜了一下。

下载安装用了不到三分钟。打开应用,首先让我下载模型。我想起同事说的「多模态」,翻到模型列表里带 VL 标识的那一行——Qwen2-VL-2B,中文原生识图,最低内存 6GB,我那台 12GB 内存的安卓机刚好够用。下载模型花了大概十分钟(酒店 Wi-Fi 虽然封了 AI API,但普通下载还能跑),我站在窗边盯着进度条,心里在算客户那边的 deadline。

十分钟,从打开应用到输出结论

模型加载完成后,我回到对话界面。输入框旁边有个图片按钮,点进去从相册选了客户那张报表截图。图片出现在输入区上方,我在下方输入:「分析这张财务报表截图,找出 Q3 相比 Q2 有明显波动的科目,逐项给出可能原因。」

多模态识图对话界面

发送之后手机开始发热——视觉模型的推理比纯文本慢不少,群里同事说过大概 20 到 30 token/s。我盯着进度条,想起之前读的 Local AI 文档里提过的参数调优,临时想起把 GPU 层数从默认的自动调到了建议值,关掉了不必要的并行数。这些参数平时不会去碰,但此刻每一秒都是在跟时间赛跑。

大概过了四分钟,回复完整输出了。模型准确识别了截图里的每一行数字、每一列表头,逐项对比了 Q2 和 Q3 的数据变化,标出了三项异常波动:研发成本上浮 28%、营销费用下降 42%、应收账款周转天数增加了 11 天。后面附带的原因分析虽然需要我手动核对一下,但框架和思路都给到位了。

我把截图和 Local AI 的分析结果一并发给客户,对方很快回了一个「OK」。

事后复盘:离线 AI 到底值不值得装

那天下午我坐在酒店床上盯着手机屏幕的时候,脑子里闪过一个念头:如果这不是一张报表,而是一张合同截图、一张票据、一张设计图呢?Local AI 的多模态识图都是能搞定的——只要模型是 VL 架构,图片不离开设备,全程在手机本地完成。

回来之后我仔细翻看了 Local AI 的设置页面,才发现它能调的参数比我临时用的那几个多得多:GPU offload 的层数、内存锁定策略、批次大小、随机种子、停止词,全部摆在明面上。它不是那种装上就能用的傻瓜应用,是给愿意折腾模型的玩家准备的空容器。

当然也踩过坑。第一次装的时候我直接下了一个 7B 的视觉模型,结果一发送图片就闪退——后来才知道是手机内存顶不住,安卓系统的内存管理器直接把进程杀了。按照文档里的修复步骤,把模型换成 2B 档,关掉后台所有 App,重启手机之后才稳定下来。现在的做法很简单:用完退出,让应用从内存释放;插电使用,避免电池模式下的内存配额限制;长对话聊久了就开个新会话,不让上下文无限膨胀。

那天的经历让我重新评估了离线 AI 的价值。我之前一直觉得云端大模型算力碾压一切,手机跑模型只是玩具。但当网络不可用、流量不够、或者数据本身就不方便上传云端的时候,Local AI 这样的工具是真的能救急的——而且全程数据不出本机,隐私这道线划得清清楚楚。

后来我把 Local AI 装回了那台 12GB 的安卓机上,模型保持 2B 档,参数调在一个稳定的配置。它不是我的主力 AI 助手,但每次出差、每次上动车、每次走进一个不确定 Wi-Fi 质量的地方,我都会下意识摸一下口袋里的手机——知道它在,就多了一层底气。

本文为个人基于网络公开资料整理编写,非官方内容,仅供学习交流参考;软件版权归原作者所有,请支持正版;使用过程中遇到问题请查阅官方渠道,本文不承担任何责任。

同类文章