Android 设备上运行轻量级 LLM 指南
在现代应用开发中，生成式AI正逐渐变得至关重要。在Android平台上，通过MediaPipe LLM推断API，我们可以使用大型语言模型（LLM）来实现多种文本生成任务。本文将为您详尽介绍如何在Android应用中设置和使用LLM推断API，以便在设备上运行这些强大的语言模型。
第一步：环境设置
在开始之前，请确保您的开发环境已正确配置，以支持MediaPipe LLM推断API：
-
安装Android Studio：确保您的开发环境中安装了最新版本的Android Studio。
-
MediaPipe库依赖：在您的
build.gradle文件中添加以下依赖：dependencies {implementation 'com.google.mediapipe:tasks-genai:0.10.14' } -
设备准备：建议使用实际设备进行测试，以避免模拟器的性能问题和意外行为。
第二步：下载和准备模型
MediaPipe LLM推断API支持多个文本到文本的大型语言模型，如Gemma 2B、Phi-2等。下载这些模型后，将它们推送到Android设备中。以Gemma 2B为例，它可用于多种文本生成任务。
在下载适合您的任务的模型后，需确保模型格式兼容，必要时需进行格式转换。
转换 Colab Note：llm_conversion.ipynb
第三步：创建任务并配置
官方示例：
git clone https://github.com/google-ai-edge/mediapipe-samples
cd mediapipe
git sparse-checkout init --cone
git sparse-checkout set examples/llm_inference/android
使用createFromOptions()函数来设置LLM推断任务。以下是一些基本的配置选项：
val options = LlmInferenceOptions.builder().setModelPath("/data/local/.../").setMaxTokens(1000).setTopK(40).setTemperature(0.8).setRandomSeed(101).build()val llmInference = LlmInference.createFromOptions(context, options)
配置选项说明：
- modelPath：模型存储路径。
- maxTokens：模型处理的最大令牌数。
- topK：每步生成时考虑的最可能的k个令牌。
- temperature：文本生成随机性，数值越高生成结果越多样。
- randomSeed：生成过程的随机种子。
第四步：数据准备与执行任务
输入的格式为字符串类型的提示文本，例如：
val inputPrompt = "Compose an email to remind Brett of lunch plans at noon on Saturday."
执行任务
使用generateResponse()方法生成响应：
val result = llmInference.generateResponse(inputPrompt)
logger.atInfo().log("result: $result")
第五步：结果处理与显示
LLM推断API会返回一个LlmInferenceResult，并且生成的响应文本可以直接用于您的应用中。
第六步：LoRA模型自定义（可选）
通过LLM推断API支持的低秩适应(LoRA)，可以在GPU上进行更精细的调整，优化LLM的性能以适应特定任务。
总结：
MediaPipe LLM推断API提供了一种简便的方法，在Android设备上应用强大的生成式AI。通过本文，您可以搭建一个基本的LLM推断应用框架，进行生成性任务处理，从而为用户提供智能、定制化的交互体验。
通过理解并使用这些工具，您将在应用开发中占据技术领先地位。探索这些模型和配置的更多可能性，为用户带来新的惊喜！
参考文档：Android 版 LLM 推理指南