我们都很喜欢用ChatGPT、Claude、Gemini和其他AI工具来提问,从搞笑的问题到严肃的问题都问。尽管有这么多的AI工具可用,但由于经常遇到服务器问题或当你的网络服务提供商突然慢下来,这样的体验可能并不顺畅。这时,设备端的AI就能真正派上用场了。
自从谷歌推出了Gemini模型家族,Gemini Pro因其更连贯的回答、更强的理解能力和更大的上下文范围等功能而备受瞩目。然而,强大的能力伴随着巨大的资源消耗 — 资源消耗也很大,这也是为什么你不能在本地运行它。
为了应对这个问题,Google 正在 Chrome Canary 中试验 Gemini Nano,这将让语言模型在你的电脑上本地运行。
Chrome Canary 到底是什么?对于不太了解的人来说,Chrome Canary 是专为开发者和技术爱好者打造的试验版 Google Chrome,他们可以在测试最新功能和 API 的过程中,在这些功能和 API 完全普及之前,体验最新的特性。
在功能和 API 之间添加顿号,符合中文习惯,因此最终调整为:对于不太了解的人来说,Chrome Canary 是专为开发者和技术爱好者打造的试验版 Google Chrome,他们可以在测试最新功能和 API 之前,在这些功能和 API 完全普及之前,体验最新的特性。
为了测试设备端的AI功能,我们,需要使用Chrome Canary,因为此功能仍处于测试版阶段,可能会不稳定。
我们为什么需要设备上的AI?- 增强的安全性和隐私
- 更佳的性能
- 更快的响应速度
- 成本效益
我个人的看法是,设备端的人工智能也更加可持续,因为这些小而精悍的模型使用本地资源,间接减少了碳足迹。虽然它短期内可能不会产生显著影响,但我们应该认可这种潜在的好处,对未来的前景更有利。
如何在 Chrome Canary 上开始使用 Gemini Nano?Chrome金丝雀版的设置选项
- 安装 Chrome Canary(显然)。
- 在地址栏中输入
chrome://flags
- 将“设备上的优化指南启用”设置为 Enabled BypassPerfRequirement
- 将“提示 Gemini Nano API”设置为 Enabled
- 重启浏览器并等待它下载 Gemini Nano 到本地机器(需要 22GB 的可用空间,尽管模型本身仅约 3GB)
- 要检查状态,请导航到
chrome://components
,并确保 优化指南设备模型 显示版本 2024.6.5.2205 或更高。如有必要,点击‘检查更新’。 - 搞定!
要确认Gemini Nano是否已成功安装并准备就绪以生成响应,请在Chrome的开发者工具中输入以下命令:await window.ai.canCreateTextSession()
,其返回结果应为“准备好”。
我们来试试一些基本的问题:
为了让整个应用保持简洁,我们将在控制台内为选定文本构建摘要生成器。
我们可以用这个功能来获取文本选择。
function getSelectedText() {
var selectedText = window.getSelection().toString();
return selectedText;
}
document.addEventListener('mouseup', function() {
var selectedText = getSelectedText();
if (selectedText) {
console.log(selectedText);
// 可以对选中的文本进行进一步处理
}
});
下一步是将这些数据导入Gemini Nano。我们可以通过稍作修改刚才提到的函数来完成这一步。
function getSelectedText() {
return window.getSelection().toString();
}
async function handleSelection() {
const selectedText = getSelectedText();
if (selectedText) {
const canCreate = await window.ai.canCreateTextSession();
console.log("正在处理数据...");
if (canCreate !== "no") {
try {
const session = await window.ai.createTextSession();
const result = await session.prompt("请用列表形式总结以下文本:" + selectedText);
console.log(result);
} catch (error) {
console.error("生成会话或提示时出错:", error);
}
}
}
}
document.addEventListener('mouseup', handleSelection);
根据你机器的配置,回复通常会在几秒钟内完成。
这对我们来说意味着什么呢?好吧,这意味着开发GenAI应用和封装工具(我们也不必对他们太过苛刻,对吧?)变得简单多了起来。一旦该功能在谷歌浏览器上公开推出,开发的扩展和网站数量可能会令人震惊。
对于开发人员来说,最好的一点是不需要任何资金投入,还省去了担心API配额超限和破产的麻烦。
希望你喜欢这篇文章,觉得它既有趣又有信息量。关注我,可以经常看到更多这样的精彩文章,了解技术领域的新鲜事和激动人心的发展。大家已经开始用Gemini Nano搞实验,还做出了不少酷炫的项目,比如有人做出了Gmail插件,就像这条推文展示的一样。
共同学习,写下你的评论
评论加载中...
作者其他优质文章