在技术社区里,我最喜欢的就是开源项目。
世界各地的人们都在为有价值的项目贡献力量,把这些项目免费提供给大家,真是太酷了。
在这篇文章里,我们来看看11个你应该现在就去看一下的超赞的GitHub仓库。
咱们直接来吧!
省略号
Crawlee: 自动化简直是小菜一碟。Crawlee 是一个用于网络爬虫和浏览器自动化的库。它可以帮助你创建爬虫,抓取网页并提取数据。
当网站添加了 JavaScript 渲染功能时,你不需要重写一切,只需切换到浏览器爬虫。当你找到能加速爬取的优秀 API 时,再切换回原来的设置。
(爬虫)
Crawlee提供了三种类型的爬虫(网络爬虫),分别是:
✅ Cheerio 网络爬虫:一个简单的 HTTP 爬虫,使用 Cheerio 库提取数据。
✅ Puppeteer 浏览器爬虫 :这是一个利用 Puppeteer 渲染页面并提取数据的爬虫。
✅ Playwright 爬虫程序:这是一个使用 Playwright 来渲染网页并提取数据的网页爬虫。Playwright 是比 Puppeteer 更强大的继任者。
他们不仅提供刮取和自动化服务,还提供多种工具将提取的数据结构化保存。
Crawlee也可以用于许多实际应用场景,比如从电商网站抓取产品信息或类似的批量处理电子表格数据。
你可以在这里了解更多他们如何在实际项目中使用Crawlee的研究,这里:here
开始使用Crawlee:入门
Crawlee 是一个用 Node.js 编写的库,所以你才能开始使用。
你可以通过运行 NPX 来开始一个新的项目:
运行此命令来创建一个新的爬虫项目:npx crawlee create my-crawler
进入全屏模式 退出全屏
你可以选择“入门模板”,然后按照说明开始。然后,运行以下命令:
# 你可以在下面运行爬虫的命令
调整后的版本已删除注释行,并保持了命令部分的英文原样,使其更加简洁和流畅。不过,为了更符合中文的习惯和专家建议,将保留直接呈现命令的形式而不添加解释性文本。因此,最终版本将为:
你可以选择“入门模板”,然后按照说明开始。
# you can run your crawler by running the following command
鉴于专家建议中提到直接保留英文命令更为自然,最终版本为:
你可以选择“入门模板”,然后按照说明开始。
# you can run your crawler by running the following command
考虑到专家建议删除注释行,最终版本更正为:
你可以选择“入门模板”,然后按照说明开始。
切换到爬虫目录并启动npm
cd my-crawler
npm start
全屏显示,退出全屏
当你启动Crawlee时,你会在终端里看到类似这样的信息。
INFO PlaywrightCrawler: 开始抓取过程
INFO PlaywrightCrawler: https://crawlee.dev/ 的标题是 'Crawlee · 构建可靠的爬虫,快速地。 | Crawlee'
INFO PlaywrightCrawler: https://crawlee.dev/docs/examples 的标题是 '示例 | Crawlee'
INFO PlaywrightCrawler: https://crawlee.dev/api/core 的标题是 '@crawlee/core | API | Crawlee'
INFO PlaywrightCrawler: https://crawlee.dev/api/core/changelog 的标题是 '变更记录 | API | Crawlee'
INFO PlaywrightCrawler: https://crawlee.dev/docs/quick-start 的标题是 '快速开始 | Crawlee'
点击全屏,按退出全屏
Crawlee可以用在许多其他场合,比如抓取数据来创建API,用于表格的数据抓取,或者抓取数据用于仪表板。
它是一个强大的工具,用于抓取数据和自动化网络浏览器。他们已经在Github仓库获得了超过16000个星标。
请参阅官方文档,了解更多关于 Crawlee 的信息。
给 Crawlee 加星 🌟
点击这里:https://git.new/Crawlee
……
Encore: AI 原生后端框架 EncoreEncore 是一个开源的后端开发框架,使用 Go、JavaScript 和 TypeScript 等语言构建后端应用。它现在还支持基于 AI 的开发。
它专门设计用来与GitHub Copilot等AI工具一起工作,以生成完整的分布式系统项目。
它还会检查所有由AI生成的代码,确保其正确实现了这些服务定义、API规范和基础设施整合。
一些关键特性让它非常适合AI驱动的开发:
⚡️ 全系统生成能力 :AI工具可以准确生成拥有多个服务的完整分布式系统,
⚡️ 生产就绪验证功能:自动检查所有生成代码的正确性
⚡️ 零知识缺口:通过服务目录、API 文档和架构图自动提供文档和可观测性(Observability)
⚡️ 代码即基础设施:AI 可生成和验证云基础设施的集成
您的浏览器不支持播放视频。
该平台由Rust驱动,运行速度非常快——比Express.js更快9倍,比Elysia和Hono更快3倍,在基准测试中。
开始使用Encore吧
通过运行以下命令来安装 Encore CLI
在终端中输入以下命令来安装由encoredev维护的软件包encore
:
brew install encoredev/tap/encore
执行后,您将安装一个由encoredev维护的软件包。
点击全屏按钮来切换到全屏模式,然后点击退出来返回
上述命令是为 macOS 系统设计的,你可以在他们的官方文档中找到其他平台的安装指南。
运行:创建一个带有预设AI模板的新应用
app create
全屏模式(按Esc退出)
选择你喜欢的模板,并按照说明开始操作。创建完成后,你可以运行你的应用,比如:
请运行以下命令来启动你的应用:
cd 你的应用名
运行Encore
全屏 退出
您的浏览器不支持视频。
[ Encore](https://dub.sh/encore) 提供了一个开发看板,你可以在这里监控你的应用,查阅 API 文档,并实时查看架构。访问地址:`http://localhost:9400`。
拥有**8.7k+**星的[Github仓库](https://git.new/encore)和**70+**位贡献者,Encore正快速崛起为AI驱动后端开发的首选框架。
给 Encore 加星🌟 支持,点这里 [](https://git.new/encore)
……
## [Kitops](https://dub.sh/kitops.org): (Kitops:)轻松管理您的AI管道流程
在这个AI盛行的时代,使用AI管理这些庞大的数据管道很让人头疼。
[Kitops](https://dub.sh/kitops.org) 是解决这个问题的好方法。它是一个管理AI流程的平台。
[KitOps](https://dub.sh/kitops.org) 是一个开源的 DevOps 工具,它将您的 AI/ML 模型、数据集、代码和配置打包并对其进行版本管理,生成一个可复现的制品称为 ModelKit。

模型工具包是基于现有的标准构建的,确保与您数据科学家和开发人员已使用的工具兼容性。
### 让我们开始使用Kitops吧,一起来吧
要开始,请确保已经安装了Kitops CLI(安装指南:[点击这里](https://kitops.org/docs/cli/installation/))。这一步是开始的前提。
接着,新建一个文件夹然后进入这个文件夹。
让我们开始创建一个新的KitOps项目。
mkdir my-kitops-project
cd my-kitops-project # 进入新建的项目目录
全屏进入 全屏退出
Kitops CLI 将引导你一步步创建新的 Kitops 项目。
要检查软件版本,可以这样做:
套件的版本
进入/退出全屏
如何登录?
登录 kit.jozu.ml
开启全屏 退出全屏
可以从HuggingFace下载一个ModelKit文件,参考[这个指南](https://kitops.org/docs/hf-import/)。
补充模型工具包的是Kitfile,这是一个基于YAML的配置文件,用于简化模型、数据集、文档、代码和配置的共享过程。
您的浏览器不支持视频播放,建议换个浏览器试试。
这是一个样本Kitfile的示例:
版本号: v1.0.0
包:
作者:,
- Jozu
描述: 更新模型以分析航班特性和乘客满意度数据
许可证: Apache-2.0
名称: FlightSatML
代码:
- 描述: 含有Python训练代码的Jupyter笔记本
路径: ./notebooks
模型:
描述: 使用Scikit-learn分析并预测航班满意度和特性的模型。
框架: Scikit-learn
许可证: Apache-2.0
名称: joblib模型文件
路径: ./models/scikit_class_model_v2.joblib
版本: 1.0.0
数据集:
- 描述: 航班特性和旅行者满意度的训练数据(表格形式)
名称: 训练数据
路径: ./data/train.csv - 描述: 验证集数据(表格形式)
名称: 验证集数据
路径: ./data/test.csv
进入全屏 退出全屏
如你所见,这是一个简单的YAML文件,用于告诉KitOps需要打包哪些内容。这种配置和Docker中的Dockerfile
很像。
你可以在这里找到详细的文档资料:[]此处链接。
他们仍然是一个正在成长的社区,并且在他们的GitHub仓库上拥有600+颗星。
……
Browserbase: 让您的AI畅游网络的世界Browserbase 是一个平台,提供即用型网页浏览器以满足您的 AI 应用和自动化需求。
Browserbase的独特之处在于它与Playwright、Puppeteer或Selenium等流行工具配合使用起来非常简单。你不需要修改现有的代码——只需将其指向这些工具,一切就能顺利运行了!
浏览器基础 (bù cǎn zī jù)
这个平台有好多很酷的功能哦:
- 超快:每个浏览器都配备4个vCPU,因此页面加载飞快
- 轻松查看实时情况:你可以实时查看浏览器的操作
- AI友好:与AI工具配合得很好,并自带名为Stagehand的框架
- 智能防护:自动处理验证码挑战,并使用智能代理确保自动化任务顺利运行
探索 Browserbase
首先,先安装他们的SDK(他们提供Node.js和Python两个版本):
# 适用于 Node.js
npm install @browserbase/sdk
# 适用于 Python
pip install BrowserBase
点击全屏显示 退出全屏
这里有一个使用Node.js SDK的简单例子。
import { Browser } from '@browserbase/sdk';
async function main() {
const browser = new Browser();
const page = await browser.newPage();
await page.goto('https://example.com');
await page.screenshot({ path: 'screenshot.png' });
await browser.close();
}
切换到全屏,退出全屏
他们提供了一个测试区,在这里你可以测试你的脚本,并且他们的AI还可以帮助你编写代码。
他们的Github仓库增长迅速,其主项目Stagehand已经积累了7.5k+星,这个项目可以帮助你构建AI网页浏览工具。
您可以在他们的官方文档了解更多关于Browserbase的内容。
此处省略内容
Astro: 静态网站搭建工具作为开发者,我们都需要一个漂亮的个人作品集来展示我们的作品。或者像我这样的可能需要一个博客来记录经历和心得。
Astro 是一个静态网站构建工具,它超快且非常适合 SEO。
如图
它支持多种框架,比如 React、Vue 和 Svelte。它还支持这样的 Markdown 和 MDX。
Astro 预装了许多主题和组件。不必从零开始,但你也可以这样做。你可以在这里找到所有主题的完整列表:here。
开始探索 Astro 之旅
要安装 astro,请运行以下命令:
在命令行中运行以下命令来创建一个新的 Astro 项目:
npm create astro@latest
您可以点击这里进入全屏,点击这里退出全屏
或者你可以手动输入并运行以下命令:
npm install --save-dev astro # 在项目中安装 Astro 开发依赖
进入全屏 退出全屏
如下
Astro 拥有一个庞大的社区,在他们的 GitHub 上获得了超过 49k 的点赞。
你可以在这里查看Astro的官方文档,了解更多关于Astro的内容。
Langchain: 轻松构建强大的LLM应用
Langchain 正成为我每个与大语言模型相关项目的首选。而且它还是开源的,我更喜欢。
Langchain 是一个用于构建 LLM 应用程序的框架。它提供了一系列功能来帮助你在不仅仅是在文本的领域中集成 LLM 能力,帮助你在更多领域中利用 LLM 能力。
它提供了嵌入功能、向量存储、链路、代理程序以及更多功能。
你可以用Langchain创建强大的RAG管道系统。RAG管道系统是通过大语言模型依据给定的背景信息来解答问题的系统。
上下文可以来自一个基于向量的数据存储或一个简单的文本文件。我们之所以使用基于向量的数据存储,是为了减小上下文范围并提高结果的准确性。
开始玩转Langchain吧
Langchain可供使用于Python和JavaScript编程语言。
要安装 Langchain,请运行:
在终端中运行此命令来安装langchain:```
pip install langchain
全屏 退出全屏
并且用 conda,
conda install langchain -c conda-forge
进入全屏,退出全屏

他们还提供了一些名为[LangGraph](https://langchain-ai.github.io/langgraph/cloud/)的服务,帮助您将应用部署到云端的工具。
他们在[Github仓库](https://github.com/langchain-ai/langchain)上获得了超过10万的星标。如果你还没有用过它,真的应该试试。
给 Lanchain 点个星 🌟
https://github.com/langchain-ai/langchain.
* * *
## [Bun](https://bun.sh): 一个快速的 JavaScript 和 TypeScript 运行时
Bun 是一个 JavaScript 运行时和工具包的一站式解决方案,追求速度,内置了打包器、测试运行器以及兼容 Node.js 的包管理器。
Bun 力求达到百分之百的 Node.js 兼容。Bun 是一个构建 Web 应用很好的工具。
它作为名为 `bun` 的单一可执行文件发布。它是用 Zig 语言编写的,并且在底层使用 JavaScriptCore 提供支持,从而大幅减少了启动时间和内存占用。
包子
`bun` 命令行工具不仅是一个测试运行器和脚本运行器,它还是一个与 Node.js 兼容的包管理器,它们的速度远超现有工具,并且几乎可以无需修改就能直接用于现有的 Node.js 项目。
### 安装 Bun 工具。
你可以运行以下命令来安装 Bun:
curl -fsSL https://bun.sh/install | bash # 适用于 macOS、Linux 和 WSL 环境
运行此命令以在 macOS、Linux 和 WSL 上安装 bun 工具
全屏模式 退出全屏
powershell -c "irm bun.sh/install.ps1|iex" # 在 Windows 上运行上述命令
进入全屏 退出全屏
 这是一只可爱的包子!
Bun 还提供了一个 [Docker 镜像(Image)](https://hub.docker.com/r/oven/bun/tags),支持这两种架构,包括 Linux x64 和 arm64。
Bun 是一个包管理工具,支持模板、打包、测试等,开箱即用,非常方便。
他们[GitHub仓库](https://github.com/oven-sh/bun)上获得了76k+星标。
给 Bun 点个星 🌟
[给 Bun 点个星🌟](https://github.com/oven-sh/bun)
* * *
## [Shadcn]:告别单调的界面
很多人都说,前端比后端难,这句话其实挺对的。
[Shadcn](https://ui.shadcn.com) 在这里帮了我们大忙。
 这是一张来自Shadcn的图片。
Shadcn 是一个预构建组件库,你可以用它来构建 UI。它通常搭配 Next.js 使用,但也兼容其他框架,如 Vite、Remix、Astro 等框架。
最棒的是你不需要像其他库那样必须一次安装所有组件。你可以随时按需安装所需的组件。
这就像说:“我要一个按钮,所以我安装按钮组件并在应用中使用它。”你无需担心样式或实现细节的问题。
他们也提供很多模板来帮助你上手。你可以在这里找到模板[这里](https://ui.shadcn.com/blocks)。
### 开始体验 Shadcn 项目
在安装 Shadcn(适用于 Next.js)时,运行以下命令:
npx shadcn@latest add
使用 npx 命令来安装和运行 shadcn 的最新版本,并添加相应的组件。运行命令来添加组件。
进入全屏 退出全屏
你会被问几个问题,只需选你最喜欢的选项。
搞定啦!现在你可以开始给你的APP添加组件了。
我们给应用加个按钮吧。
运行 npx shadcn@latest add button
来添加按钮组件
全屏显示,退出全屏
 注:Shadcn 保持不变,因其为专有名词。
你会在项目中看到一个新的文件 `components/ui/button.tsx`。
你可以像这样导入它并在你的应用程序中使用它。
import { Button } from "@/components/ui/button"; // 导入按钮组件
点击这里来切换到全屏。退出全屏。
他们在这个 Github 仓库 (https://github.com/shadcn-ui/ui) 上有 8 万以上的星标。
给 shadcn 点个星标 🌟
[https://github.com/shadcn-ui/ui](https://github.com/shadcn-ui/ui)
* * *
## [Supabase:](https://supabase.com)Firebase 的替代品
[Supabase](https://supabase.com) 是一个类似于 Firebase 的开源替代品,支持 Postgres 数据库,用于构建 Web、移动和 AI 应用。
Supabase 提供身份验证、实时数据库、即时 API 服务、边缘计算函数、实时订阅功能、存储服务和向量嵌入功能。

而且最好的部分是你可以免费使用它。他们提供两个免费项目帮助你入门。
我在很多项目中都用过Supabase。它上手容易,自带身份验证功能,还有许多其他实用的功能。
他们还提供了模板供你开始使用。你可以在这里找到所有模板[here](https://supabase.com/docs/guides/getting-started)。他们提供特定框架的模板、Web 应用演示和移动应用演示等,等等更多。
### 探索 Supabase
开始很容易。只需在他们的[网站](https://supabase.com/sign-up)进行注册并创建一个新项目。
那要看你想做什么。想做身份验证?看这里[链接](https://supabase.com/docs/guides/auth);想用数据库?看这里[链接](https://supabase.com/docs/guides/database);想用存储?看这里[链接](https://supabase.com/docs/guides/storage)。
他们有一个[CLI](https://supabase.com/docs/guides/cli),可以帮助你入门。

拥有超过**77k+**颗星在他们的[GitHub仓库](https://github.com/supabase/supabase)上,它是一个构建你下一个项目的绝佳选择。
查看[官方文档](https://supabase.com/docs)开始吧。
[给 Supabase 点个赞吧 🌟](https://github.com/supabase/supabase)
* * *
## [Remix](https://remix.run): 快来创建更优秀的网站吧!
[Remix](https://remix.run) 是一个全栈 web 框架,它让你可以专注于用户界面的设计,并通过 web 标准从后台向前端工作,实现快速、安全且高度互动的用户体验。
Remix建立在[React-Router](https://reactrouter.com)之上,具备四个方面:
* 一个编译器
* 一个服务器端的 HTTP 处理程序
* 一个服务器框架
* 一个浏览器框架

点击图片查看混音版本
Remix 的特别之处在于它专注于 web 标准和现代 UX 模式。Remix 不构建静态站点,而是利用了分布式系统和浏览器原生功能来创建超快且互动的应用程序。
Remix 最酷的特性之一是嵌套路由。路由可以嵌套在其他路由中,每个路由都可以加载自身所需的数据。
### 开始使用 Remix
要创建一个新的 Remix 项目,请执行以下命令:
运行以下命令以开始一个新的 Remix 项目:
npx create-remix@latest
切换到全屏模式 退出全屏
这将创建一个新的Remix项目(一个开源的Web应用框架),你只需要选择一个适合你的模板即可开始。
创建后,你可以启动开发服务器:
执行 npm run dev
命令,启动开发服务器。
全屏模式 退出全屏

Remix 在他们的 [Github 仓库](https://github.com/remix-run/remix) 上获得了 **30k+** 的 Star,并且被 Shopify、Microsoft 和 GitHub 这些公司采用。
您可以在他们的[官方文档](https://remix.run/docs/en/main)了解更多关于Remix的内容。
[给 Remix 点个星 🌟](https://github.com/remix-run/remix)
* * *
## [FastAPI]: 快速构建 API
[FastAPI](https://fastapi.tiangolo.com) 是一个现代 web 框架,用 Python 构建 API。它设计得既快速又易用,非常适合生产环境。

它利用 Python 的类型提示功能来自动验证数据的有效性,生成文档,并为编辑器提供支持。这意味着你可以减少编写代码的工作量,并且能够尽早发现错误。
FastAPI 是基于两个强大的库之上。
* **Starlette**:处理所有网站功能
* **Pydantic**:确保数据验证
### 让我们开始使用FastAPI吧
要安装FastAPI并使用所有推荐的功能,请执行以下命令:
为了安装包含标准依赖项的FastAPI库,可以执行如下命令:
pip install "fastapi[standard]"
全屏/退出全屏
创建一个简单的API接口,通过创建一个名为`main.py`的文件:在这个文件中...
从 fastapi 导入 FastAPI 作为 app
app = FastAPI()
@app.get("/")
def read_root():
return {"message": "你好,世界!"}
进入全屏 退出全屏
运行你的API命令如下:
fastapi dev main.py
启动 FastAPI 开发服务器运行 main.py 文件。
点击全屏 点击退出全屏
就这样吧!你的API现在已经在<http://127.0.0.1:8000>运行了。访问<http://127.0.0.1:8000/docs>查看交互式文档。
 (一个快速的API框架)
这个框架也非常快——它是最快的Python框架之一,速度可以和NodeJS和Go媲美。
他们拥有超过 **80k** 的星,并且开发者社区也在不断增长。他们的 [Github 仓库](https://github.com/fastapi/fastapi) 上有这些成就。
您可以在他们的[官方文档](https://fastapi.tiangolo.com/tutorial/)中了解更多关于FastAPI的内容。
给 FastAPI 点个 star 🌟
(https://github.com/fastapi/fastapi)
* * *
在2025年,这些是你绝对应该探索的最值得关注的11个GitHub代码库。一些项目非常新,而且欢迎贡献。
如果你觉得这篇文章有用,不妨与你的同行和朋友们分享,让大家了解这些超棒的工具。
有没有其他超赞的开源项目想推荐?在评论区留言吧——我非常想听听你的推荐哦!
也可以关注我,了解更多这样的内容
这是一张指向arindam_1729页面的图片[ ](/arindam_1729)
## [Arindam Majumder](https://dev.to/arindam_1729) 关注 Arindam Majumder
[开发者倡导 | 技术作者 | 50万+ 阅读 | Mail for Coll](https://dev.to/arindam_1729)
想要付费合作的话,可以通过邮件联系我,邮箱为:[arindammajumder2020@gmail.com](//mailto:arindammajumder2020@gmail.com)。
感谢你的阅读,祝好!
这是一张 GIF 图,教你如何编写代码。
共同学习,写下你的评论
评论加载中...
作者其他优质文章