开源 · 自托管 · 可信网页数据管线

Extrio.

让网页成为可信数据。

AI 理解网页,人来确认规则。每次采集确定执行,每条数据有据可循。

v0.6 PUBLIC ALPHA
管线概念图 · 非实时数据

执行冻结规则,运行期不调用 LLM。

Apache-2.0 开源运行期零 LLM 调用Ed25519 规则签名数据留在自己的环境

01 / THE PHILOSOPHY

把智能用在探索,
把确定性交给运行。

网页会变,模型有不确定性。数据管线不该因此成为黑箱。Extrio 把接入与执行分开,让每一步都有明确边界。

01 / EXPLORE

理解网页,不放任 AI。

AI 从列表与详情样本中生成受约束的 RulePlan,经服务端验证后编译为采集规则。不接受模型生成的任意代码。

网页样本 → RulePlan → GatherSpec
02 / REVIEW

让证据先于发布。

字段、选择器和样本验证一起进入审核。只有人能批准发布;规则版本冻结,并以 Ed25519 签名绑定审核结果。

候选规则 → 人工审核 → 不可变版本
03 / RUN

每次运行,都有来路。

运行固定规则与数据合同,记录质量决定、增量检查点和数据谱系。网站变化时生成新候选,重新审核,而不是静默改写规则。

冻结规则 → 确定执行 → 数据与证据

不是再造一个爬虫。是让采集成为可审阅、可持续、可追溯的工作。

THE EXTRIO WAY

02 / THE WORKSPACE

从采集意图,到每一条证据。

一个为数据运营设计的桌面工作台。规则、运行与结果相互关联,问题不再淹没在日志里。

阅读文档
EXTRIO CONSOLE / v0.6
已采集的结果与尚未确认的覆盖范围,分别如实呈现。

已采集的结果与尚未确认的覆盖范围,分别如实呈现。

FIG. 02

真实本地验收界面 · 中文控制台 · 非在线试玩 / 非性能基准

为需要解释数据来路的团队而建

招投标信息监管公告公共通知

03 / UNDER THE HOOD

不是一场黑箱魔术。
是一条清晰的管线。

控制面接受意图,独立 Worker 执行任务。智能只参与规则生成,正式运行沿着已审核的合同前进。

SINGLE-INSTANCE / v0.6
CONTROL PLANE

React + FastAPI

认证 · 合同 · 持久化命令 · 操作状态

/api/v1
202 Accepted · Operation → Job lease
INDEPENDENT WORKER人工审核 / Ed25519 签名
01

网页样本

Crawl4AI

公开或已授权的列表与详情

02

受约束规则编译

RulePlan → GatherSpec

模型生成计划,服务端验证

03

冻结规则版本

RuleVersion

审核通过后发布,不可变

共享持久层SQLite / PostgreSQL · 持久任务租约 · 文件证据与密钥
下游接口OpenAPI · Webhook · 受治理 MCP

样本探索与规则编译需要模型。人工审核是不可绕过的发布边界。

图示对应当前单实例实现;分布式高可用与多租户不属于当前发布承诺。

深入技术架构
BUILT FOR THE AGENT ECOSYSTEM

智能体可以使用数据,不可以绕过审核。

MCP 将 Extrio 作为受治理的数据工具。Agent 可以创建待审核采集需求、触发已发布规则、查询带谱系的结果,但不能发布规则。

查看 MCP 接入
EXTRIO / MCP7 TOOLS
create_collectionhuman review
trigger_runpublished rules
query_itemswith lineage
publish_rulehuman only

04 / BUILT IN THE OPEN

值得信任,始于经得起审视。

代码、规则合同和项目决策都可以阅读。我们更愿意公开支持边界与验证证据,而不是给出无法复现的承诺。

APACHE2.0自由使用、修改与贡献。
已提供

自托管 Public Alpha

AI 规则生成与修复、人工发布、确定性采集、证据导出、Webhook 与 MCP。

验证中

真实世界的稳定性

跨站点兼容、浏览器渲染来源和漂移恢复质量。当前证据主要来自仓库测试与本地验收。

目标

单组织自托管 1.0

聚焦一组真实团队的持续运营与体验验收。托管试用、公开基准与多租户硬化仍在路线图中。

05 / YOUR DATA. YOUR INFRASTRUCTURE.

下一条可信数据,
从你的环境开始。

克隆源码,在自己的基础设施上运行。不需要托管账号,不把数据管线交给黑箱。

terminal
git clone https://github.com/iiwish/extrio.gitcd extriodocker compose up --build

需要 Git 与 Docker Compose。启动后在 127.0.0.1:8080 创建实例管理员。外网部署前请先阅读安全与自托管指南。

 

自托管公开 Alpha。并非已硬化的多租户服务。