采集脚本的数据到底该往哪放？一个真实需求场景

上个月有个做电商的朋友找我，他手底下跑着七八个采集脚本，分布在两台旧笔记本和一台云服务器上。脚本每天定时抓价格、抓库存，抓完就往本地 txt 和 sqlite 里塞。问题是：他想在手机上瞄一眼今天抓了多少条、有没有异常，得先远程桌面上服务器，再翻文件夹，再打开数据库工具——一套流程下来，看数据的兴致都没了。

他问我：能不能有个地方，脚本把数据往上一丢，我打开网页就能看见，还能按条取走处理？

这个需求其实特别典型。采集脚本、自动化工具、硬件设备，它们产生的数据往往有三个特征：量大、结构简单、需要被另一个程序消费。你专门为它买台服务器装 MySQL，成本高、维护烦；你存本地文件，多机同步又是个坑。这时候一个"云端中转站"式的存储就非常合适——脚本只管推，业务端只管拉，中间不掺和复杂的运维。

我给他推荐了云递数据，原因很简单：它把这件事压缩成了两个 HTTP 接口，任何能发请求的语言都能接。下面我就把从需求到跑通的完整过程写一遍。

云递数据是怎么工作的：两个接口搞定存取

先说清楚它的模型，不然后面写代码容易懵。云递数据的核心只有两个动作：推和拉。

  • 推送：POST http://你的域名/api/push.php，请求体是 JSON，包含 api_key、dataset（数据名）、data（要存的数据，对象、数组、纯文本都行）。APIKey 也可以放在 X-Api-Key 请求头里传。
  • 读取：POST http://你的域名/api/pull.php，按写入顺序 FIFO 读取，取走即标记已读，不会重复下发。支持分页，也支持按数据名读取。

这里有个设计点值得强调：它是队列式消费。也就是说，一条数据被 pull 走之后，默认不会再次出现在下一次 pull 的结果里。这跟"数据库查询"的思路完全不同——它不是让你反复查同一份数据，而是让数据在生产者（采集脚本）和消费者（业务程序）之间流动起来。像极了传送带：脚本往上放，业务端从另一头取。

另外两个细节很实用。第一，写入时会自动规范化并计算哈希去重，内容完全相同的数据只保留第一条，所以脚本偶尔重复推送同一批内容，不会把库撑爆。第二，数据名（dataset）用来分类管理，你可以给不同脚本、不同业务分配不同的数据名，互不干扰。

还有个兼容写法：如果你对接的是老程序，不方便构造 JSON，可以用 ?api_key=xxx&dataset=yyy 配合纯文本请求体，直接存一段文本，简单粗暴。

下面这个表把两种接口的差异列清楚：

对比项 推送接口 push.php 读取接口 pull.php
请求方式 POST POST
核心参数 api_key、dataset、data api_key、dataset、分页参数
数据形态 对象 / 数组 / 文本 按写入顺序返回
是否消费 只写，不改变已读状态 取走即标记已读
去重行为 内容完全相同只留第一条 不涉及

分步实现：用Python推送与读取数据

Python 这边其实用标准库就够了。urllib 和 json 都是自带的，不需要额外装东西。当然用 requests 也行，看个人习惯。我先把推送写出来。

第一步，推送一条采集数据。假设我们的脚本抓到了一个商品的价格信息，想把它存进名为 price_monitor 的数据集：

import json
import urllib.request

API_BASE = "http://你的域名"
API_KEY = "你的APIKey"
DATASET = "price_monitor"

def push_data(payload):
    url = API_BASE + "/api/push.php"
    body = {
        "api_key": API_KEY,
        "dataset": DATASET,
        "data": payload
    }
    req = urllib.request.Request(
        url,
        data=json.dumps(body).encode("utf-8"),
        headers={"Content-Type": "application/json"},
        method="POST"
    )
    with urllib.request.urlopen(req, timeout=10) as resp:
        return resp.read().decode("utf-8")

if __name__ == "__main__":
    item = {
        "sku": "A10023",
        "title": "无线蓝牙耳机",
        "price": 129.00,
        "stock": 42,
        "ts": "2024-06-01 10:30:00"
    }
    result = push_data(item)
    print("推送结果:", result)

跑一下，控制台会打印服务端返回的 JSON 结果，里面有是否成功的状态。推送成功之后，打开云递数据的控制台，就能看到 price_monitor 这个数据名下的条数涨了一条，点进去还能看到具体内容、已读状态和容量占用。

第二步，读取数据。读取接口是 FIFO，取走即标记已读。所以消费端每次 pull 拿到的都是"还没被处理过"的那批：

import json
import urllib.request

API_BASE = "http://你的域名"
API_KEY = "你的APIKey"
DATASET = "price_monitor"

def pull_data(page=1, size=20):
    url = API_BASE + "/api/pull.php"
    body = {
        "api_key": API_KEY,
        "dataset": DATASET,
        "page": page,
        "size": size
    }
    req = urllib.request.Request(
        url,
        data=json.dumps(body).encode("utf-8"),
        headers={"Content-Type": "application/json"},
        method="POST"
    )
    with urllib.request.urlopen(req, timeout=10) as resp:
        return json.loads(resp.read().decode("utf-8"))

if __name__ == "__main__":
    data = pull_data()
    print("本次取到:", data)

注意，如果你想用请求头传 APIKey，把 headers 改成 {"Content-Type": "application/json", "X-Api-Key": API_KEY}，然后请求体里去掉 api_key 字段即可，两种方式服务端都认。

老程序对接的话，纯文本那套写法长这样：

curl -X POST "http://你的域名/api/push.php?api_key=你的APIKey&dataset=logs" \
     -H "Content-Type: text/plain" \
     --data "2024-06-01 10:30 采集任务完成，共120条"

一行命令就把一段日志塞进去了，不用构造任何 JSON。

运行效果：控制台里能看到什么

把上面两段脚本跑起来之后，整个链路是这样的：采集脚本每隔一段时间 push 一条，云递数据这边条数实时增长；消费脚本定时 pull，取走的记录立刻变成"已读"状态，下一次 pull 不会再拿到它们。

在云递数据控制台里，你能直观看到几个东西：

  • 每个数据名（dataset）下当前的数据条数和容量占用；
  • 每条数据的已读 / 未读状态，一眼看出消费端有没有跟上；
  • 数据支持下载、编辑、清空、删除，需要人工干预的时候不用写代码；
  • 数据名可以加标签备注，脚本多了也不会乱。

我那朋友最满意的一点是：以前查数据要开数据库工具，现在手机浏览器打开控制台就完事了。脚本跑没跑、数据积压没积压，一目了然。

常见坑与注意事项

踩过的坑我列几个，都是实际对接时容易忽略的：

第一，把 pull 当查询用。 这是最常见的误解。pull 是消费，取走就标记已读，不会重复下发。如果你需要反复查看同一份数据，去控制台看，或者用下载功能，别指望 pull 能给你重复吐数据。

第二，忽视去重逻辑。 内容完全相同的记录只保留第一条。如果你的脚本每次推送都带一个精确到秒的时间戳，那内容就不算"完全相同"，去重不会生效。反过来，如果你希望相同内容只存一次，就别加变化字段。

第三，分页参数没设对。 数据量大时记得用分页，一次拉太多可能超时或返回不全，按业务节奏设置合适的 size。

第四，APIKey 硬编码。 演示代码里写死是为了方便，生产环境建议从环境变量或配置文件读取，别直接推到代码仓库。

第五，网络异常没处理。 采集脚本跑在弱网环境是常态，push 失败要有重试或本地暂存，不然数据就丢了。

另外提醒一句，会员到期后数据保留不删除，只是暂停推送和读取，续费就恢复。所以不用担心哪天忘了续费数据就没了。云递数据新用户注册会送 3 天会员试用，正式会员是月卡 19 元、年卡 99 元，卡密充值，多张可以叠加顺延。这些信息在后台都能查到，我就不多展开了。

常见问题

Python调用接口获取数据需要安装第三方库吗？

不需要。上面示例用的是 Python 标准库 urllib 和 json，任何 Python 环境都能直接跑。如果你习惯用 requests，装上它代码会更简洁，但这不是必须的。核心就是发一个 POST 请求、带一段 JSON，标准库完全够用。

推送的数据会重复吗？重复内容怎么处理？

写入时系统会自动规范化并计算哈希去重，内容完全相同的数据只保留第一条。也就是说你重复推送一模一样的内容，不会被存成多条。如果内容里带了变化字段（比如不同的时间戳），那它们会被视为不同内容，各自保留。

数据被读取后还能再取一次吗？

默认不能。读取接口按写入顺序 FIFO 消费，取走即标记已读，不会重复下发。如果你需要再次查看，可以在控制台里看，或者用下载功能导出。这个设计是为了保证"一条数据只被消费一次"，避免业务端重复处理。

APIKey放在代码里安全吗？有没有更好的传递方式？

直接写死在代码里有泄露风险，尤其是代码要提交到仓库或分发给别人的时候。更好的做法是放在环境变量或独立的配置文件里，运行时读取。另外接口本身也支持把 APIKey 放在 X-Api-Key 请求头里传递，比放在 URL 参数里更干净，日志里也不容易暴露。

会员到期后我存的数据会被删除吗？

不会。会员到期后数据保留不删除，只是暂停推送和读取功能，续费之后自动恢复。所以即使中间断了一段时间，之前存的数据还在，不会丢。

开始使用

本文的代码示例都可以直接在云递数据上运行：注册后即可获得专属 APIKey，在 开发文档 中查看推送、读取接口的完整说明；需要长期使用可以在 会员中心 用卡密开通月卡或年卡；更多实战内容可以浏览技术博客的其他文章。