AI工具导航

Crawlito

看看 ChatGPT 和 Perplexity 实际上从您的页面中获取了哪些信息

Crawlito 是什么?

Crawlito 可粘贴网页 URL,查看 ChatGPT 和 Perplexity 的 AI 爬虫实际能获取的页面内容。它会检查 robots.txt 规则、防火墙挑战、仅由 JavaScript 呈现的内容及结构化数据,并给出满分 100 的评分和按优先级排列的修复建议;免费支持单页检测,无需注册账号。

产品详细介绍

看看 ChatGPT 和 Perplexity 实际上从您的页面中获取了哪些信息

Crawlito 可粘贴网页 URL,查看 ChatGPT 和 Perplexity 的 AI 爬虫实际能获取的页面内容。它会检查 robots.txt 规则、防火墙挑战、仅由 JavaScript 呈现的内容及结构化数据,并给出满分 100 的评分和按优先级排列的修复建议;免费支持单页检测,无需注册账号。

定价方案

需要付费
官网查看
定制方案
  • ✓

    暂未采集到具体套餐,价格以官网为准

创始人评论

Firs Zid
Firs Zid创始人

你好,Product Hunt,我是 Crawlito 的开发者。

AI 搜索无法读取的大多数页面,都是由一些看似平常的技术问题导致的:robots.txt 中的一条旧规则屏蔽了 GPTBot 或 PerplexityBot、防火墙向爬虫返回验证页面,或者内容只有在 JavaScript 运行后才会显示。用户仍然可以正常打开这些页面,因此没人会注意到问题。

Crawlito 会模拟不执行页面渲染的爬虫来获取你的页面,并将结果与浏览器实际显示的内容进行比较。它会从访问能力、可读内容、结构和页面发现能力四个维度进行评估,给出满分 100 分的得分。每项发现都附有相关证据,并提供验证修复效果的方法。修复方案会按照每项修复所需的工作量及其能够恢复的分数进行排序。

所有发现和得分均基于确定性规则,因此同一个页面每次都会得到相同的结果。Claude 仅用于将经过验证的发现转化为通俗易懂的说明,无法添加或修改任何发现。

它不会做这些事情:预测搜索排名,或预测页面是否会被引用。它只会告诉你爬虫能否访问并读取页面。

页面检查完全免费,无需注册账户。对于最多包含 500 个页面的完整网站,还提供人工审核的付费审计服务,代理商也可选择白标版本。

你可以对自己的网站运行一次检查,然后告诉我哪项发现最让你意外,或者哪项你认为有误。我今天全天都在。

创始团队

Firs Zid
Firs ZidSenior Software Engineer