现象
导入网页链接时,无法有效提取依赖纯前端渲染(数据包含在script标签中)的网站内容,例如https://tenancy.dev这类站点。
可能原因
现有网页抓取逻辑未执行JavaScript渲染网页源代码,导致无法获取动态生成的页面内容。
排查步骤
- 确认待抓取的网页是否为纯前端渲染类型,可通过查看页面源代码,检查是否存在包含数据的script标签。
- 检查当前FastGPT的网页抓取配置。
- 确认是否启用了JavaScript渲染相关的处理逻辑。
解决与验证
配置使用puppeteer或类似库处理网页源代码,执行JavaScript渲染页面,再将渲染后的结果转换为Markdown格式。导入https://tenancy.dev这类动态渲染页面,确认可正确提取完整内容。