AI開発影響研究所 EN
← Topicランキング · 2026-11
GitHub TOPIC

#crawler

GitHub Topic「crawler」がついているAI関連リポジトリの集計。Topicはリポジトリ作者が自己申告するメタタグで、AI関連の文脈で何が「crawler」と分類されているかを可視化します。

4
タグ付Repo
3
TOP4合計★
2
AIツール痕跡あり
4
TOP表示数

REPOS #crawler のRepo (TOP 4 / Stars降順)

sftrkr/sitepulse

Rust CLI and MCP server for technical SEO, sitemap audits, broken link detection, and AI agent readiness.

Rust ★ 1 AI 70
VictorCreciun/crawlview

See what search engines and AI crawlers actually store for your pages — not what your browser shows you.

TypeScript ★ 1 AI 70 個人 公開済 ↗
SolitudeZY/OpinionLens

舆见 OpinionLens · 社媒舆情监测与 AI 报告桌面端(Electron + FastAPI sidecar + MediaCrawler 运行时包装)。设置中心:邮件/企微/Bark 通知、多账号号池、OpenAI 兼容/DeepSeek/Anthropic 模型 API。

Python ★ 1 AI 50 1 sig
mark1russell7/crawler

polite-crawler: a polite web crawler for research and AI agents. Fetch once, keep it, read it many times. robots.txt, one request per site, full-text search, MCP server.

TypeScript ★ 0 AI 70 個人 1 sig 公開済 ↗

RELATED 他のTopicも見る · 全Topicランキング →

#claude-code

3,787

#ai-agents

3,201

#llm

2,090

#mcp

1,866

#claude

1,854

#python

1,678

#developer-tools

1,530

#codex

1,376

#ai

1,181

集計対象: 各Repoの最新contentスナップショットの topics_json に小文字一致でマッチしたもの。 算出方法