HTTP_USER_AGENT Test
このページを SBM でブックマークすると SBM のエントリのタイトルのところに SBM のロボットの User Agent 名がでるよ。
HTTP_USER_AGENT
CCBot/2.0 (https://commoncrawl.org/faq/)