クローラーについて
KunitechEcCheck は、KUNI.TECH EC診断を運営する合同会社KUNI.TECHが、国内のECサイトの傾向を調べるために使っている、ページを自動で取得する仕組み(クローラー)です。
取得する目的
ECサイトで使われているプラットフォーム・テーマ・アプリと、SEO・AI検索への対応・法令表記などの傾向を集計し、診断の精度の向上と、当社のサービスやアプリの企画に使います。
集計した結果は、個別のストアを特定できない統計として公表することがあります。個別のストアの結果を、ストアを特定できる形で公表したり、第三者に提供・販売したりすることはありません。
取得するページと頻度
- 誰でも閲覧できる公開のページとファイルだけを取得します。ログインが必要なページ、パスワードで保護されたページ、管理画面は取得しません。
- 1つのストアにつき、およそ月1回です。複数のストアを続けて取得するときは、間隔を空けています。
- Shopifyのストアでは、robots.txt、トップページ、コレクションのページ、商品のページ(最大3件)、ポリシーのページ、特定商取引法にもとづく表記のページ、sitemap.xml、llms.txt などを取得します。1回につき15〜25件ほどです。
- それ以外のストアでは、robots.txt とトップページだけを取得します。
User-Agent
Mozilla/5.0 (compatible; KunitechEcCheck/1.0; +https://ec-check.kuni.tech/bot)取得を止めるには
robots.txt に従います。すべてのページの取得を止めるには、robots.txt に次のように書いてください。
User-agent: KunitechEcCheck
Disallow: /- Shopifyでは、テーマに robots.txt.liquid のテンプレートを追加すると、robots.txt に書き足せます。
- トップページの取得が禁止されていれば、ほかのページも取得しません。一部のページだけを禁止した場合は、そのページを取得しません。
- robots.txt を変えられない場合は、ご相談フォームか contact@kuni.tech にストアのURLをお知らせください。取得の対象から外します。
診断ツールでの取得との違い
利用者がKUNI.TECH EC診断にURLを入力して行う診断は、利用者に頼まれて行う取得のため、このクローラーとは別に扱っています。この名前は名乗らず、robots.txt の対象にもしていません。検索エンジンなども、利用者に頼まれて行う取得を robots.txt の対象外としています。
English
KunitechEcCheck is the crawler operated by 合同会社KUNI.TECH (KUNI.TECH LLC) to study trends among Japanese online stores. It fetches public pages only, about once a month per store, and obeys robots.txt. To opt out, add User-agent: KunitechEcCheck and Disallow: / to your robots.txt, or contact contact@kuni.tech.
運営者
- 名称:合同会社KUNI.TECH
- 代表者:國光 健太郎
- 所在地:〒150-0043 東京都渋谷区道玄坂1丁目10番8号 渋谷道玄坂東急ビル2F−C
- 連絡先:contact@kuni.tech