見えないページもクロール--米新興企業が検索サービスを新たに開始 - CNET Japan

このようなクローラが発表になるのは時間の問題かとは思っていましたが。これでまた深層ウェブの表層化が進みます。ただ、クッキーを必要とするページまでクロールするということは、色々問題があるかも。

新興企業のDipsieは米国時間22日、「dCloak」と呼ばれる新しいホスティングサービスのベータ版を立ち上げた。dCloakは、一般的な検索エンジンでは見ることができないデータベースやウェブサイトの内容をウェブユーザーに提供するために設計されている。GoogleやYahooなどの検索エンジンは、クッキーやページテンプレート、フォーム、クライアントサイドスクリプトを使うオンラインショップなどのウェブページをクロールできないと、Dipsieの最高経営責任者（CEO）Jason Wienerは述べる。