エッセンシャル・サーチエンジン

ユニバーサルナレッジ、ベルメゾンネットに商品検索エンジン「P1プロ」の提供を開始

2013年11月26日より、ユニバーサルナレッジ株式会社（ユニナレ）は株式会社千趣会の運営するベルメゾンネットに商品検索エンジン「P1プロ」の提供を開始しました。詳細はユニナレブログをご覧下さい。

 

 

千趣会様のような大企業にユニナレが選ばれたことに感謝すると同時に、EC業界のダイナミクスを感じます。

  

大企業をテクノロジーで支援しようと思ってユニナレを創業しましたが、まさにその通りになってきました:)

 

我々は、大規模大量生産というよりは、小規模品質重視職人肌の集団です。直接のお客様企業の数で言うと少ないですが、どの会社も大規模ECサイトですので、その先にいるエンドユーザーとなるお客様の数は非常に多いです。

 

ECが発展していくこの時代に「検索」を通じて貢献出来ることに非常に大きなやりがいを感じています。

 

--- 

# Facebok ページで「いいね！」して頂けると、ユニーバーサルナレッジの最新情報を得ることができます。

http://www.facebook.com/universal.knowledge.inc 

 

世界をちょっとしか変えない起業

起業の広がり

私が起業してから２年半以上経ちましたが、起業という選択肢はどんどん広がっていると思います。

 

特に30代後半から40代にかけてのあらゆる仕事を経験してきた人たちにとって、大企業を飛び出して自分の経験と能力と情熱で独立する人はますます増えて行くと思います。

 

大企業は起業家精神を持った人を求める一方で、寄ってくるのは安定を重視した正反対の人種です。実際に起業家精神を持った人はどんどん外部に出て独立して行くでしょう。

 

私のいるIT業界では顕著に起業のハードルが下がっていて「1万円起業」なんて言われていますが、今後は製造業でもその敷居が下がってくることと思われます。

 

元々、会社というのは自分の夢を実現する「箱」に過ぎませんから、外部から利用出来るなら何も正社員として就職する必要はありません。私たちがサービスを提供しているお客様は小売業ですが専門のIT部門を持たない会社がほとんどです。まして検索の専門家がいる会社はありません。そのため我々の専門知識やサービスがとても重宝がられます。このように外部から大企業をサポートする機能というのはどんどん役割が増えて行くと思います。

 

今後も起業と言う選択肢はますます広がると思いますが、私が起業する際に注意した点を改めてまとめてみようと思います。

 

困っている人を助ける

私は一番簡単な起業は「困っている人を助ける」ことだと思っています。自分の専門知識で相手の問題を解決してあげるのです。そして実際の問題を解決することで対価を頂きます。

 

斬新なアイデアで世界を変えようという起業ではなく、実際に困っている人を助けることによってちょっとだけ世界が良くなるという起業です。

 

実は一番確実な起業の方法なのに、大企業にいた人や学歴が高い人にはなかなか気付かない方法でもあります。

 

大企業にいた人は、売上規模や顧客数が大きすぎて自分がビジネスを始める際にこれまでに慣れ親しんだ「マーケットシェア」的な発想にとらわれてしまいます。周りで困っている人を助ける起業では、マーケットシェアは関係ありません。目の前にいる人を喜ばせるだけで良いのです。

 

また学歴が高い人はアカデミックな思考から抜けられません。どうしても新規性に重点を置いてしまうのです。これまでにない新しいことをしないとビジネスにならないのではないかと考えてしまうのです。起業するのに新規性は必要ありません。

 

そして対価を頂くということがとても重要です。ボランティアではなくビジネスとして永続させていくことを考えるわけですから、お金を払う価値のあるサービスを提供する必要があります。

 

最初の一人から対価を頂ければあなたはもう立派な起業家です。つまりゼロからイチを生み出したことになります！ラーメンを一杯売っても起業ですし、コンサルティングをしても起業ですし、走り方を教えても起業になります。何をするかは、困っている人のニーズとあなたの提供できる専門知識が交差する領域になります。

 

あなたのサービスが実際に一人に売れるとそこから新しいニーズが出て来るのでビジネスは自然と大きくなって行きます。

 

定番サービスを売る

私が心がけていることに「定番サービスを売る」ことがあります。言い方を変えると「時代が変わっても変わらないニーズのあることをビジネスにする」ということになります。

 

私が良く言うのは「とらやの羊羹」です。羊羹というのは和菓子の定番です。羊羹のニーズがある日ゼロになってしまうというのは考えられません。羊羹という和菓子の定番で、確固たるポジションを確立しているとらやは本当にスゴいと思います。そして、普通の羊羹より単価が高い。これは長年築いて来たブランドのなせる技です。

 

「定番サービスを売る」ということは長年に渡って信頼あるサービスを提供し続けるということになります。決して、規模を追い求めたり、成長を追い求めたりすることではありません。定番足りうるサービスを、長年に渡って提供し続けるなんてかっこいいじゃないですか。私の目指す企業の形がここにあります。

 

外部資金を入れない

起業のための資金的なハードルはどんどん下がって来ています。特にIT分野の場合には本当に1万円で起業できるんじゃないかと思うほどです。それ以外の分野も様々なインフラが整備されたことでますます起業のハードルが下がるんじゃないかと思います。

 

私は外部からお金を入れずに起業するのが理想だと思っています。 できれば出資および融資のどちらも避けたいところです。

 

なぜかというとお金を出してもらうということはオーナーシップも失うということだからです。

 

うまく行っている時には何の問題もないように感じますが、一度会社が傾くと株主（出資者）の意見を聞かない訳には行きません。また、会社が傾かなくても求める成長スピードや利益が株主と自分で違う場合には不幸になります。

 

VCから出資を受けた場合には、自分がどう思うかに関わらず成長を求められることになります。私の中ではこれは「世界を変える起業」と呼んでいます：）ひたすら成長を目指して燃料（金）を燃やし続けるタイプの起業です。

 

先ほど言ったように私は周りの困っている人を助けるだけで良いと考えていますので、VCが目指している「世界を変える起業」とは根底から思想が異なっています。出資を受けると不幸になるので、世界を変えようと思っていない人は出資を受けない方が良いでしょう。

 

感性を重視する

これまで大企業に勤めていた人はあまり「感性」を重視したことがないのではないでしょうか？大企業は様々なプレイヤーがいるので「理性」を重視するフィールドです。この「理性」が大きなストレスの種になります。

 

一緒に働きたくない同僚、尊敬できない上司、付き合いたくないお客、イケてないプロジェクト、など大企業にいると避けることが出来ません。こういうことの積み重ねで人々は非常に大きなストレスを感じ、やがて心を病んで行きます。

 

独立したらそういったストレスとは一切おさらばです。自分がやりたくない仕事はやる必要がありません。最初から全てがうまく行く訳ではありませんが、少なくともコントロール権はあなたにあります。

 

売上のためにやりたくない仕事を取るかどうか、決めるのはあなたです。

 

起業した一日目から感性をフルに活用することによってストレスを感じる選択は排除して行きましょう。自分が心からやりたいと思うことだけをやるようにしましょう。すると、あなたの会社は次第に好循環で回るようになり、新しいお客様が引き寄せられてきます。

 

 ---

 

今程、起業に適した時代はないと思います。

 

 起業してしまった人には決して元には戻れないほど別世界が開けます。それは自分の夢に自分で責任を持ち自分で叶えるという当たり前の世界です。誰の許可を得ることもなく、自分の心が良いと思う道を歩む世界です。

 

是非、第一歩を踏み出してみて下さい。 

メディアカンパニーかテクノロジーカンパニーか

実はメディアカンパニー

そもそも私がインターネットの世界に入った動機は検索エンジンが作りたいと思ったからです。純粋にエンジニアとしての興味で「自分もこんなスゴいものを作りたい」と思いました。その時の私にはテクノロジーにしか興味がありませんでした。

 

しかしなぜか私の働いていたエキサイトやヤフーはいわゆるメディアカンパニーです。メディアカンパニーというのは、コンテンツでお客様を集め広告で稼ぐ商売をしています。

 

当時のインターネットはまだ新しいプラットフォームということもあり、メディアカンパニーになるためにもテクノロジーが必要でした。そのため、「メディアカンパニーなのかテクノロジーカンパニーなのか」という議論が社内でもよく起こりました。

 

今さらながら当たり前のことなのですが、ヤフーはメディアカンパニー以外の何ものでもありません。裏でテクノロジーを使っていようがいまいが、主な収入源が広告ならメディアカンパニーと言えます。

 

そういう意味ではグーグルもメディアカンパニーです。ただしグーグルだけはかなりの異端児だと言えます。彼らのメディア力の源泉は検索です。検索を作るためにはかなりのテクノロジーが必要です。また、彼らの売上のほとんどは検索連動型広告です。こちらもテクノロジーの固まりで出来ています。確かに、生業としてはメディアなのですが、テクノロジー度が非常に高いのが特徴です。

 

グーグルはメディアには違いないのですが、ネット時代になって初めて実現可能になったメディアだと言えます。

 

一方、Google Apps、エンタープライズサーチなどの機能やサービスを有償で販売していますが、これらの事業はテクノロジーカンパニーと言えます。

 

アマゾンは基本的に小売の会社ですが、同時にテクノロジーカンパニーでもあります。元々は自社サイトを作るために必要となったテクノロジーを、AWSとして有償で他社に販売しています。

 

ストレスのない会社の選び方

 私の興味は元々テクノロジーなので、メディアカンパニーに在籍していながらメディアをやってるという自覚があまりありませんでした。ここがとても重要で、この点を間違えると自分も会社もお互いに不幸になるポイントだと思います。

 

メディアカンパニーにとっては集客できればテクノロジーを使おうが使うまいが関係ありません。メディカンパニーの経営判断は、テクノロジーではなくメディアの価値を高めるための判断でなければなりません。

 

例えば、広告売上を上げるために、テクノロジーが犠牲になったとしても、それは正しい判断です。

 

日本ではヤフーがグーグルの検索エンジンを利用するようになりましたが、あれは私には出来ない判断です。テクノロジーに思い入れがありすぎて、これまで作って来たYSTを捨てる判断をすることは出来ません。しかしメディアカンパニーの経営判断としては、大成功だと言えます。

 

また普通の会社でもよくあると思いますが、期末で売上が厳しい時には、必ずしもエンドユーザーにとってベストではないこともやってしまうと思います。テクノロジー的（あるいはユーザーエクスペリエンス的）にはこっちの方が良いけれど、売上のために仕方なくこっちをやらなければならないというようなケースです。これは本当にストレスです。

 

今の会社（ユニナレ）では企業向けにテクノロジーを販売しています。ネット業界に入って初めてテクノロジーそのものを販売する会社で働いています。やりたいこととビジネスモデルに矛盾がないことが、何よりの精神安定剤です。初めてストレスのないビジネスをしていると言えます。

 

皆さんもテクノロジーかメディアかあるいは小売か、そもそも何が一番好きなのか、を良く考えてみることをおススメします。自分のやりたいことと会社のビジネスモデルがビシッと合っていると驚くほどストレスがなくなりますよ。

 

 

# Facebok ページで「いいね！」して頂けると、ユニーバーサルナレッジの最新情報を得ることができます。

http://www.facebook.com/universal.knowledge.inc 

 

 

Google Commerce Search（Googleコマースサーチ）の終了が意味するもの

Google Commerce Searchが終了した?

 

Google Commerce Search（Googleコマースサーチ）というのはECサイトに特化した検索ソリューションで、日本での導入事例としてはディノスや紀伊国屋書店が有名です。

 

ところがGoogleはひっそりとGoogle Commerce Searchを終了していました。オフィシャルに発表があった訳ではなく、ブログに声明が書いてある訳でもなく、いつの間にかメニューから外したような状態です。ちなみに日本語ではまだサービス紹介のページがありますが、英語ではGoogle Enterprice SearchのメニューにCommerce Searchはありません。ただ日本語のGoogle Enterprise Search のページはフッターが「©2012 Google」となっているのであまり更新されていないようです。

 

私が調べたところ、下記の記事が唯一のソースになっています。

 

Google Quietly Shutters Commerce Search For E-Retailers, TechCrunch, 2013/2/14

 

TechCrunchによるとGoogleは以下のようにコメントしています。

 

We are making a strategy shift towards offering more flexible, easier to adopt modules for retailers, such as the Search As You Type widget, rather than a full site search replacement and therefore will no longer be offering Google Commerce Search as a core site search replacement product. We will continue to support our current retail customers using GCS and will try to help them on the best migration process to alternate solutions.

 

「戦略の変更によりフルサイトサーチを提供するのではなく"Search As You Type"ウィジェットのような簡単に使えるモジュールを提供していく」ということのようです。

 

GoogleはGoogle Search Applianceというハードウェアを提供しているので、今後、ECサイトサーチのニーズはアプライアンスで満たして行こうと考えているのだと思います。ただし、Google Search ApplianceはECに特化した製品ではないため、どれだけECサイトのニーズを満たせるかは微妙なところです。

 

以下の記事ではGoogle Commerce Searchの終了のタイミングについて次のように書いてあります。 

 

 Google will phase out Google Commerce Search, Internet Retailer, 2013/2/19

 

Google didn’t give a deadline for when it would expect online retailers using Commerce Search to migrate to another site search application. But Shaun Ryan, CEO of site search vendor SLI Systems, says SLI has been speaking with existing Google Commerce Search clients who have said they need to deploy a new site search system by January 2014.

 

「2014年1月」までに移行しなければならないと言っている既存のクライアントがいるようです。

TechCrunchの記事が今年の2月ですので、約1年くらいの移行期間ということでしょうか。

 

このInternet Retailerの調査によるとGoogle Commerce Search の利用社数は次のようになっています。

 

Google Commerce Searchのシェア

Top500位のECサイトのうち： 20サイト

500-1000位のECサイトのうち：14サイト

 

 これを見て私は正直「少ない」と思いました。Googleほどの大企業が一つの製品を維持するほどの売上をあげているとは思えません。

 

Google Commerce Searchはなぜ終了したのか

 

Googleコマースサーチがあまり広まらなかった理由を考えてみましょう。

 

1. セルフサービス

Googleは「セルフサービス」を愛する文化を持つ会社です。AdWords、Analyticsなど革命を起こしているプロダクトは全て「セルフサービス」になっています。つまり利用者側が自分でサイトに実装して、設定して、運用するという方式になっています。

 

Google Commerce Searchでも同じアプローチを取りましたが、この「セルフサービス」アプローチがECサイトに受け入れられなかったと思います。

 

ECサイト側は検索について「素人」です。ほとんど知識を持っていません。これはECサイトの開発運営を行っているSIer、ECサイトパッケージベンダーも同様です。

 

「セルフサービス」はやるべきことを分かっている人が、わざわざ人に頼まないでも自分で出来るというのが一番のメリットだと思います。検索の場合にはそもそもなぜ検索結果が悪いのか、どうすれば良くなるのかを理解していないため「セルフサービス」ではどうやってよいか分からないということになりがちです。

 

2. カスタマイズ

「セルフサービス」と重複する部分もありますが、「セルフサービス」では仕様があらかじめ決まっています。Googleの想定している仕様では収まりきれないECサイトは、「カスタマイズ」をしたくなりますが、「セルフサービス」型のサービスではそもそも「カスタマイズ」を許容していないため、カスタマイズニーズのある大規模なECサイトには受け入れられなかったのではないかと思います。

 

3. 料金

Google Commerce Search の利用料金は$25,000/年から始まり、検索数と商品数が増えると料金が増えるモデルです。この料金設定は大規模ECサイトから見ると「安い」と思いますが、先ほど述べた通り「カスタマイズ」できないため利用しづらい。一方で、「セルフサービス」で想定していた数多くの小規模ECサイトから見ると「とても高い」と思います。

 

毎月20万円ほどの利用料金を払うためには最低でも月に数千万円程度の売上が必要だと思うのですが、このくらいの規模のECサイトではそこまで商品数が多くないので、検索にお金を使うのは気が引けるのはないかと思います。それよりは安いレコメンドを導入した方が良いと考えると思います。彼らが期待するのはAnalyticsのような「無料」または「無料に近い」サービスです。

 

4. 運用

検索は一度導入したら終わりではありません。効果は上がっているかを常にトラッキングして「改善をし続ける」必要があります。そのためにある程度の「運用コンサルティング」が必要ですが、「セルフサービス」のお客様に大して「運用コンサルティング」を続けるようなサポート体制を用意するとは思えません。

 

ECサイト向けの商品検索はどうあるべきか   

 

最後に、ECサイト向けの商品検索はどうあるべきかを考えたいと思います。

 

1. お客様に使いやすく

当たり前ですが、ECサイトは エンドユーザーとなるお客様（消費者）にとって使いやすくないといけません。そのためには検索だけでなく、あらゆるUXの改善が必要です。そもそも検索を改善する必要があるのか、もしかして他にやるべきことがあるんじゃないかと調査することが重要です。

 

2. データ、データ、データ

サイトを改善するためにはお客様の行動を全てログに落とす必要があります。これらのログはUIの改善にも使えますし、検索エンジンのアルゴリズムの改善にも使えます。何をするにもデータを元に判断する必要があります。

 

3. 運用そして改善

何事も導入して終わりということはありません。特に大規模なECサイトでは商品はどんどん変わりますし、季節によって売れ筋も変わってきます。競合の動きも変わります。とにかく常に運用と改善のサイクルを回すことが必要です。

 

4. コンピュータ+人

ECサイトでは商品の登録や説明文の編集、カテゴリの分類など人がやらないといけない仕事がたくさんあります。検索だけ完全自動で回るという訳には行きません。同義語の設定や形態素解析辞書の登録、スペック情報の追加なども必要になります。運用と改善を回す中で、必ず人手のかかる仕事が必要になる時が来ると思いますが、そこでリソースをかけられる企業だけが良い検索エンジンを提供することが出来ます。

 

まとめ

 

Google Commerce Searchは終わっても、ECサイトが良い検索エンジンを求めるニーズがなくなった訳ではないと思います。単にGoogleの想定したビジネスにはならなかったということに過ぎません。

 

ユニナレ設立依頼、ECサイトにとってベストな検索エンジンは何かを追求してきましたが、これからも日本のECサイト のUser Experienceを底上げするために尽力して行きたいと思います。

 

# Facebok ページで「いいね！」して頂けると、ユニーバーサルナレッジの最新情報を得ることができます。

http://www.facebook.com/universal.knowledge.inc 

 

ウェブ検索と商品検索の違い（ランキング）

ランキング

 

ランキングとは検索結果の「順位」のことです。たくさんのウェブページや商品がマッチしても、お客様が見るのは1ページ目だけですから、ランキングは非常に重要です。

 

ウェブ検索の意図はあいまい

 

 ウェブ検索には様々な種類のクエリーがあります。皆さんはウェブ検索で何を探すでしょうか？

 

• メジャーなサイト
• お店
• レストラン
• 地図
• ランドマーク
• 商品
• ブログ
• 口コミ情報
• 掲示板
• Wikipedia
• 辞書
• 企業ページ
• ...

 

 ちょっと考えただけでもたくさんの情報があります。でも通常、クエリーは「恵比寿　公園」のように1語または2語ですから、検索エンジン側もどのようなページをランキングの上位に表示して良いか分かりません。

 

ランキングのアルゴリズムではGoogleのページランクが有名ですが、これはあくまでも「リンクを張る」という行為をランキングに活かしただけで十分とは言えません。

 

使い手側の情報として、検索結果のクリックを使うという事も考えられます。

 

また、あるクエリーで商品のページばかり出たら不満に思う人もいるでしょうから、商品ページとブログとWikipediaと企業ページをうまく混ぜた方が良いかも知れません。

 

何を探しているかは人それぞれなので、ウェブ検索では

 

クエリーを見ても本当は何を探しているのか良く分からない

 

のです。

 

そこでランキングでは出来るだけ大量の人が良いと思うものを学習させるという手段が有効です。

 

例えば、あるクエリーに対する検索結果上位10件を100人に見せて「どう思いますか？１〜５で点数をつけて下さい。」というようなことをやります。100人より1000人、1000人より1万人にやってもらったら良いランキングが出来上がります。

 

学習することによってどの要素を重視すれば良いのかが分かるので、学習させていないクエリーに対してもランキングが良くなるという訳です。

 

このような手法を機械学習（Machine Learning）と言いますが、現代のウェブ検索は機械学習抜きには語れません。

 

商品検索の目的は商品

 

商品検索ではお客様は何を探しているのでしょうか？当然、商品ですよね。

 

商品を探しているお客様の意図はとても明確です。「求めている商品を見つけて購入すること」です。

 

最終的には「購入」というシグナルで検索結果が良かったのか悪かったのか計る事が出来ます。

 

ECサイトの場合には「購入」ですが、実はこれは「コンバージョン」であれば全て同じです。

 

• 旅行の予約
• チケットの予約
• ソフトウェアのダウンロード
• 保険の資料請求
• ...

 

 など。「コンバージョン」が定義できれば全て同じように扱う事が出来ます。

 

つまり、「購入に結びつくもの」＝「売れている商品」を検索結果の上位に上げる事が非常に重要になってきます。これが一つ目の大きな特徴です。

 

また、商品には様々な属性があります。

 

• 商品名
• 所属しているカテゴリ
• メーカー
• ブランド
• 色
• サイズ
• 重量
• 発売日
• レビュー数
• レビューの点数
• その他さまざまなスペック
• ...

 

つまり、商品は構造化されたデータを持っているわけです。 そこで商品検索では「ファセット」と言って、検索結果の左側にメーカーやサイズなどで絞り込める機能を追加しています。

 

ウェブ検索では情報が構造化されていないのでこのような絞り込み方は出来ませんが、商品検索ではファセットによる絞り込みが出来ることが二つ目の大きな特徴となっています。

 

下図はZapposですが、左カラムにファセットが表示されていて様々な属性で絞り込めるようになっています。

 

 

評価する

 

このように様々なランキングの作り方がありますが、最終的にはアクセス解析を用いて「クリックされているか」「購入につながっているか」などの数値を見て評価することにより、アルゴリズムの最適化を図って行く事がとても重要になります。

 

 

# Facebok ページで「いいね！」して頂けると、ユニーバーサルナレッジの最新情報を得ることができます。

http://www.facebook.com/universal.knowledge.inc 

 

 

ウェブ検索と商品検索の違い（マッチング）

前回はウェブ検索と商品検索の「検索対象の違い」について書きました。今回は「マッチング」についてです。

 

マッチング

 

「マッチング」とは何かというと、お客様が入力したクエリーに対して、インデクスからそのクエリーを含むウェブページや商品を選び出す作業のことです。以下のポストでもマッチングについて説明しています。検索エンジンの世界では「マッチング」はとても重要です。

 

　　ユニナレ流：良い検索エンジンの作り方〜マッチングとランキング〜

　　世界でもっとも強力な９のアルゴリズム　（１）

 

例えば、クエリーが「iphone」だったら、「iphone」が含まれるページを選び出すのがウェブ検索ですし、「iphone」が含まれる商品を選び出すのが商品検索です。 

 

ウェブ検索でも商品検索でもマッチングには基本的に形態素解析を利用する点は同じです。では何が違うのでしょうか？

 

その違いはインデクスの大きさと中身の所有者の違いから来ます。

 

ウェブ検索ではマッチングが悪くても気付かない

 

ウェブ検索ではインデクスが大きく、どんなウェブページがインデクスに含まれているかは、検索しているお客様もインデクスを作成している側も分かりません。なぜならクローラーが集めてくるページの所有者は無限に存在する外部のサイトオーナーだからです。

 

もちろん明らかに存在するはずの「www.yahoo.co.jp」や「www.youtube.com」がマッチしないという事態になれば誰でも気付きますが、さすがに現代のウェブ検索ではそのようなことにはなりません。

 

元々、形態素解析は100%の精度ではありません。クエリーとインデクスで同じ言葉が使われているが前後の文章が違うために解析結果が異なってしまってマッチしないというケースがあります。

 

このような形態素解析のアルゴリズムの限界のせいで、お客様のクエリーに対して本来マッチするはずのページがマッチしなくても誰も気付かないのです。つまりマッチングが悪くて検索結果に出ないのか、元々そんなページは存在しないのかの区別がつかないのです。

 

 では完璧ではないマッチングでもなぜ困らないのかというと、ウェブ検索のインデクスが非常に大きくて、一部にうまくマッチしないページがあったとしてもそれ以外に良いページがたくさんあるため実用上十分に機能するからです。

 

商品検索ではマッチングが悪いとすぐに気付く 

 

一方で商品検索ではどうでしょうか？

 

もし商品検索で お客様の入力したクエリーに対して存在するはずの商品がうまくマッチしなかったら、運営会社であるECサイトはそのことに気付くことが多いです。

 

なぜなら、ECサイトの商品は自分達が登録した商品だからです。商品の所有者はECサイト自身です。クローラーが自動的に集めて来たわけではありません。

 

またインデクスサイズもウェブ検索に比べると圧倒的に小さいので、ヒット件数が少なく気付く機会も多いからです。

 

ウェブ検索のように数万件もヒットしたら全てを見る事はできませんが、商品検索のように数十件〜数百件しかヒットしなければ全部見る事も可能です。

 

そのため、ECサイト事業者は最低限「ゼロマッチクエリーログ」を毎日みることをおススメします。

 

「ゼロマッチクエリーログ」は検索結果が一件もヒットしなかったクエリーのログです。なぜゼロマッチになったのかの分析を行うことはECサイト改善の大切なポイントと言えます。

 

1件でもヒットすると「ゼロマッチログ」には出てきませんので、これだけでは完全ではありませんが、まずはここからやって頂ければ間違いありません。

 

商品検索のマッチング精度を上げるには

 

ECサイト事業者にとって存在することを知っている商品がマッチしない事は許容出来ません。そこで何らかの方法でマッチングを改善することが必要です。

 

1. 形態素解析のカスタム辞書に言葉を追加する

 

形態素解析で区切りを間違ったケースに対して、正しい区切りを形態素解析のカスタム辞書に登録します。

 

この場合の問題点は、カスタム辞書に登録した言葉が原因で、将来別の言葉が間違って区切られた場合に気付きにくい事。また気付いたとしても、修正が難しい事です。

 

2. Keysを設定する

 

商品に属性を追加して、その属性にマッチさせたいクエリーを登録する方法です。

 

商品には「カテゴリ」や「価格」や「販売開始日」など様々な属性があり、それらがマスターテーブルで管理されていますが、ここにもう一つ属性（ユニナレではKeysと呼ぶ）を追加します。

 

この属性に、人手でマッチさせたいクエリーを登録していくのです。管理するコストはかかりますが、確実にマッチさせることが出来ます。

 

3. 形態素解析とN-gramと併用する

 

形態素解析は100%の精度は出ません。そこで形態素解析でうまくマッチ出来ないものはN-gramでマッチさせるというハイブリッドの手法が考えられます。

 

N-gramではRecallは高いがPrecisionが低いため（つまりマッチはするけれどゴミも多い）、どのように併用するかをきちんと考える必要があります。

 

N-gram以外にも前方一致検索などと組み合わせることも効果的な場合があります。

 

 

 

 

いずれにしても、商品検索ではウェブ検索以上にマッチングに繊細な工夫が必要になってきます。

 

私も最初は「商品検索でも形態素解析だけで良いじゃん」と甘く見ていたのですが、なかなかそうも行かないということが分かってきました：）工夫のしがいがあるので楽しいところでもあります。

 

 

# Facebok ページで「いいね！」して頂けると、ユニーバーサルナレッジの最新情報を得ることができます。

http://www.facebook.com/universal.knowledge.inc 

 

 

 

ウェブ検索と商品検索の違い（検索対象）

私は長年に渡ってウェブ検索の開発に携わってきましたが、現在ではECサイト向けに商品検索の開発を行っています。そこで気付いた大きな違いをまとめておきたいと思います。

 

検索対象

 

ウェブ検索の検索対象はウェブページ全体です。ウェブ検索の場合にはページを「クローラー」で集めてくるところから始めないといけません。

 

数で言うと数百億〜数千億のオーダーです。しかもウェブページは日々増えて行きます。理想は「更新があったらすぐに全てのページをクロールする」ですが、現実的ではないため様々な工夫をしなければなりません。

 

クローラーをいかにスマートに開発するかがウェブ検索の第一歩です。

 

一方、商品検索の検索対象はECサイトのデータベースの中にあります。そのECサイトで売っている商品全てが対象になります。数で言うと数万〜数百万のオーダーです。日本では数千万以上の商品を扱っているECサイトはAmazon、楽天、ヤフー以外にはないと思います。

 

ウェブ検索とは扱うデータ数が圧倒的に少ないのが特徴です。

 

また外部から取ってくるわけではないため、クローラーは必要ありません。

 

ウェブ検索の場合には、検索対象が「ウェブ全体」なので検索エンジン会社（Yahoo!, Googleなど）から見ると対象に差はありませんでした。つまり「良いクローラーを作る」という実力で検索対象が決まります。

 

一方で商品検索の場合には、各社それぞれ取扱っている商品が違うため、検索エンジンの優劣をつけるのはとても難しいです。A社の商品検索とB社の商品検索のどちらが良いかは、取扱っている商品が違えば比較できなくなってしまいます。

 

お互いに商品が重なっている領域での比較は出来るので、そこだけで評価することになります。

 

ちなみに私が最初に検索エンジンの開発に携わった1998年頃は日本語のウェブページは数十万〜100万ページ程度でした。今から考えると非常に少ないです。ECサイト1社と同じくらい。それでも当時は「大規模」と言っていたことに隔世の感があります。

 

（続く） 

 

# Facebok ページで「いいね！」して頂けると、ユニーバーサルナレッジの最新情報を得ることができます。

http://www.facebook.com/universal.knowledge.inc 

 

世界でもっとも強力な９のアルゴリズム （２）

メタワードトリックとランキング

 

今回も「世界でもっとも強力な９のアルゴリズム」についてです。

 

単語に位置情報を付加してインデクスを作成するとフレーズ検索やAND検索が出来るようになるということろまで前回説明しました。

 

世界でもっとも強力な９のアルゴリズム　（１）

 

これまでは純粋にマッチングだけの話しでしたが、位置情報をランキングに利用するのが次のトリックです。ランキングというのは、マッチしたものをどのように並べるか、いかにして「関連性」の高いページを上位に出すか、ということです。「関連性」は英語で言うと"Relevance"です。

 

検索エンジンの開発ではとにかくこの"Relevance"を重視します。なぜならページ数が膨大になったことによってマッチ件数が数十万件や数百万件になってしまうからです。そんなにたくさんマッチしても誰も全て見られませんから、上位10件が非常に重要になるわけです。

 

では位置情報をどのようにランキングに反映させるかというと、

 

クエリーが複数語の場合、それらの単語が近接しているページのランキングを高くする

 

ということをやるわけです。

 

これをさらに押し進めてHTMLに応用すると、<title>タグなどの任意のタグにある文字を検索出来るようになります。これがメタワードトリックです。

 

HTMLにはマークアップ用のタグが多く含まれていますが、これも通常の単語と同様に位置情報付きでインデクスします。すると<title>や</title>の位置情報が分かりますので、ある単語が<title>タグにはさまれているかどうか調べる事が出来るわけです。

 

これにより、

 

クエリーが<title>タグにあればランキングを上げる

 

と言った操作が可能になります。

 

Googleでは"intitle:"や"inurl:"と言った検索オペレーターが用意されていますが、これらはメタワードを明示的に検索したい場合に使うものです。例えばタイトルに「井上俊一」が含まれているページを検索したければ、「intitle:井上俊一」と検索するのです。

 

90年代半ばのAltaVistaはこのメタワードトリックを利用して当時としては非常に優れた検索エンジンの地位を確立しましたが、それでもRelevanceが劇的に上がったとは言えませんでした。

 

当時はまだページ数が少なかったので、「使えた」のかもしれません。

 

 （続く）

 

# Facebok ページで「いいね！」して頂けると、ユニーバーサルナレッジの最新情報を得ることができます。

http://www.facebook.com/universal.knowledge.inc 

 

世界でもっとも強力な９のアルゴリズム （１）

「世界でもっとも強力な９のアルゴリズム」という本が非常に面白いので紹介します。

 

私たちが日常的に触れているものの裏にどのような「アルゴリズム」があるのか、それはどのように動いているのかを誰にでも分かるように平易な文章で書いています。

 

著者のジョン・マコーミックが取り上げるアルゴリズムの基準は次の三つです。

 

1. 普通のコンピュータユーザーが毎日使っていること
2. 現実の世界の具体的な問題を解決すること
3. 主にコンピュータサイエンスに関係のあるもの（つまりハードウェアは除外している）

 

これにより選ばれたアルゴリズムは以下の通り。

 

1. 検索エンジンのインデクシング（世界最大の藁山から針を探す）
2. ページランク（グーグルを起ち上げたテクノロジー）
3. 公開鍵暗号法（葉書で機密情報を書き送る）
4. 誤り訂正符号（自分で誤りを訂正するシステム）
5. パターン認識（経験から学ぶ）
6. データ圧縮（無から有を生み出す）
7. データベース（一貫性の追求）
8. デジタル署名 （このソフトウェアを本当に書いたのは誰か）

 

 

これを見て頂ければ分かる通り、「検索エンジン」の説明が二つもあるのです！皆さんが普段使っている検索エンジンのアルゴリズムがどのようになっているのか、その「トリック」が簡単に理解出来ます。

 

この本では「トリック」という言葉を使っているのですが、それはどういう意味かというと、

 

それ以外の方法では困難だったり不可能だったりすることを可能にする巧妙なテクニック

 

であると著者は言っています。

 

第2章　検索エンジンのインデクシング

 

この本では「マッチング」と「ランキング」をきちんと分けて説明しています。これを分けて考えるだけでも検索エンジンのことを理解しやすくなると思います。以前、私が書いたポストでも「マッチングとランキングを分けて考えよう」と言っています。

 

ユニナレ流：良い検索エンジンの作り方〜マッチングとランキング〜

 

第2章では検索エンジンの「マッチングアルゴリズム」としてAltavistaを取り上げています。私もよく使っていました：）

 

ここでは、３つのページしかないワールドワイドウェブを想定して、それらのページがどのようにインデクスされ、ユーザーのクエリーとどのようにマッチするのかを説明しています。

 

私も新しい事を学ぶ時には、出来るだけ単純な例に落とし込んで理解するのですが、ここで示されている例はインデクシングを理解するのに非常にシンプルで分かりやすいです。

 

最も単純なインデクス

 

まずは単純なインデクシングの説明をしています。インデクスとはある単語がどのページに出てくるのかという情報をまとめたものです。例えば、"cat"という単語がページ1とページ2に出てくるなら、インデクスでは

 

cat: 1 2

 

となります。本の後ろに出てくる「索引」と全く同じですね。「インデクス」とは「索引」のことです。

 

位置情報のトリック

 

次に位置情報を付けたらどうなるかというトリックの説明をしています。

 

位置情報というのは、ある単語がそのページの何番目に出てくるかという情報です。

例えば、次のようにインデクスする時に単語だけでなく位置情報を付加します。括弧内の数字が位置情報です。

 

 

ページ1：the(1) cat(2) sat(3) on(4) the(5) mat(6)

ページ2：the(1) dog(2) stood(3) on(4) the(5) mat(6)

ページ3：the(1) cat(2) stood(3) while(4) a(5) dog(6) sat(7)

 

 

これらのページから出来るインデクスは次のようになります。「（ページ番号）−（位置情報）」という書き方です。

 

a:        3-5

cat:     1-2 3-2

dog:     2-2 3-6

mat:    1-6 2-6

on:      1-4 2-4

sat:     1-3 3-7

stood:  2-3 3-3

the:     1-1 1-5 2-1 2-5 3-1

while:  3-4

 

この新しいインデクスを見ると「ページ番号」 だけでなくそのページで何番目に登場する単語なのかという「位置情報」が分かります。

 

位置情報が分かるようになると「フレーズ」かどうかが分かります。「フレーズ検索」、「AND検索」という言葉を聞いたことが有るかも知れませんが、

 

フレーズ検索

クエリーが複数の単語の場合、それらの単語がそのままの順番で登場するページがマッチする。

 

AND検索

クエリーが複数の単語の場合、それらの単語がページのどこかに登場するページマッチする。

 

という違いがあります。

 

例えば、上記の例を使うとフレーズ検索の場合、クエリー"cat sat"はページ1とマッチします。

一方、AND検索ではクエリー"cat sat"はページ1およびページ3とマッチします。ページ3では"cat"と"sat"は離れていますが両方とも登場するためAND検索ではマッチするのです。

 

（続く）

 

# Facebok ページで「いいね！」して頂けると、ユニーバーサルナレッジの最新情報を得ることができます。

http://www.facebook.com/universal.knowledge.inc 

 

 

ユニバーサルナレッジはエンジニアを１名採用します

ユニナレは2月1日から第3期が始まりました。現在社員5名の小さい会社ですが少し余裕が出て来たので、もう1名エンジニアを採用しようと考えています。

 

 

私が考えている会社はこれまでの企業とはちょっと違います。もともと会社の規模を大きくしようと思っていません。それよりはお客様と社員の幸せを考えて、それに結びつかない事は極力やらないようにしています。大事にしている考え方は次のようなことです。

 

 

1. 信頼できる仲間、パートナーと一緒に働く
2. 自分の大好きなことを追求する
3. 自分の感性を信じる
4. 時間にとらわれない
5. 場所にとらわれない
6. お金にとらわれない
7. 成長スピードを追わない

 

 

これらの価値観を共有できるならスキルは特に問いません。あなたのスキルにあった仕事は必ず存在します。

 

 

もう一つ重要なことは

 

 

行きたい会社がない

 

 

ということです。現在のユニナレのメンバーは全員ヤフーで検索を作っていたメンバーですが、行きたい会社がなくなってユニナレに落ち着いています。私も内外の色々な会社を見ましたが、本当に行きたい会社がなくなって自分で作る事にしました。

 

 

もしあなたが会社を条件やスペックや見栄えで選ぶなら、あなたはユニナレに合いません。給与、福利厚生、オフィス環境、知名度などなど、他の会社とユニナレを「比較」して考えるなら、きっと別の会社に行った方が良いです。

 

 

もしかしたらユニナレにとってもいつかはそういう社員をとる時期が来るかもしれません。しかし、今はまだ「創業期」です。「作りたいものが山ほどあるのに出来ていない」という状態です。今、やっている事は「仕組み作り」です。出来上がった仕組みを運用するフェーズではありません。「何もないところから仕組みを作りたい」という人には絶好の機会だと思います。

 

 

「自分達が作った仕組みをお客様に提供して売上が上がる」ということを一度でも体験してしまうと、他の職場に行けません：）

 

 

逆の状況を考えると「昔の人が作った仕組みを回して売上は上がっているが、お客様から要望があってもなかなか仕組みは変えられない。携わっているメンバーも多く自分が一人抜けても会社は困らない。」そんな状況ではないでしょうか。

 

 

私が考えるに大企業は「何かあったら困る」ので、社員を冗長化しようとします。担当が複数人いる状態です。ユニナレに入ったら担当は「あなた」です。あなた以外その仕事をやる人はいません。「そんなの、もし病気やけがでもしたら困るでしょう」と言われるかも知れませんが、「はい、困ります」としか言えません：）

 

 

その代わり社員はモティベーションも何もなく、自分でやるしかないです。その代わり全てやりますから「やりがい」があります。お客様の反応が全て分かります。

 

 

もし将来、社員を冗長化しないといけないような状況になったら、そういう仕事はアウトソースするか、子会社にしてその会社に全責任を負わせようと思います。その方が緊張感があって良いんではないでしょうか。

 

 

とまあ、採用とは話しがずれてしまったので元に戻します：）今後会社の規模をどれくらいにするかは分かりませんが

 

 

自分達が気持ちよいと思う成長スピード

 

 

を見失わないようにしようと思います。そのためにまずは「1名」です。「1名」のエンジニアで2倍くらい会社のパワーが増しちゃうかも知れません。まったくロジカルではありませんが、そういう状況にあります。

 

 

まずは採用しているということをお伝えしたくてこのブログを書きました。これをネタに色々な人と話しが出来ると思うとワクワクします。

 

 

採用ページ：http://universal-knowledge.jp/recruit/

 

# Facebok ページで「いいね！」して頂けると、ユニーバーサルナレッジの最新情報を得ることができます。

http://www.facebook.com/universal.knowledge.inc