BERTの詳細:BERTがどのようにして自然言語理解のロケットを打ち上げたのか

編集者注:この高レベルのFAQ記事の詳細なガイドは30分間の読み物なので、安心してください! BERTの進化の背景とニュアンス、機械の人間の言語理解を改善するためのアルゴリズムの仕組み、SEOの意味と毎日の作業について学習します。

過去1週間にTwitter SEOを監視している場合は、セサミストリートのキャラクターBert(および場合によってはErnie)が登場するgifや画像の数が増加していることに気付くでしょう。

これは、 先週、Googleが差し迫ったアルゴリズムの更新がロールアウトされ、検索結果のクエリの10%に影響を及ぼし、それらが存在する国の注目のスニペット結果にも影響を与えるためです。些細なことではありません。

更新の名前はGoogle BERTです(したがって、セサミストリート接続とgif)。

GoogleはBERTを、同社がほぼ5年前にRankBrainを導入して以来の検索システムの最大の変更であり、おそらくこれまでの検索における最大の変更の1つであると説明しています。

BERTの到来とその差し迫った影響のニュースは、BERTが何をするのか、それが業界全体にとって何を意味するのかについてのいくらかの混乱とともに、SEOコミュニティを騒がせました。

これを念頭に置いて、BERTとは何か、BERTの背景、BERTの必要性、BERTが解決しようとする課題、現在の状況(つまり、SEOの意味)、および今後の方向性を見てみましょう。


このガイド内のサブセクションへのクイックリンク

BERTバックストーリー | 検索エンジンが言語を学習する方法 | 言語学習方法の問題 | BERTが検索エンジンの言語理解を改善する方法 | SEOにとってBERTはどういう意味ですか?


BERTとは何ですか?

BERTは、学術研究論文としてリリースされて以来、機械学習の世界を席巻した、技術的に画期的な自然言語処理モデル/フレームワークです。研究論文のタイトルはBERT:言語理解のためのディープ双方向トランスフォーマーの事前トレーニングです(Devlin et al、2018)。

論文の出版に続いて、Google AI ResearchチームはBERT をオープンソースの貢献として発表した

1年後、Googleは本番検索で展開するGoogle BERTアルゴリズムの更新を発表しました。 GoogleはBERTアルゴリズムの更新をBERTの研究論文にリンクし、コンテンツおよびクエリでの文脈言語理解、したがって意図、特に会話検索に対するBERTの重要性を強調しました。

それで、BERTとは本当に何なのでしょうか?

BERTは、さまざまな自然言語処理タスクに関する最新の結果をもたらした、事前学習済みのディープラーニング自然言語フレームワークとして説明されています。研究段階では、実稼働検索システムに追加される前に、BERTは11の異なる自然言語処理タスクで最先端の結果を達成しました。これらの自然言語処理タスクには、特に、感情分析、名前付きエンティティの決定、テキスト含意(次の文の予測とも呼ばれます)、セマンティックロールラベリング、テキスト分類、および相互参照解決が含まれます。 BERTは、文脈上、多義語として知られる複数の意味を持つ単語の曖昧さを取り除くのにも役立ちます。

BERTは多くの記事でモデルと呼ばれますが、機械学習の実践者が独自の微調整されたBERTのようなバージョンを構築してさまざまなタスクに対応するための基盤を提供するため、フレームワークのようなものです。 Googleがそれをどのように実装しているのでしょう。

BERTは元々、英語版ウィキペディアとブラウンコーパス全体で事前にトレーニングされており、質問と回答文のペアなどの下流の自然言語処理タスクについて微調整されています。したがって、これは一度限りのアルゴリズムの変更ではなく、文章やフレーズの言語のニュアンスを理解し、曖昧さをなくし、継続的に微調整し、改善するための調整を支援する基本的なレイヤーです。

BERTバックストーリー

BERTがもたらす価値を理解し始めるには、以前の開発に目を向ける必要があります。

自然言語の課題

単語が構造と意味に適合する方法を理解することは、言語学に関連した研究分野です。自然言語理解(NLU)またはNLPは、別の方法で知られているように、60年以上前に、元のチューリングテストペーパーとAIを構成する要素の定義(おそらくそれ以前)にまでさかのぼります。

この説得力のある分野は未解決の問題に直面しており、多くは言語の曖昧な性質(語彙の曖昧さ)に関連しています。英語の他のほとんどすべての単語には複数の意味があります。

検索エンジンが意図を解釈して、書面および口頭でのクエリでユーザーが表現する情報ニーズに応えようとするにつれて、これらの課題は自然に増え続けるコンテンツのWebに広がります。

語彙のあいまいさ

言語学では、曖昧さは単語レベルではなく文にあります。複数の意味を持つ単語が組み合わさって、あいまいな文やフレーズが理解しにくくなります。

かつてケンブリッジ大学のスティーブンクラークよると、現在はディープマインドの専任の研究科学者です。

「あいまいさは、すべての自然言語処理の致命的な問題である、計算知識の獲得に対する最大のボトルネックです。」

WordNet(英語の単語をシンセット(同義語のセット)にグループ化する語彙データベース)から取られた以下の例では、「bass」という単語には複数の意味があります。

さらに、音楽の文脈における「ベース」という言葉は、名詞の品詞または形容詞の品詞の両方である場合があり、さらに混乱を招きます。

名詞

  • S:(n) 低音 (音楽の範囲の最低部分)
  • S:(n) 低音 、低音部(ポリフォニック音楽の最下部)
  • S:(n) 低音低音 (最低声の成人男性歌手)
  • S:(n)スズキ、 バス (Serranidae科の海水魚の赤身)
  • S:(n)淡水低音、 低音 (赤身の肉を含む北米のさまざまな淡水魚のいずれか(特にMicropterus属))
  • S:(n) 低音低音 、低音(最も低い成人男性の歌声)
  • S:(n) 低音 (楽器群の中で最も音域が低いメンバー)
  • S:(n) 低音 (多くの食用の海産および淡水とげのある魚の非技術的な名前)

形容詞

  • S:(adj) 低音 、深音(低いボーカルまたは楽器の音域を持つか、または意味する) 「深い声」。 「低音の声はバリトンの声よりも低い」 「バスクラリネット」

多義性と同音異義語

複数の意味を持つ単語は、多義的または同音異義語と見なされます。

多義性

多義語は、2つ以上の意味を持つ語であり、語根が同じ起源であり、非常に微妙でニュアンスがあります。たとえば、多義語である動詞「get」は、「調達する」、「獲得する」、「理解する」を意味します。別の動詞「run」は多義的で、 606の異なる意味を持つ Oxford English Dictionaryの最大のエントリです

同音異義語

同音異義語は、複数の意味を持つ他の主な種類の単語ですが、同音異義語は意味がしばしば非常に異なるため、多義語よりも微妙な違いがあります。たとえば、同音異義語である「バラ」は「立ち上がる」ことを意味する場合もあれば、花である場合もあります。これらの2語の意味はまったく関係ありません。

ホモグラフと同音異義語

同音異義語のタイプはさらに細かくすることもできます。 「Rose」と「Bass」(前の例から)は、同音異義語と見なされます。それらは同じ綴りであり、異なる意味を持っているためです。英語は同音異義語では特に問題があります。 ここには 、400以上の英語の同音異義語の例のリストがありますが、同音異義語のほんの数例が含まれます。

  • ドラフト、ドラフト
  • デュアル、決闘
  • メイド、メイド
  • フォア、フォー
  • にも、2
  • そこに、彼ら
  • どこで、着用していた

話されたフレーズレベルの単語を組み合わせると、単語自体が同音異義語でなくても、突然あいまいなフレーズになることがあります。

たとえば、「フォーキャンドル」と「フォークハンドル」という語句は、別々の単語に分割する場合、混乱を招くような性質はなく、同音異義語ではありませんが、組み合わせた場合、ほとんど同じように聞こえます。

突然、これらの話し言葉は、まったく異なる意味を持ちながら、互いに同じ意味を持つと混同される可能性があります。結局のところ人間は完璧ではないので、人間でさえこのようなフレーズの意味を混同する可能性があります。したがって、多くのコメディ番組は「言葉で遊ぶ」と言語のニュアンスを特徴としています。これらの話し言葉のニュアンスは、会話検索では特に問題になる可能性があります。

同義語は異なります

明確にするために、同義語は多義語や同音異義語とは異なります。同義語は互いに同じ(または非常に似ている)ことを意味しますが、異なる語です。

同義語の例としては、「小さな」の同義語としての「tiny」、「little」、「mini」という形容詞があります。

相互参照解決

「they」、「he」、「it」、「them」、「she」などの代名詞は、自然言語の理解においても厄介な課題になる可能性があります。文や段落で言及されている人。代名詞によって提示される言語の課題は、 相互参照解決と呼ばれ、 相互参照解決の特定のニュアンスは照応またはカタフォリック解決です。

これは単に、何が、または誰が、何について話し、または書かれているのかを「追跡できる」と考えることができますが、ここで課題についてさらに説明します。

照応とカタフォラの解決

照応の解決は、テキストの前の部分からの代名詞または名詞句(人、場所、物など)としてのアイテムの言及を結び付けようとする問題です。カタフォラの解決は、アナフォラの解決ほど一般的ではありませんが、代名詞または名詞句と呼ばれているものを理解するという課題です。

照応の解決の例を次に示します。

「ジョンはメアリーを助けました。彼は親切でした。」

「彼」は、「ジョン」に戻って解決する代名詞(照応詞)です。

そしてもう一つ:

車はバラバラになっていますが、まだ機能しています。

ここにカタフォラの例があります。カタフォラにもアナフォラも含まれています。

「メアリーが鍵を紛失したことに気付いたとき、彼女はNYUにいました。」

上記の例の最初の「彼女」はカタフォラです。これは、文でまだ言及されていないメアリーに関係しているためです。 2番目の「彼女」は照応詞です。なぜなら、「彼女」はメアリーにも関係しているからです。

マルチセンテンス解像度

人、場所、物(エンティティ)を代名詞として参照するフレーズと文が組み合わされると、これらの参照はますます複雑になり、分離します。これは、複数のエンティティがテキストへの追加を開始し、文の数が増え始めた場合に特にそうです。

以下は、コーリファレンスによる相互参照の解決と照応の説明です。

a)ジョンはフランスを2回旅行しました。

b)彼らは両方とも素晴らしかった。

人間とあいまいさ

不完全ではありますが、人間は常識的な理解の概念を持っているので、共参照の解決と多義性というこれらの字句上の課題にはほとんど関心がありません。

複数の文や段落を読んだり、会話をやり取りしたりするときに「彼女」や「彼ら」が何を指しているのかを理解します。

たとえば、「預金」、「小切手/小切手」、「現金」など、関連する他の単語が含まれている場合、これらはすべて「銀行」ではなく「銀行」に関連するため、自動的に認識されます。 」

言葉で言えば、言葉や文章が発話されたり書かれたりする文脈を認識しています。それは私たちにとって理にかなっています。したがって、曖昧さやニュアンスに比較的簡単に対処できます。

機械とあいまいさ

機械は、「銀行」(川)と「銀行」(金融機関)を明確にするために必要な文脈上の単語のつながりを自動的に理解しません。さらに、「get」や「run」など、微妙な意味を持つ多義的な単語もあります。マシンは、文で誰が話されているのかを簡単に把握できなくなるため、相互参照の解決も大きな課題です。

会話型検索(および同音異義語)などの話し言葉がミックスに入ると、特に文章とフレーズを一緒に追加し始めると、これらすべてがさらに難しくなります。

検索エンジンが言語を学習する方法

それでは、言語学者や検索エンジンの研究者は、機械が自然言語の単語、文、語句の明確な意味を理解できるようにしたのでしょうか?

「Googleはかなりフレーズにある言葉だけよりも、あなたのフレーズの意味を理解している場合、それは素晴らしいと思いません?」 Googleのエリック・シュミットは述べ 、同社が発表される直前に、バック2009年3月にロールアウトする彼らの最初のセマンティック提供を。

これは、「文字列からモノへ」という最初の動きの1つを示しており、おそらくGoogleによるエンティティ指向の検索実装の出現です。

Eric Sc​​hmidtの投稿で言及された製品の1つは、検索結果ページに表示される「関連するもの」でした。関連項目として「角運動量」、「特殊相対性理論」、「ビッグバン」、「量子力学」の例が提供されました。

これらのアイテムは、「関連性」によって自然言語で互いに近くに住んでいる共起アイテムと見なすことができます。接続は比較的緩いですが、Webページのコンテンツで一緒に共存することを期待するかもしれません。

では、検索エンジンはこれらの「関連するもの」をどのように一緒にマッピングするのでしょうか?

共起と分布の類似性

計算言語学では、共起は、類似の意味を持つ単語や関連する単語が自然言語で互いに非常に近くに住む傾向があるという考えを保持しています。言い換えれば、それらは全体的に文章や段落、またはテキスト全体(コーパスと呼ばれることもあります)に近接している傾向があります。

単語の関係と共起を研究するこの分野はFirthian Linguisticsと呼ばれ、そのルーツは通常1950年代の言語学者John Firthに関連しています。

「あなたはそれが保持している会社の言葉を知っているだろう。」

(Jr 1957ファース)

類似性と関連性

Firthian言語学では、テキストの近くのスペースに一緒に住んでいる単語と概念は、類似または関連しています。

類似した「物の種類」である単語は、 意味的な類似性を持っていると考えられています。これは、「物」の種類である概念である「isA」概念間の距離の測定に基づいています。たとえば、車とバスは両方の種類の車両であるため、セマンティックな類似性があります。車とバスの両方が、次のような文のギャップを埋めることができます。

「A ____は乗り物です。」車とバスは乗り物だからです。

関連性は、意味の類似性とは異なります。 isAエンティティに関連する単語は、エンティティが何であるかについて明確な手がかりを提供できるため、関連性は「分布の類似性」と見なされます。

たとえば、車は両方の車であるためバスに似ていますが、車は「道路」と「運転」の概念に関連しています。

道路と運転に関するページの中、または車に関するページの近くにあるページ(リンクまたはセクション-カテゴリまたはサブカテゴリ)で言及されている車を見つけることができます。

これは自然言語の足場として類似性と関連性の概念に関する非常に良いビデオです

売り上げアップするならホームページ制作で長崎市

人間は自然にこの共起を常識の理解の一部として理解しており、前述の「銀行」(川)と「銀行」(金融機関)の例で使用されました。

金融機関としての銀行のトピックに関するコンテンツには、河川や漁業のトピックではなく、金融のトピックに関する言葉が含まれているか、金融に関するページにリンクされている可能性があります。

したがって、「銀行」の会社は「金融」、「現金」、「小切手」などです。

ナレッジグラフとリポジトリ

セマンティック検索とエンティティが言及されるときはいつでも、おそらくすぐに検索エンジンの知識グラフと構造化データを考えますが、自然言語の理解は構造化データではありません。

ただし、構造化されたデータは、単語の「会社」がコンテンツのトピックに関する指標を提供するため、分布の類似性を介した曖昧性解消により、検索エンジンにとって自然言語の理解を容易にします。

ナレッジグラフにマップされ、一意の概念IDに関連付けられたエンティティとその関係の間の接続は強固です(スキーマと構造化データなど)。

さらに、エンティティー認識の一部は、エンティティー認識の形式で、自然言語処理の結果として可能になります(同じ名前の2つ以上のエンティティーのどれを参照するかを本文で決定します)。自動的に明確ではありません。

テキストに「モーツァルト」という言葉が含まれていると、「モーツァルト」、作曲家、「モーツァルト」カフェ、「モーツァルト」通りを意味する可能性があります。

Webの大部分はまったく構造化されていません。 Web全体を考慮すると、セマンティックヘッダー、箇条書き、番号付きリスト、表形式データなどの半構造化データでさえ、ごく一部しか構成していません。文章、フレーズ、パラグラフには、あいまいなあいまいなテキストのギャップがたくさんあります。

自然言語処理とは、「知られている」すべての「物」(エンティティ)間の文、フレーズ、および段落内の緩やかな非構造化テキストを理解することです。エンティティ間のホット混乱における「ギャップフィリング」の形式。類似性と関連性、および分布の類似性)がこれに役立ちます。

関連性は弱い場合と強い場合があります

エンティティのノードとエッジ間のデータ接続およびそれらの関係は強力ですが、類似性は間違いなく弱く、関連性はさらに弱くなっています。関連性はあいまいであると考えることさえできます。

「isA」としてのリンゴとナシの類似性の関係は、「皮」、「食べる」、「コア」のリンゴへの関連性の関係よりも強力です。

リンゴは、単に「皮」、「食べる」、「コア」という言葉を見るだけでは、明確な「もの」であるとは実際には識別されません。

計算言語学

多くの「ギャップを埋める」自然言語の研究は、計算言語学と見なすことができます。数学、物理学、言語、特に線形代数、ベクトル、べき乗則を組み合わせた分野。

自然言語と分布頻度は全体的に多くの原因不明の現象(例えば、 Zipf Mystery )を持ち、言葉の「奇妙さ」と言語の使用に関するいくつかの論文があります。

ただし、全体として、言語の大部分は、単語が共存する場所(保持している会社)を中心とした数学的計算によって解決できます。これは、検索エンジンが自然言語の課題(BERT更新を含む)を解決し始める方法の大部分を形成します。

単語の埋め込みと共起ベクトル

簡単に言えば、単語の埋め込みは、テキストコーパスとしても知られているテキストの実世界のコレクション内で互いに「生きている」単語を、数学的な空間で識別してクラスター化する数学的な方法です。たとえば、「戦争と平和」という本は、Wikipediaと同様、大きなテキストコーパスの例です。

単語の埋め込みは、テキストの本文で見つかった場合に通常互いに近くに存在する単語の数学的表現にすぎず、実数を使用してベクトル(数学空間)にマップされます。

これらの単語の埋め込みは、共起、関連性、および分布の類似性の概念を取り入れており、単語は単純に会社にマッピングされ、共起ベクトル空間に格納されます。次に、ベクトル「番号」は、幅広い自然言語理解タスクの計算言語学者によって使用され、人間が互いに近くに住んでいる単語に基づいて言語を使用する方法を機械に教えようとします。

WordSim353データセットの例

これらの共起ベクトルおよび単語の埋め込みとの類似性と関連性に関するアプローチは、単語の意味を学習するためのGoogleの会話型検索研究チームのメンバーによる研究の一部であることがわかっています。

たとえば、「 分布とWordNetベースのアプローチを使用した類似性と関連性に関する研究 」では、Wordsim353データセットを使用して分布の類似性を理解しています。

データセットのこのタイプの類似性と関連性は、テキストの本文の数学空間(ベクトル)にマッピングされた「単語の埋め込み」を構築するために使用されます。

これは、 Wordsim353 Datasetのコンテンツでよく使用される非常に小さな単語の例です。これは、さらに調査するためにZip形式としてダウンロードできます。人間のグレーダーによって提供される、右側の列のスコアは、左側の列と中央の列の2つの単語の類似性に基づいています。

お金 現金 9.15
海岸 9.1
お金 現金 9.08
お金 通貨 9.04
フットボール サッカー 9.03
魔術師 ウィザード 9.02

Word2Vec

半教師ありおよび教師なしの機械学習アプローチも、この自然言語学習プロセスの一部になりました。これには、計算言語学がターボチャージされています。

ニューラルネットは、類似性と関連性の尺度を獲得し、単語の埋め込みを構築するために、互いに近くに存在する単語を理解するように訓練されます。

これらは、より具体的な自然言語理解タスクで使用され、人間が言語を理解する方法を機械に教えます。

出力として入力し、ベクトルとしてテキストを使用して、これらの数学的な共起ベクトル空間を作成するための一般的なツールであるGoogleのWord2Vec 。 Word2Vecの出力は、さまざまな種類の自然言語処理タスクで利用できるベクターファイルを作成できます。

Word2Vecの2つの主要な機械学習方法は、スキップグラムと単語の連続バッグです。

Skip-gramモデルはターゲットワード(ターゲット)の周りの単語(コンテキスト)を予測しますが、Continuous Bag of Wordsモデルはターゲット(コンテキスト)の周りの単語からターゲットワードを予測します。

これらの教師なし学習モデルには、移動する「コンテキストウィンドウ」を介して、ターゲットワードの周囲の多数のワードでワードペアが供給されます。ターゲットワードは、一定数の周囲のワードで構成される「コンテキストウィンドウ」の中央にある必要はありませんが、コンテキストウィンドウの左側または右側にあることができます。

注意すべき重要な点は、コンテキストウィンドウの移動が単方向であることです。つまり、ウィンドウは、左から右または右から左のいずれかの方向にのみ単語上を移動します。

品詞タグ付け

ニューラルネットを教えるために設計された計算言語学のもう1つの重要な部分は、トレーニングドキュメント内の単語をさまざまな品詞にマッピングすることに関する人間の言語に関するものです。これらの品詞には、名詞、形容詞、動詞、代名詞などが含まれます。

言語学者は、名詞、動詞、形容詞など、よく知られている一般的な品詞をはるかに超えて、多くの品詞をさらにきめ細かくするように拡張しました。これらの品詞には、VBP(動詞、非3人称単数現在)、VBZ(動詞、3人称単数現在)、およびPRP $(所有代名詞)。

品詞形式の単語の意味は、さまざまな粒度の単語の意味を持つ多数のタガーを使用して品詞としてタグ付けできます。たとえば、The Penn Treebank Taggerには36の異なる品詞タグとCLAWS7の品詞がありますtaggerには、なんと146個の異なる音声タグがあります。

たとえば、Googleの言語学者チームであるGoogle Pygmalionは 、会話検索とアシスタントに取り組んでおり、スニペットと文圧縮の回答生成のためのニューラルネットワークのトレーニングの一部として音声タグ付けの一部を使用しました。

特定の文の品詞を理解すると、機械は、特に会話検索や会話コンテキストの目的で、人間の言語がどのように機能するかを理解し始めることができます。

例として、下の例の「品詞」タガーの文から見ることができます。

「Search Engine Landは、オンライン検索業界のニュース出版物です。」

異なる品詞として強調表示されている場合、これは「名詞/名詞/名詞/動詞/決定詞/形容詞/名詞/名詞/名詞/名詞」とタグ付けされます。

言語学習方法の問題

検索エンジンと計算言語学者のすべての進歩にもかかわらず、Word2VecやGoogle Pygmalionのような教師なしおよび半教師付きアプローチには、人間の言語理解の拡大を妨げる多くの欠点があります。

これらが会話型検索の進歩を確実に妨げていたことを確認するのは簡単です。

ピグマリオンは国際化に対してスケーラブルではありません

トレーニングデータセットに品詞タグ付きアノテーションをラベル付けすると、組織にとって時間と費用の両方がかかる可能性があります。さらに、人間は完全ではなく、エラーや意見の相違の余地があります。特定の単語が特定のコンテキストに属する品詞によって、言語学者同士が何時間も議論し続けることができます。

たとえば、2016年にGoogle Assistantに取り組んでいるGoogleの言語学者チーム(Google Pygmalion)は、約100人の博士号で構成されていました。言語学者。 Google Product ManagerのWired Magazineとのインタビューで、 David Orr氏は 、同社がどのように博士号のチームを必要としているかを説明しました。ニューラルネットが人間の言語の仕組みを理解するのに役立つ方法で、品詞(これを「ゴールド」データと呼ぶ)にラベルを付ける言語学者。

OrrはPygmalionについて次のように述べています。

「チームは20から30の言語に及びます。しかし、Googleのような企業が最終的に「教師なし学習」と呼ばれるより自動化されたAIの形態に移行できることを期待しています。」

2019年までに、ピグマリオンチームは世界中の200人の言語学者で構成され、 常勤スタッフと代理店スタッフの両方で構成されていましたが、手作業によるタグ付け作業の面倒で落胆的な性質と、長時間の労力のために、その課題がないわけではありませんでした。

同じWiredの記事で、Skymindと呼ばれる深層学習会社の創設者であるChris Nicholsonは、音声タグ付けの一部を実行する必要があるため、特に国際化の観点から、Google Pygmalionのようなプロジェクトの拡張不可能な性質についてコメントしました世界のすべての言語の言語学者によって、真の多言語になります。

会話型検索の国際化

Pygmalionに含まれる手動タグ付けでは、計算言語学の譲渡可能な自然現象を考慮していないようです。たとえば、分布頻度のべき法則であるZipfs Lawは、特定の言語では、単語の分布頻度はランクの1つに比例することを規定しており、これはまだ翻訳されていない言語にも当てはまります。

RNN(リカレントニューラルネットワーク)の「コンテキストウィンドウ」の単方向性

Skip-gramやContinuous Bag of Wordsのようなトレーニングモデルは単方向です。つまり、ターゲットワードとその前後のコンテキストワードを含むコンテキストウィンドウは一方向にのみ移動します。対象の単語の後の単語はまだ表示されていないため、文のコンテキスト全体が最後の単語まで不完全であり、一部のコンテキストパターンが失われるリスクがあります。

トランスフォーマーアーキテクチャについて説明する際に、Google AIブログで Jacob Uszkoreitが一方向に移動するコンテキストウィンドウの課題の良い例が提供されています

文中の「銀行」という言葉の最もありそうな意味と適切な表現を決定する:「横断した後に銀行に到着した…」は、文が「…道路」または「…川」で終わるかどうかを知る必要があります。

テキストの凝集度がありません

単方向トレーニングアプローチは、テキストの凝集を防ぎます。

哲学者ルードヴィッヒ・ヴィトゲンシュタインのように、1953年に有名な哲学者:

「単語の意味は、言語での使用です。」

(ウィトゲンシュタイン、1953)

多くの場合、小さな単語と単語の結合方法は、言語の常識をもたらす「接着剤」です。この「接着剤」全体を「テキストの粘着性」と呼びます。エンティティとそれらの周囲の異なる品詞の組み合わせが、特定の順序で一緒に定式化され、文に構造と意味を持たせます。単語が文または句に含まれる順序もこのコンテキストに追加されます。

これらの周囲の単語を正しい順序でこの文脈の接着剤なしでは、単語自体は単に意味を持ちません。

同じ単語の意味も、共存する文やフレーズのメンバーへの依存により、文やフレーズが発達するにつれて変化する可能性があり、そのコンテキストが変化します。

さらに、言語学者は、与えられた文脈において、特定の品詞について、最初に単語が属することに同意しない場合があります。

「バケツ」の例を見てみましょう。人間として、水で満たされたバケツを「もの」として自動的に視覚化できますが、どこにでもニュアンスがあります。

「バケツの単語」という単語が「彼はバケツを蹴った」、または「バケツのリストからまだ消していない」という文に含まれていた場合はどうなりますか? 「バケツ」の周りに付随する、そしてしばしば小さな言葉のテキスト結合がないと、バケツが水を運ぶ道具なのか人生の目標のリストなのかを知ることができません。

単語の埋め込みはコンテキストに依存しません

Word2Vecなどが提供する単語埋め込みモデルは、単語が何らかの形で共存していることを知っていますが、どのコンテキストで使用すべきかを理解していません。真のコンテキストは、文内のすべての単語が考慮される場合にのみ可能です。たとえば、Word2Vecは、川(銀行)が正しいコンテキスト、または銀行(預金)であるかどうかを知りません。 ELMoのような後のモデルはターゲットワードの左側と右側の両方でトレーニングされましたが、これらはすべてのワード(左側と右側)を同時に見るのではなく個別に実行され、まだ真のコンテキストを提供していませんでした。

多義性と同音異義語の取り扱いが不適切

Word2VecのようなWord埋め込みは、多義性と同音異義語を正しく処理しません。複数の意味を持つ単一の単語は、単一のベクトルにマッピングされるため。したがって、さらに明確にする必要があります。同じ意味の単語がたくさんあることはわかっているので(たとえば、606の異なる意味を持つ「実行」)、これは欠点でした。先に示したように、多義語は同じ語源を持ち、非常に微妙な意味を持つため、多義性は特に問題があります。

相互参照の解決にはまだ問題があります

検索エンジンは、照応とカタフォラの解決という困難な問題に依然として苦しんでいます。これは、対話式の検索や、複数のターンにわたる質疑応答を行うアシスタントにとって特に問題でした。

どの種類のエンティティが参照されているかを追跡できることは、これらの種類の音声クエリにとって重要です。

トレーニングデータの不足

最新のディープラーニングベースのNLPモデルは、注釈付きの膨大なトレーニング例でトレーニングされた場合に最もよく学習します。トレーニングデータの不足は、研究分野全体を妨げる一般的な問題でした。

それでは、BERTは検索エンジン言語の理解をどのように改善するのに役立ちますか?

上記のこれらの欠点を念頭に置いて、BERTは検索エンジン(および他の研究者)が言語を理解するのにどのように役立ちましたか?

BERTが特別な理由

BERTを検索およびその他の分野で特別なものにしている要素がいくつかあります(世界–はい、それは自然言語処理の研究基盤としては大きなものです)。特別な機能のいくつかは、BERTの論文タイトルであるBERT:Transformersの双方向エンコーダー表現にあります。

B –双方向

E –エンコーダー

R –表現

T –トランスフォーマー

しかし、BERTが自然言語理解の分野にももたらす他の刺激的な開発があります。

これらには以下が含まれます:

  1. ラベルなしテキストからの事前トレーニング
  2. 双方向コンテキストモデル
  3. トランスフォーマーアーキテクチャーの使用
  4. マスク言語モデリング
  5. 集中的な注意
  6. テキスト含意(次の文の予測)
  7. オープンソースのコンテキストによる明確化

ラベルなしテキストからの事前トレーニング

BERTの「魔法」は、自然言語理解の分野で長年にわたり、テキストコレクションがそれぞれにさまざまな品詞を割り当てる言語学者のチームによって手動でタグ付けされていたため、ラベルのないテキストコーパスに対する双方向トレーニングの実装です語。

BERTは、コーパスにラベルを付けるのではなく、純粋なプレーンテキスト(英語版Wikipediaから25億語以上)の教師なし学習を使用して事前トレーニングされた最初の自然言語フレームワーク/アーキテクチャでした。

以前のモデルでは、手動でのラベル付けと単語の分散表現(単語の埋め込みと単語ベクトル)の構築が必要でしたが、テキストの本文に存在するさまざまな種類の単語を識別するために音声タグ付けの一部が必要でした。これらの過去のアプローチは、Google Pygmalionで前述したタグ付けに似ています。

BERTは、プレーンテキストのこの大量のコンテンツからテキストのまとまりを理解することから言語を学習し、その後、より小さく、より具体的な自然言語タスクを微調整することでさらに教育を受けます。 BERTも時間の経過とともに自己学習します。

双方向コンテキストモデル

BERTは最初の深く双方向の自然言語モデルですが、これはどういう意味ですか?

双方向および単方向モデリング

真の文脈理解は、文章内のすべての単語を同時に見ることができ、すべての単語が文章内の他の単語の文脈にどのように影響するかを理解することから生まれます。

特定の単語が属する品詞は、文が発展するにつれて文字通り変化します。

たとえば、クエリとは考えにくいが、自然な会話によく登場する音声文を取得する場合(まれではありますが):

「私はあなたが彼がそれを好むことを好むのが好きです。」

文脈が単語の各言及の周りに構築するにつれて、文が単語のように関連する品詞を発達させるので、単語「like」は、テキストでは同じ単語であるが、文脈的には文脈に応じて異なる品詞であるように文または句におけるその場所。

過去の自然言語トレーニングモデルは、単方向でトレーニングされていました。コンテキストウィンドウ内の単語の意味は、ターゲットワード(ワードのコンテキストまたは「it's company」)の周りの所定数のワードとともに左から右または右から左に移動しました。これは、文脈でまだ見られていない単語を文で考慮することができず、自然言語の他の単語の意味を実際に変更する可能性があることを意味します。したがって、一方向に移動するコンテキストウィンドウには、重要な変化するコンテキストを見逃す可能性があります。

たとえば、次の文で:

「夜明け、元気ですか?」

「are」という単語がターゲットワードであり、「are」の左側のコンテキストは「Dawn、how」です。単語の右側のコンテキストは「you」です。

BERTは、ターゲットワードの両側と文全体を同時に見ることができます。これは、人間が文の一部のみを見るのではなく、文全体のコンテキストを見る方法です。対象の単語の左右両方の文全体をコンテキストで同時に考慮することができます。

トランスフォーマー/トランスフォーマーのアーキテクチャ

自然言語理解のほとんどのタスクは、確率予測に基づいています。この文が次の文に関連する可能性はどのくらいですか、またはこの単語がその文の一部である可能性は何ですか? BERTのアーキテクチャとマスクされた言語モデリング予測システムは、文章やフレーズの意味を変える曖昧な単語を特定し、正しいものを特定するように部分的に設計されています。学習は、BERTのシステムによってますます進められています。

Transformerでは、文が曖昧になる可能性のある文またはフレーズ内の他のすべての単語のコンテキストで、単語の固定が使用されます。

この固定された注意は、BERTの研究論文より1年前に出版された「注意が必要なすべて」という論文(Vaswani et al、2017)から来ており、トランスアプリケーションがBERTの研究に組み込まれています。

本質的に、BERTは、文章内の特定の単語に注意を向けることにより、テキスト関連のすべてのコンテキストを確認しながら、その単語に関連する他の単語のすべてのコンテキストも識別できます。これは、双方向の事前トレーニングと組み合わせたトランスフォーマーを使用して同時に達成されます。

これは、相互参照の解決を含む、自然言語の理解のための多くの長年の言語上の課題に役立ちます。これは、エンティティがターゲットワードとしてセンテンスでフォーカスされ、その代名詞またはそれらを参照する名詞句がセンテンスまたはフレーズ内のエンティティに解決されるためです。

このように、特定の文が具体的に誰に関連するのか、または何に関連するのかという概念とコンテキストは、途中で失われることはありません。

さらに、文中の他のすべての単語との文脈で単語の文脈全体に基づいた確率予測/重みを利用することにより、集中的な注意は多義語と同音異義語の曖昧性解消にも役立ちます。他の単語には、それぞれが「意味」の表現としてターゲット単語のコンテキストにどれだけ追加されるかを示す重み付き注意スコアが与えられます。「銀行」に関する文中の単語は、「デポジット」などの明確な文脈を追加します「銀行」(金融機関)に関する文でより重要性を与えて、表象的文脈を金融機関の文脈に解決する。

BERT名のエンコーダ表現部分は、トランスフォーマーアーキテクチャの一部です。エンコーダーは単語の意味の表現に変換された文入力であり、デコーダーはコンテキスト化された形式で処理されたテキスト出力です。

以下の画像では、「それ」が「the」および「animal」と強く結びついており、照応の解決として「it」として「the animal」への参照を解決していることがわかります。

この固定は、同じ単語が文脈に応じて異なる品詞になる可能性があることがわかっているため、文の単語の順序が変化する「品詞」の変更にも役立ちます。

以下のGoogleが提供する例は、さまざまな品詞と単語カテゴリの明確化の重要性を示しています。小さな単語ですが、フレーズ「to」は、フレーズまたは文の完全なコンテキストで考慮されると、クエリの意味を完全に変更します。

マスク言語モデリング(MLMトレーニング)

「クローズプロシージャ」とも呼ばれ、非常に長い間使用されてきました。 BERTアーキテクチャは、いくつかの単語がランダムにマスクされた文を分析し、「隠された」単語が何であるかを正しく予測しようとします。

これの目的は、トレーニングプロセスのターゲットワードがBERTトランスフォーマーアーキテクチャを通過するのを防ぎ、双方向トレーニング中にすべてのワードが組み合わされたコンテキストで一緒に見られるときに不注意で自分自身を見ることを防ぐことです。すなわち。これにより、自然言語の機械学習で誤った無限ループが発生し、単語の意味が歪むのを防ぎます。

テキスト含意(次の文の予測)

BERTの主要な革新の1つは、次に話すことを予測できること、またはNew York Timesが 2018年10月に「 ようやく文章を完成できるマシン 」と言ったように予測できることです。

BERTは、提供された2番目の文がテキストのコーパスから適切かどうかを、文のペアから予測するようにトレーニングされています。

NB:過去1年間のこの機能は、元のBERTモデルでは信頼性が低いと見なされていたようで、この脆弱性を解決するために他のオープンソース製品が構築されています。 GoogleのALBERTはこの問題を解決します。

テキスト含意は、テキスト本文にある「次に来るもの」の一種です。テキストの含意に加えて、この概念は「次の文の予測」としても知られています。テキスト含意は、文のペアを含む自然言語処理タスクです。最初の文が分析され、次に、信頼度が決定されて、ペア内の特定の2番目の仮説文が、テキストから肯定的、否定的、または中立的な予測で、次の適切な文として論理的に「適合する」かどうかが予測されます。精査中のコレクション。

テキスト含意予測の各タイプ (ニュートラル/ポジティブ/ネガティブ)のWikipediaからの3つの例を以下に示します。 テキスト含意の例(出典:ウィキペディア)

肯定的なTE(仮説を伴うテキスト)の例は次のとおりです。

テキスト:困need者を助けると、神はあなたに報いるでしょう。

仮説:貧しい人にお金を与えると良い結果になります。

負のTE(テキストは仮説に反する)の例は次のとおりです。

テキスト: 困need者を助けると、神はあなたに報いるでしょう。

仮説:貧しい人にお金を与えても結果はありません。

非TEの例(テキストには含意も矛盾もありません)は次のとおりです。

テキスト:困need者を助けると、神はあなたに報いるでしょう。

仮説:貧しい人にお金を与えると、あなたはより良い人になります。

オープンソースの貢献による曖昧性解消のブレークスルー

BERTは空中から登場したばかりではなく、BERTもオープンソースの自然言語理解フレームワークでもあるため、BERTは通常のアルゴリズムの更新でもありません。

画期的な「オープンソースの貢献によって強化されたコンテキストからの曖昧性除去」は、BERTの自然言語理解への主な付加価値を要約するために使用できます。 5年(またはこれまで)でのGoogleの検索システムの最大の変化であることに加えて、BERTは、コンピューターによる自然言語の文脈的理解の成長において、おそらく最大の飛躍を表しています。

Google BERTはSEOの世界では初めてかもしれませんが、一般的にNLUの世界ではよく知られており、過去12か月間に多くの興奮を引き起こしています。 BERTは、Googleだけでなく、仕事で言語理解を活用しようとする無数の産業研究者や学術研究者、さらには商用アプリケーションでも、さまざまな種類の自然言語理解タスクでホッケースティックの改善を提供しました。

BERTの研究論文の発表後、Googleは彼らがオープンソースのバニラBERTになることを発表しました。出版後1年で、オリジナルのBERT論文は執筆時点で1,997回のさらなる研究で引用されています。

現在、さまざまな種類のBERTモデルが存在し、Google検索の範囲をはるかに超えています。

Google ScholarでGoogle BERTを検索すると、2019年に発行された何百もの研究論文が返され、BERTがさまざまな方法で拡張され、現在、自然言語のあらゆる研究にBERTが使用されています。

研究論文は、言語タスク、分野別分野(臨床分野など)、メディアタイプ(ビデオ、画像)、および複数の言語の折的な組み合わせを横断します。 BERTのユースケースは、 BERTとSVMを使用した不快なツイートの特定から、Redditでのロシアのトロール検出のためのBERTとCNNの使用、IMDBのセンチメント分析による予測ムービーによる分類、質問と回答の次の文の予測まで、広範囲に及びますデータセットの一部としてペアリングします。

このオープンソースのアプローチにより、BERTは、研究の長年にわたる言語の問題を解決するための長い道のりを歩んでいます。コードベースは、Google Research TeamのGithubページからダウンロードできます。

バニラBERTを、機械学習愛好家が築き上げるための優れた「10のスターター」の踏み台として提供することにより、Googleは最先端(SOTA)の自然言語理解タスクの限界を押し広げる手助けをしました。 Vanilla BERTは、特定の機能の強力な基盤を提供するCMSプラグイン、テーマ、またはモジュールに例えることができますが、さらに開発することができます。もう1つの単純な類似点は、機械学習エンジニア向けのBERTの事前トレーニングと微調整の部分を、大通りの店でペグのないスーツを購入し、テーラーを訪れて裾を折り返すことです。よりユニークなニーズレベルで。

Vanilla BERTが事前にトレーニングされているため(WikipediaとBrown corpusで)、研究者は、わずか数エポック(トレーニングモデルのループ/反復)で、既にトレーニング済みのモデルの上に独自のモデルと追加パラメーターを微調整するだけで済みます。微調整された要素が含まれます)。

BERTの2018年10月の時点で、紙の出版物BERTは、質疑応答、センチメント分析、名前付きエンティティの決定、センチメントの分類と分析、文のペアなど、11種類の自然言語理解タスク全体で最先端の(SOTA)ベンチマークを打ち破りました。マッチングと自然言語推論。

さらに、BERTは最先端の自然言語フレームワークとして開始された可能性がありますが、Microsoft、IBM、Facebookなど、AIに特化した他の巨大企業の研究者を含む他の研究者はすぐにBERTを採用し、それを拡張して生産しました独自の記録的なオープンソースの貢献。その後、BERTのリリース以降、BERT以外のモデルが最新技術になりました。

FacebookのLiu等は、BERTに拡張された独自のバージョンであるBERTathon – RoBERTaに入りました。元のBERTはかなり訓練されていなかったと主張し、それまでに他のバージョンのBERTを改良し、打ち負かしたと公言していました。

また Microsoft はMT-DNNオリジナルのBERTを打ち負かし、 2015年に提案したモデルを拡張しましたが、 BERTの双方向の事前トレーニングアーキテクチャを追加してさらに改善しました。

Google自身のXLNetとALBERT(トヨタとGoogle)、IBMのBERT-mtl、さらには今ではGoogle T5が登場するなど、他にも多くのBERTベースのモデルがあります。

この分野は非常に競争が激しく、NLU機械学習エンジニアチームはお互いに、また、非公式の人間理解ベンチマークとパブリックリーダーボード上で競争し、分野にゲーミフィケーションの要素を追加します。

最も人気のあるリーダーボードには、非常に競争力のあるSQuADとGLUEがあります。

SQuADは、スタンフォードの質問と回答のデータセットの略で、Wikiworkの記事に基づく質問とクラウドワーカーが提供する回答から構築されています。

現在のSQuAD 2.0バージョンのデータセットは、SQuAD 1.1がほとんど自然言語研究者に打ち負かされたために作成された2番目の反復です。第2世代のデータセットであるSQuAD 2.0は、より困難な質問のデータセットを表し、データセットに意図的な数の敵対的な質問(回答のない質問)も含まれていました。この敵対的な質問の包含の背後にあるロジックは意図的であり、モデルを訓練して、彼らが知らないことを知ることを学ぶように設計されています(すなわち、答えられない質問)。

GLUEは、一般的な言語理解評価データセットおよびリーダーボードです。 SuperGLUEは、GLUEが再び機械学習モデルを打ち負かすのが容易になりすぎたために作成されたGLUEの第2世代です。

機械学習分野のほとんどの公開リーダーボードは、競合他社がモデルを微調整するための豊富な質問と回答のデータセットを伴う学術論文としても機能します。たとえば、MS MARCOは、Microsoftが発行する学術論文、データセット、および付随するリーダーボードです。別名Microsoft MAchine Reaching Comprehension Dataset。

MSMARCOデータセットは、100万を超える実際のBingユーザークエリと180,000を超える自然言語の回答で構成されています。研究者はこのデータセットを利用してモデルを微調整できます。

効率と計算費用

2018年後半から2019年までは、最新の自然言語機械学習モデルを作成するための猛烈なパブリックリーダーボードリープフロッギングの1年として思い出すことができます。

さまざまな最先端のリーダーボードのトップに到達する競争が激化したため、モデルの機械学習エンジニアが構築したサイズも増え、データが増えると精度が高まる可能性が高まるという信念に基づいて追加されたパラメーターの数も増えました。しかし、モデルのサイズが大きくなるにつれて、微調整とさらなるトレーニングに必要なリソースのサイズも増加しました。これは明らかに持続不可能なオープンソースの道でした。

Hugging Face (AIの継続的な民主主義を促進しようとしている組織)のVictor Sanhは、 次のように書いています。

「NVIDIAの最新モデルには83億のパラメーターがあります。BERTの24倍、GPT-2の5倍、Facebook AIの最新作であるRoBERTaは160 GBのテキストでトレーニングされました😵」

BERT-BaseとBERT-Largeの元のBERTサイズを説明するために、BERT-Baseの3倍の数のパラメーターがあります。

BERTベース 、ケース入り:12レイヤー、768隠し、12ヘッド、110Mパラメーター。 BERT 、ケース入り:24レイヤー、1024隠し、16ヘッド、340Mパラメーター。

コストとデータサイズの増大により、より効率的で、計算量が少なく、経済的にも費用のかかるモデルを構築する必要が生じました。

Google ALBERT、Hugging Face DistilBERT、FastBERTへようこそ

GoogleのALBERTは2019年9月にリリースされ、Google AIとトヨタの研究チームの共同作業です。 ALBERTは、多くの自然言語処理タスクで最先端のスコアを達成するため、BERTの自然後継者と見なされますが、これらをはるかに効率的で計算コストの低い方法で達成できます。

大きなALBERTのパラメーターは、BERT-Largeの18倍です。 BERTを介したALBERTの主要な革新の1つは、BERTが年間を通じてオープンソースの分野で精査されるようになったため、信頼できないことが判明した次の文の予測タスクの修正です。

この記事を書いている時点で、SQuAD 2.0で、ALBERTが最新のSOTAモデルであることがわかります。 ALBERTは元のBERTよりも高速で無駄がなく、多くの自然言語処理タスクで最先端(SOTA)を実現しています。

最近導入されたその他の効率化や予算重視、スケールダウンBERTのタイプのモデルがあるDistilBERT 、小さく軽く、より安く、より速く、そしてあることを主張する、 FastBERT

では、SEOにとってBERTはどういう意味ですか?

BERTは、アルゴリズムの更新としてSEOの間で知られているかもしれませんが、実際には、多義的なニュアンスを理解し、自然言語の「もの」に関する相互参照を継続的にうまく解決できる多層システムの「アプリケーション」です-自己学習による調整。

BERTの全体的な目的は、機械の人間の言語理解を改善することです。検索の観点では、これは、検索エンジンのユーザーが発行する書面または音声のクエリ、およびコンテンツ検索エンジンで収集およびインデックス化することができます。検索におけるBERTのほとんどは、自然言語の言語的曖昧性の解決に関するものです。 BERTは、構造と意味を提供する文の小さな詳細から生じるテキスト結合を提供します。

BERTはWebページを否定的にも肯定的にも判断しないため、ペンギンやパンダのようなアルゴリズムの更新ではありませんが、Google検索の人間の言語の理解を向上させます。その結果、Googleは出会うページのコンテンツの意味についてより多くのことを理解し、またユーザーが単語の完全なコンテキストを考慮して発行するクエリも理解します。

BERTは文章とフレーズに関するものです

あいまいさは単語レベルではなく、文レベルです。これは、あいまいさを引き起こす複数の意味を持つ単語の組み合わせに関するものだからです。

BERTは多義的な解決に役立ちます

Google BERTは、Google検索で「テキストのまとまり」を理解し、特に多義的なニュアンスが単語の文脈上の意味を変える可能性のあるフレーズや文を明確にするのに役立ちます。

特に、Googleの例で提供されている「to」、「two」、「to」、「stand」および「stand」など、複数の意味を持つ多義語や同音異義語のニュアンスは、以前にあったニュアンスを示しています検索で見逃された、または誤解された。

あいまいで微妙なクエリの影響

BERTが影響を与える検索クエリの10%は、テキストの凝集性と曖昧性解消の改善されたコンテキストグルーの影響を受ける非常に微妙なものかもしれません。さらに、これは、Googleが毎日見ている15%の新しいクエリの理解に大きな影響を与える可能性があります。これらの多くは、単なるロングテールクエリではなく、実際のイベントやバースト/一時クエリに関連しています。

リコールと精度に影響(印象?)

あいまいなクエリ会議の精度は大幅に向上する可能性が高いため、クエリの拡張と緩和により多くの結果(リコール)を含めることができなくなる可能性があります。

精度は結果の品質の尺度ですが、リコールは単にクエリに関連する可能性のあるページを返すことに関連しています。

このリコールの減少は、Google Search Consoleで表示されるインプレッションの数に反映される場合があります。特に、特に関連のないクエリでリコールされている可能性のある長いコンテンツを含むページの場合。

BERTは相互参照の解決に役立ちます

BERT(研究論文と言語モデル)の相互参照解決機能により 、Googleアルゴリズムは、代名詞と名詞句がエンティティを参照するときに、Google検索がエンティティを追跡するのに役立ちます。

BERTのアテンションメカニズムは、フォーカスされているエンティティに焦点を当て、確率決定/スコアを使用して、文およびフレーズ内のすべての参照を元に戻すことができます。

「彼」、「彼女」、「彼ら」、「それ」などの代名詞は、Googleが話し言葉や文章でコンテンツとクエリの両方に簡単にマップできるようになります。

これは、注目のスニペット生成と音声検索の回答抽出/会話検索のためにテキストで参照される複数のエンティティを持つ長い段落にとって特に重要です。

BERTは多くの目的を果たします

Google BERTは、おそらくGoogle検索用のスイスアーミーナイフタイプのツールと考えられるものです。

BERTは、Google検索の言語的基盤を提供し、 さまざまな種類の自然言語理解タスク実行できるため、重みとパラメーターを継続的に調整および調整します。

タスクには次のものがあります。

  • 相互参照の解決(文または語句がコンテキストまたは大規模な会話クエリで参照している人、または何を追跡する)
  • 多義性の解決(あいまいなニュアンスを扱う)
  • 同音異義語解決(同じように聞こえるが、異なることを意味する言葉を理解することを扱う
  • 名前付きエンティティの決定(名前付きエンティティの認識は名前付きエンティティの決定または曖昧性解消ではないため、多くの名前付きエンティティからテキストが関連することを理解する)、または他の多くのタスクの1つ。
  • テキスト含意(次の文の予測)

BERTは、会話型検索とアシスタントに非常に大きくなります

Googleの実習モデルは、より多くのクエリと文のペアを使用して学習を続けるため、会話型検索との関連性の一致という点で飛躍的な進歩が期待されます。

BERTには他の言語に移行するように見えるフィードフォワード学習要素があるため、これらの飛躍的な飛躍は英語だけでなく、まもなく国際言語でも行われる可能性があります。

BERTは、Googleが会話型検索を拡大するのに役立つ可能性が高い

しかし、Pygmalionの手動プロセスによって抑制された言語理解を構築するという重荷はもはやないので、短期から中期にかけて、音声検索への応用における飛躍的な進歩を期待してください。

以前に参照された2016 Wiredの記事は、Google Pygmalionに取って代わり、ニューラルネットをトレーニングするためのスケーラブルなアプローチを作成するAI自動化された教師なし学習の定義で終わりました。

「これは、マシンがラベルのないデータから学習するときです。インターネットやその他のソースから大量のデジタル情報が選別されます。」

(有線、2016)

これはGoogle BERTのようです。

また、注目のスニペットがPygmalionによって作成されていることも知っています。

BERTがPygmalionの存在とワークロードに影響を与えるかどうか、また機能スニペットが以前と同じ方法で生成されるかどうかは不明ですが、GoogleはBERTが機能スニペットに使用され、純粋に大きなテキストで事前にトレーニングされることを発表しましたコーパス。

さらに、BERT型ファンデーションの自己学習機能により、継続的にクエリが送信され、応答と機能スニペットが取得されるため、学習が自然に進み、さらに微調整されます。

したがって、BERTは、Pygmalionの骨の折れる作業の潜在的に、非常にスケーラブルな代替手段を提供できます。

国際SEOも劇的に恩恵を受けるかもしれません

BERTが1つの言語で習得した学習は、他の言語やドメインにも移転可能な価値があると思われるため、BERTの主要な影響の1つは国際検索の分野にある可能性があります。

箱から出してすぐに、BERTには、単一言語(単一言語理解)コーパスから何らかの形で派生し、M-BERT(多言語BERT)の形式で104言語に拡張されたいくつかの多言語プロパティがあるように見えます。

Pires、Schlinger&Garretteの論文は、Multilingual BERTの多言語機能をテストし、「 ゼロショットのクロスリンガルモデル転送で驚くほど良いことを発見しました(Pires、Schlinger&Garrette、2019)。ゼロショット学習は、マシンが以前に見たことのないオブジェクトを分類するのを支援することを目的としているため、これは今まで見たことのない言語を理解できることにほとんど似ています。

質問と答え

SERPでの直接的な質問と回答は、より正確になり続ける可能性が高いため、サイトへのクリックスルーがさらに減少する可能性があります。

MSMARCOが微調整に使用され、Bingユーザーからの人間の質問と回答の実際のデータセットであるのと同じように、Googleは、実際のユーザーのクエリと回答のフィードを通じて、時間の経過とともに実際の検索のモデルを微調整し続ける可能性があります前方学習。

言語が引き続き理解されるにつれて、Google BERTによって改善された言い換え理解は、「People Also Ask」の関連クエリにも影響を与える可能性があります。

テキスト含意(次の文の予測)

会話型検索の前後、およびアシスタントの複数ターンの質問と回答も、BERTの「テキスト含意」(次の文の予測)機能、特にクエリ交換シナリオで「次に来るもの」を予測する機能からかなりの恩恵を受ける可能性があります。 。ただし、これは最初のBERTの影響のいくつかほど迅速に明らかにならない場合があります。

さらに、BERTは文中の同じものに対する異なる意味を理解できるため、1つの方法で定式化されたクエリを調整し、同じものに相当する回答に解決するのがはるかに簡単になります。

BERTが会話型検索研究に提供する価値について、 Mohammad Aliannejadi博士に尋ねました。 Aliannejadi博士は、最近博士号を擁護した情報検索研究者です。 「 モバイル情報検索 」の著者の1人であるファビオクレスターニ教授が監督する会話検索に関する研究。

Aliannejadi博士の研究作業の一部では、会話型アシスタントに明確な質問をすることの効果を調査し、その方法論でBERTを利用しました。

Aliannejadi博士は、BERTの価値について次のように語っています。

「BERTは文全体を表すため、文のコンテキストを表しており、2つの文の間の意味関係をモデル化できます。他の強力な機能は、ほんの数エポックで微調整する機能です。だから、あなたは一般的なツールを持っていて、それをあなたの問題に固有のものにします。」

名前付きエンティティの決定

微調整されたBERTモデルなどによって行われる自然言語処理タスクの1つは、エンティティの決定です。エンティティの決定は、特定の名前付きエンティティが、同じ名前の名前付きエンティティの複数の選択肢から参照される確率を決定します。

名前付きエンティティの認識は、名前付きエンティティの明確化でも名前付きエンティティの決定でもありません。

RedditのAMAで、GoogleのGary Illyesは、ブランド名のリンクされていない言及が、現在この名前付きエンティティの決定目的に使用できることを確認しました。

BERTは、名前付きエンティティがいつ認識されるかを理解するのに役立ちますが、互いに同じ名前を持つ多くの名前付きエンティティの1つである可能性があります。

同じ名前の複数の名前付きエンティティの例を以下の例に示します。これらのエンティティは名前で認識される場合がありますが、互いに区別する必要があります。エリアBERTが役立つ可能性があります。

ウィキペディアの検索から、「ハリス」という単語が「ハリス」と呼ばれる多くの名前付きエンティティを返すことがわかります。

BERTは名前ではBERTになりますが、本来ではありません

Google BERTアップデートが元のBERTを使用するのか、よりスリムで安価なALBERTを使用するのか、または現在利用可能な多くのモデルの別のハイブリッドバリアントを使用するのかは不明ですが、BERTはBERTよりもはるかに少ないパラメーターで微調整できるため、これは理にかなっているかもしれません。

これは、実際のアルゴリズムBERTが最初に公開された論文の元のBERTにあまり似ていないことを意味する可能性がありますが、最新の改良版は、最新のSOTAモデルを作成します。

BERTは、完全に再設計された大規模生産バージョン、またはトヨタとGoogleの共同作業であるALBERTなど、BERTの計算コストが低く改善されたバージョンです。

さらに、BERTは他のモデルに進化し続ける可能性があります。これは、Google T5 Teamが、単にT5と呼ばれる公開SuperGLUEリーダーボード上のモデルを持っているためです。

BERTは名前がBERTである場合がありますが、性質上はそうではありません。

SEOをBERT用に最適化できますか?

おそらくない。

BERTの内部構造は複雑で多層的です。そんなに、 Hugging Faceのチームによって作成された「 Bertology 」と呼ばれる研究分野さえあります。

質問を受けた検索エンジニアが、BERTのようなものがランキング(またはその他)に関して行う決定を行う理由を説明できることはほとんどありません。

さらに、BERTはパラメーターと複数の重みで微調整できるため、教師なしフィードフォワード方式で継続的なループで自己学習するため、ブラックボックスアルゴリズムと見なされます。説明できないAIの形式。

BERTは、それ自体が決定を下す理由を常に把握しているわけではないと考えられています。その後、SEOはどのように「最適化」を試みると予想されますか?

BERTは自然言語を理解するように設計されているため、自然な状態を保ちます。

私たちは、あなたが人間のためにサイトを書いて構築するのと同じ方法で、説得力があり、魅力的で、有益で、よく構成されたコンテンツとウェブサイトのアーキテクチャを作り続けなければなりません。

改善点は検索エンジン側にあり、マイナスではなくプラスです。

グーグルは、文章とフレーズを組み合わせたテキストのまとまりによって提供される文脈上の接着剤の理解が向上し、BERTの自己学習としてのニュアンスの理解がますます向上します。

検索エンジンにはまだ長い道のりがあります

検索エンジンにはまだ長い道のりがあり、特に単語のコンテキストは検索エンジンのユーザーのコンテキストとは異なるため、BERTはその改善の一部にすぎません。

SEOには、検索エンジンユーザーが自分の道を見つけ、適切なタイミングで適切な情報ニーズを満たすのを支援するために、やるべきことが多くあります。


この記事で表明されている意見はゲストの著者のものであり、必ずしも検索エンジンランドではありません。スタッフの著者はここにリストされています


著者について

Dawn Andersonは、技術、アーキテクチャ、およびデータベース駆動型のSEOを専門とするSEOおよび検索デジタルマーケティングストラテジストです。ドーンはMove It Marketingのディレクターです。