桜井恵三氏が運営する商用サイト、www.eikaiwanopl.jpにおけるコピペ疑惑追求 第5弾です。
これまでに確認した桜井恵三氏作成の上記サイトを含む流用・コピペ疑惑については下記を参照下さい。
今回 流用・コピペ疑惑を追求するのは、このページです。
強化学習の特徴
www.eikaiwanopl.jp/information/saitekiriron/kyokagakushutokucho.html
http://megalodon.jp/2011-1212-2202-21/www.eikaiwanopl.jp/information/saitekiriron/kyokagakushutokucho.html
（2011年12月12日時点でのウェブ魚拓）
：桜井恵三氏の商用サイトにおける表現
：流用元と思われるサイトでの表現
——————————————————————————–
例28
「ニューラルネットワークにおける強化学習の特徴を挙げると、試行錯誤的な探索（trail?and?error search） と遅延報酬（delayed reward） の2 点になります。行動は直接的な報酬のみならず、その次の情况に影響を与え、そのことを通じて、その後に続く全ての報酬に影響を与えます。」
「2 強化学習の特徴
強化学習の特徴を挙げるとすれば，試行錯誤的な探索 trail–and–error search
と遅延報酬 delayed reward の 2 点になります．行動は直接的な報酬のみな
らず，その次の情况に影響を与え，そのことを通じて，その後に続く全ての
報酬に影響を与えます．」
—–
例29
「ニューラルネットワークにおける教師あり学習は外界から与えられる教師信号によって自らの行動を適応させていきます。例えや規範となるものからの学習になります。例からの学習も重要な要素の１つですが、相互作用を介した学習では未知の問題領域で学習者自らが経験から学ぶ必要があります。教師あり学習では、与えられた入力に対して最初はランダムな結合係数によって答えを出し、その答えを教師信号の示す方向に変化させていきます。この意味では結合係数によって定義される空間の探索を行なっていると見なすことができます。」
「いままで扱って来たニューラルネットワークにおけ
る教師あり学習は外界から与えられる教師信号によって自らの行動を適応さ
せていく，例からの学習です．この例からの学習も重要な要素の１つですが，
1相互作用を介した学習では未知の問題領域で学習者自らが経験から学ぶ必要
があるのです．
教師あり学習では，与えられた入力に対して最初はランダムな結合係数に
よって答えを出し，その答えを教師信号の示す方向に変化させていくと言う
意味では結合係数によって定義される空間の探索を行なっていると見なすこ
とができます．」
—–
例30
「一方、強化学習では自身の取りうる行動のレパートリーの中から最適な行動を探索していると見なすことができます。強化学習には、他の手法と異なる抽象的な概念?ポリシー、プランニング、価値関数、報酬関数、環境のモデルなどを直接取り扱う事です。
ポリシーはある時点での学習者の振舞い方を定義する確率として扱われます。報酬関数は目標を定義します。強化学習者(エージェント) の目的は最終的に受け取る総報酬を最大化することになります。価値関数は最終的に何がよいのかを指定します。」
「一方，強化学習では自身の取りうる行動のレパートリーの中
から最適な行動を探索していると見なすことができます．
強化学習には，外の手法と異なり抽象的な概念 —ポリシー，プランニング，
価値関数，報酬関数，環境のモデルなど— を直接取り扱います．
ポリシーはある時点での学習者の振舞い方を定義する確率として扱われま
す．報酬関数は目標を定義します．強化学習者 (エージェント) の目的は最終
的に受け取る総報酬を最大化することです．価値関数は最終的に何がよいの
かを指定します．」
—–
例31
「ある状態の価値とは、エージェントがその状態を起点として将来にわたって蓄積することを期待する報酬の総量となります。人間にたとえれば報酬は喜びや苦痛のようなものでありますが、価値は我々の環境が特定の状態にあるとき、どれだけ満足あるいは不満であるかに関して、もっと洗練された長期的観点からの判断に相当します。すなわちエージェントはもっとも高い報酬ではなくもっとも高い価値、多くの場合に総報酬量の関数として定義される価値を持つ状態につながるような行動を見つけ出そうとするわけになります。」
「ある状態の価値とはエージェントがその状態を起点として
将来にわたって蓄積することを期待する報酬の総量です．人間にたとえれば
報酬は喜びや苦痛のようなものですが，価値は我々の環境が特定の状態にあ
るときどれだけ満足あるいは不満であるかに関して，もっと洗練された長期
的観点からの判断に相当します．すなわちエージェントはもっとも高い報酬
ではなくもっとも高い価値 (しばしば総報酬量の関数として定義される) を持
つ状態につながるような行動を見つけ出そうとするわけです．」
—–
例32
「強化学習が他のタイプの学習ともっとも異なる特徴は正しい行動を直接与えて教示する
のではなく、実行した行動の評価を訓練情報として利用することなのです。従って、よい行動を直接探索するために試行錯誤による能動的な探索が必要になります。行なった行動がどれくらい良いのかが知らされたり、それが可能な行動の中で最良または最悪であるかについては知らされる事はありません。」
「強化学習が他のタイプの学習ともっとも異なる特徴は正しい行動を直接与
えて教示するのではなく，実行した行動の評価を訓練情報として利用するこ
とです．従って，よい行動を直接探索するために試行錯誤による能動的な探
索が必要になります．行なった行動がどれくらい良いのかが知らされ，それ
が可能な行動の中で最良または最悪であるかについては知らされません．」
【例28～32の流用元と思われるサイト】
「強化学習」 東京女子大学 現代教養学部 浅川伸一 助教（2002年 千葉大学における講義資料？）
http://www.cis.twcu.ac.jp/~asakawa/chiba2002/lect8-Reinforcement/ReinforcementLearning.pdf7
———————————————————————-
流用・コピペ疑惑のある文章/桜井恵三氏の文章 ＝ 1035/1035（各々スペース不含の文字数）。
流用・コピペと思われるボリューム：100.0%。
ついに流用・コピペ率が100%のページが現れました。もう これは資料と呼べる代物ではありません。
さて、桜井恵三氏が何とかの一つ覚えのように繰り返しアピールする言葉に「最適化理論による強化学習」があります。
桜井恵三氏は「最適化理論」と「強化学習」のそれぞれについては、自説の解説資料のほとんどを流用・コピペで埋めて、もっともらしい体裁を繕っています。しかしながら、両方の解説には下記の具体的な説明が欠落しています。
・最適性理論を語っている部分での音声英語学習に対するその理論展開方法について
・強化学習を語っている部分での最適性理論との学術的関連について
この件に関して、桜井恵三氏の２ちゃんねるでの興味深い発言がありますので抜粋して紹介いたします。
（赤字強調部は筆者）
——抜粋 ここから
【音のストリーム】桜井恵三【最適性理論】
http://kamome.2ch.net/test/read.cgi/english/1300257556/
http://mimizun.com/log/2ch/english/1300257556/
912：名無しさん＠英語勉強中：2011/03/28(月) 17:33:53.57
>そもそも強化学習と最適性理論って関連性あるの？
強化学習を知らないで、最適性理論を語るのはとても無理な事だ。
最適性理論をほとんど知らないのと同じだ。
最適性理論は工学面で活用されている、大事な理論だ。
強化学習は最も大事な部分だ。
最適性理論は学習理論でもあり、ロボットなどの学習や
制御に使われている。
ニューラル・ネットワークをマシンとして使う場合には
強化学習をどうさせるかが最も大事だ。
922：名無しさん＠英語勉強中：2011/03/28(月) 17:57:16.95
>そもそも強化学習と最適性理論って関連性あるの？
最適性理論とは最適化をするための理論。
脳のニューラル・ネットワークはその最適化が得意。
だから最適性理論でなく、最適化で検索すればヒットする。
963：名無しさん＠英語勉強中：2011/03/28(月) 20:14:53.10
>音素ベースの学習がロボテックになるのは強化学習ができないからだ。
言語習得で繰り返しが必要なのは、言語音には音素が並んでいないので
繰り返して、試行錯誤で音の調音を学習する必要があるからだ。
これが最適化による強化学習だ。
最適性理論（音のストリーム）ってなんやねん・・・
http://yuzuru.2ch.net/test/read.cgi/recruit/1296739093/
http://mimizun.com/log/2ch/recruit/1296739093/
339 ：就職戦線異状名無しさん：2011/04/07(木) 11:21:01.02
>俺が言語の最適性理論を展開するのは脳の活動と非常に密接な関係があるからです。
最適性理論とは脳のニューラル・ネットワークに模した判断のプロセスです。
人間は多くの問題や選択肢を持って生活しており、その中から常に最適化された
判断がなされます。
例えばある学習をしたとします。
いろいろな方法を試します。
そして良い結果が生まれる事が分かると、それにどんどん工夫を加えて
学習が進みます。
このように、最終的な解答が複雑な場合には脳の最適化をするための
判断をします。
これは典型的な最適性理論の教科学習と呼ばれています。
最適性理論の教科学習には次の要素が含まれます。
１．最適化を図る。
２．試行錯誤をする。
３．フィードバックを得て判断する。
——抜粋 ここまで
たかだか4つの発言ですがご覧の通りで、桜井恵三氏は言語学における「最適性理論」と工学における「最適化」を激しく混同しているものと推測されます。その理由が氏の理解不足に起因するのか、ビジネスの展開上、意識的に混同させているのかは不明です。
桜井恵三氏は「ニューラル・ネットワーク」という氏が大好きな言葉を用いて「最適化理論」と「強化学習」の両者を無理矢理に結びつけている印象を受けます。
両者の関連について万人が納得しうる詳細な説明を行わない限り、氏の主張の全般は「異論・反論」の対象にさえ成り得えません。氏の英語学習ビジネスのキーワードとして「最適性理論」の名称を用いることに対しても、大きな違和感を覚えます。
これらのことは今更 私が改めて申し上げるまでのことでもなく、以前から２ちゃんねるEnglish板住人諸氏に指摘され続けていることですが、桜井恵三氏から諸氏を納得させる説明が行われたことは一度たりともないようです。
（桜井恵三氏が運営するFacebookページのページタイトルからは「最適性理論」の文言が削除されたようです。）