朱鷺の杜(IBIS)ブログ

情報論的学習理論(IBIS)に関する管理人の独断と偏見に満ちた意見

スポンサーサイト

上記の広告は1ヶ月以上更新のないブログに表示されています。
新しい記事を書く事で広告が消せます。

通信学会小特集「ニューロコンピューティング研究の歴史とその将来」

2005年4月号の電子情報通信学会誌の小特集は「ニューロコンピューティング研究の歴史とその将来」「ターボ符号,LDPC符号と繰返し復号の理論」ということで,いずれもIBISに深い関係のある記事がいっぱいです.

まあニューロブームまでの歴史なんかは他でもいろいろ見られるのですが,現在から見た位置づけとか将来展望なんかは今までない視点もいくつかあって面白かった.

特に修士の頃やっていた連想記憶モデルの脳研究での位置づけは,それぞれの人ごとに位置づけが違っているのが興味深かった.

あとは,岡田さんの「みんなやり逃げなんです(笑)」というコメントはまさにそう思います. でも結局,落とし前をつける研究というのはあんまり評価されないんで,我々含めてみんな面白そうなところだけやり逃げしているんじゃないかという自省があります.

それにしてもこういうのを読むといつも思うんですが,もうちょっとがんばらんといかんかなーということです. ここに出てくる人たちは結構すごい武器をもっている. 私は甘利研なんで,甘利先生流の無手勝流というか素手でモンスターと戦っているかんじがします. でも甘利先生ぐらい経験値をつんでるから武器なしでモンスターを倒せるのであって,私みたいにゲームをはじめたばかりでいきなり強いモンスターを相手にしてもゲームオーバーが待つのみです.

さて,座談会の後は麻生さん,篠本さんの解説で,動向がわかりやすく整理されていますが,紙面の関係であまり突飛なことは書いてありませんね.

もう一つの小特集の符号化の話はちゃんと読んで勉強しようと思います. でもぱっと見た感じこの辺も相当整理されてきましたね. 最初にターボ符号の解説を読んだときは全然ちんぷんかんぷんだった...
スポンサーサイト

コメント

バックプロパゲーションは私の発明かもしれません

ニューラルネットワークが話題になっているので、一度、私のサイバネトロン(下記サイトにあるpdfファイルに記載の発明)を見ていただきたいと思い、投稿します。
http://members.jcom.home.ne.jp/0387325101/cybanetron.pdf
私がこの発明をした1978年にはバックプロパゲーションという言葉も概念もありませんでした。私の卒業研究のニューラルネットワークにサイバネトロンと名付け、特許出願をしました。最近になってみなおしてみますと、この中にバックプロパゲーションの技術思想が含まれていると思いました。この公報の図13、図15および明細書の関連箇所に記載されています。一般にバックプロパゲーションの発案者とされるRumelhart, Hinton, Williams 1986よりも、6年前にこの公開特許公報で、バックプロパゲーションの技術思想は、開示されていたことになります。サイバネトロンでは、学習済みの内部素子は過去の学習で獲得した機能をできるだけ損なわないようにします。皆さんのコメントをお願いします。

コメントありがとうございます.
バックプロパゲーションの原理は1960年代頃いろいろな人が考えていたようで,いろいろな人がいろんなことを言っています. Rumelhart とかも BP (今となっては BP といえば belief propagation ですが^^) は自分がオリジナルとは思っていないでしょう. 私自身は誰が最初かみたいな議論はあまり興味がないのですが,この辺の歴史を徹底的に調べるのは科学史的には意味があるかもしれませんね.

  • 2005/04/11(月) 10:57:19 |
  • URL |
  • あかほ #-
  • [ 編集]

バックプロパゲーションのオリジナル

バックプロパゲーションの原理が1960年頃から考えられていたのであれば、私の発明でさえもバックプロパゲーションのオリジナリティは主張できないと思います。私がニューラルネットワークの研究をしていた1975年頃には、すでにパーセプトロン、アダリン、パパなどが発表されていたのを覚えています。しかし、ニューラルネットワークの内部の層にまで自己組織化を及ぼすための原理として、サイバネトロンで私が提起した次のような原理を述べたものはありませんでした。
1. 演算素子は入力の情報量よりも出力の情報量が必ず減少するので、教師信号を多層構造の内部にまで浸透させていくためには、情報をコピーして分岐させる分流素子が、この多層構造を形成する素子として、演算素子以外にも必要となる。

2. ニューラルネットワークを構成する学習素子(学習機能を有する演算素子または分流素子)は、まわりからの教師信号に応じてすぐに入出力関係を大きく変更してはならない。獲得した入出力関係をできるだけ維持するようにし、大きく入出力関係を変更することを求めるような教師信号がまわりから与えられた場合には、上流に対して反抗出力を出して、上流が入出力関係を変更するように要求しなければならない。

上記の2がバックプロパゲーションの技術思想を含むものとなっています。上記の1については、まだ明示的に述べた他の論文を見たことがありません。

コメントの投稿


管理者にだけ表示を許可する

トラックバック

トラックバックURLはこちら
http://ibisforest.blog4.fc2.com/tb.php/7-a3c39fc1
この記事にトラックバックする(FC2ブログユーザー)

学習理論特集

2005年 小特集「確率を手なずける秘伝の計算技法」電子情報通信学会誌,2005年9月号 ミニ特集「学習理論って何?」計測と制御,2005年5月号 小特集「ニューロコンピューティング研究の歴史とその将来」「ターボ符号,LDPC符号と繰返し復号の理論」電子情報通..

  • 2005/10/13(木) 01:32:46 |
  • PukiWiki/TrackBack 0.1

朱鷺の杜ブログ目次

ごあいさつ -朱鷺の杜ブログ開始 † 朱鷺の杜 Wiki open ↑会議情報(これからの分) † 人工知能学会研究会 ↑落書き † 朱鷺の杜wiki:キーワードリンク 神経回路学会 NIPS 不報告 IBISの住人たち 査読システムについて 論文博士の廃止に...

  • 2006/05/12(金) 15:24:19 |
  • 朱鷺の杜Wiki (PukiWiki/TrackBack 0.3)

FC2Ad

上記広告は1ヶ月以上更新のないブログに表示されています。新しい記事を書くことで広告を消せます。