課程資訊
此頁課程資訊與臺大課程網為同步更新
課程基本資訊
| 項目 | 內容 |
| 課程名稱 | 腦理論 |
| 開課學期 | 114-2 |
| 授課對象 |
神經生物與認知科學學程 資訊工程學研究所 資訊工程學系 |
| 授課教師 | 劉長遠 |
| 課號 | CSIE 7434 |
| 課程辨識碼 | 922 U0100 |
| 班次 | |
| 學分 | 3 |
| 全/半年 | 半年 |
| 必/選修 | 選修 |
| 上課時間 | 星期三 7,8,9(14:20~17:20) |
| 上課地點 | 資310 |
| 備註 |
課程大綱
| 項目 | 內容 |
| 課程概述 | 遠距 Google Meet 連結:上課前 20分鐘留意 公告 與 NTU COOL 公布之網址 遠距暫定 Google Meet meet.google.com/pwr-vjjm-oje 要加選同學請自行上網加選 '作業' ' Project' '測驗' 交到 Google Classroom 課程代碼 'ho7feu6i' https://classroom.google.com/c/ODQxNDU3OTE0ODQ0 Neural Networks Syllabus: Foundation Perceptron Multi-Layer Perceptron (MLP) plus tiling algorithm Hopfield model Elman Network Self-Organizing Map (SOM) Reinforcement learning (RL) Lecture notes on Neural Networks, Cheng-Yuan Liou see Class Websites: https://www.csie.ntu.edu.tw/~cyliou/red/NN/Classinfo/classinfo.html |
| 課程目標 | 此課程不涉哲學 思想 全部都是技術 鑑別 區分 為主要講授技術; '作業' ' Project'為 鑑別 區分技術重點 classification, recognition, learning |
| 課程要求 | Basic Calculus '作業 一 第二部分(II)' , 與 'project ' 任一題作完整 學期成績 A- 兩題都作完整 學期成績 A ***作業的 algorithm 在以下這篇 paper 中 ; 先仔細閱讀 可以跳過這裡與 '課程大綱' 講述的 algorithm 技術 Optimal Classification Tiling Algorithm, https://www.techrxiv.org/users/828894/articles/1223096-optimal-classification-tiling-algorithm Skip: 作業 一第ㄧ部分(I) tiling algorithm code + ppt in https://www.csie.ntu.edu.tw/~cyliou/red/NN/Demo/demo.html paper in https://pdfs.semanticscholar.org/a8c9/c463b17a63380f3dd0d62e034d9c76411de2.pd做出 paper 內的 Table 1數據 作業 一第二部分 (II) Uni-perceptron (augmented bi-perceptron) Data set MNIST 數量{ pn , n=1 ~ 60000=N} , 多少屬性 D=28 X 28 pixels (B/W) https://scidm.nchc.org.tw/dataset/mnist 手寫字 J=10 classes {C0, C1, C2, .., Cj, … , CJ=9} 步驟一 為每一個 pattern, pn ∈ Cj , 找出屬於他的兩個集合 { pn1} 和 { pn 2}. { pn1} 含 784 個與pn 最近的patterns, pm ,但不屬於 pn的Class Cj, { pn1}={pm , m=1~784 | pm ∈ Cj }. 做一個 hyperplane (784 dimensions)通過這 784個最近的 patterns, { pn1} . hyperplane 在 pn 的那一邊設定為為正號. 步驟二 { pn 2} 含所有為正號的 patterns 且屬於Cj (與 pn在此hyperplane 同一邊). 正號的 patterns 數量為 |{ pn 2}| . 因此一共有 60000 個 { pn1} 和 60000 { pn 2}. 步驟三 找出{ pn 2}內與此hyperplane最近的一個 pattern, pu ∈ { pn 2} 將此hyperplane 平移到距此 pu一半的距離, 自pu作法線垂直於此 hyperplane. 步驟四 對任一class Cj 選 max{|{ pn 2}|; pn ∈ Cj }值為最大的集合 { pn 2}1 定出其平移後的hyperplane 為第一個得出的perceptron 的weights. 之後將集合 { pn 2} 內的patterns 從class Cj中剔除 從剩餘的集合內找出最大的集合, max{|{ pn 2}|; pn ∈ Cj and pn ∈ { pn 2}1}, { pn 2}2 定出其平移後的hyperplane 為第二個得出的perceptron 的weights. 注意 { pn 2}1∩{ pn 2}2 =.O 依此類推找出最少數量的幾個perceptron or neurons {{ pn 2}1 , { pn 2}2 ,{ pn 2}3 ,…; { pn 2}a∩{ pn 2}b =.O for a≠b} 含所有Cj 內的 patterns , 這幾個 { pn2}a 之一與其對應的 hyperplane or perceptron 會對任一Cj 內的pattern 輸出為 正號 但對其他classes 的 所有patterns輸出為 負號 . (選最大集合及消去法 類似於 Chapter 3 內 bi-perceptron 最少量幾個寬帶狀 strips ) Skip: 作業二 reinforcement learning code + 說明 在 https://www.csie.ntu.edu.tw/~cyliou/red/NN/Homework/2012/hw3.pdf https://www.csie.ntu.edu.tw/~cyliou/red/NN/Homework/2012/hw3.pdf Skip: 作業三 Chapter 5 SIR-kernel 做出 Figures 5,6,7 in Chapter 5 做出 page 20 in ppt of SIR-kernel https://www.csie.ntu.edu.tw/~cyliou/red/publications/ICONIP2008/ICONIP2008_87_ppt.pdf https://www.csie.ntu.edu.tw/~cyliou/red/NN/Homework/2012/hw2.pdf code in https://www.csie.ntu.edu.tw/~cyliou/red/NN/Classinfo/classinfo.html **** Project Chapter 6 ‘ETAM’ Eq.(7---12) Project Chapter 6 ‘ETAM’ Eq.(7---12) Code in https://www.csie.ntu.edu.tw/~cyliou/red/demo/hairy/index.html 'et-AM' ! 'C code' + 'M file' Data set MNIST 數量P=60000 , 多少屬性 N=28 X 28 pixels (B/W) Training dataset=55000 ; Testing dataset=5000. Part I https://scidm.nchc.org.tw/dataset/mnist 手寫字 Window size = 5 X 5 pixels (convolution) Total neurons = 28 X 28=784 in square grid points Total weights =784 X 5 X 5 (including 4 edges and 4 corners) + 784 thresholds Note: delete all weights outside the window for each neuron Note that wij ≠ wji and wii≠0 Part II Augument one standard digit for each handwritten digit in the dataset, see the 10 digits with 96 pixels (8X12) in Chapter 6. Total neurons for the layer = 784 + 96 Total weights = 784 X 25 + 784 (thresholds) + 784 X 96 + 96X96+ 96 (thresholds) Then apply the algorithm in ETAM’ Eq.(7---12) training the neural network. Any testing data will be associated with an unknown pattern, 96 pixels, that has assigned with 96 ‘0’ as input.. Note that wij ≠ wji and wii≠0 ** CNN hard for rotation and scale invariance. Solved by vastly enlarging the dataset with different rotations and/scales of patterns ** 4 X 2 replications of the saved dataset 圍棋 in training |
| 預期每週課前或/與課後學習時數 | 彈性 |
| 參考書目 | https://www.csie.ntu.edu.tw/~cyliou/red/NN/Classinfo/classinfo.html |
| 指定閱讀 | Lecture Notes https://www.csie.ntu.edu.tw/~cyliou/red/NN/Classinfo/classinfo.html |
課程進度
| 週次 | 日期 | 單元主題 |
| 第1週 | 課程進度以 NTU COOL 為準 遠距 Google Meet 網址在此 NTU COOL 遠距暫定 Google Meet meet.google.com/pwr-vjjm-oje Foundation Chapter 1 Perceptron 本周繳交作業 -0 到 g.ntu classroom | |
| 第2週 | 上課影片 Neural Networks [1] Chapter 1 Neural Networks [2] Bi-perceptron Neural Networks [3] Uni-perceptron MLP Uni-perceptron Bi-perceptron Tiling algorithm Chapter 4 + Chapter 3 | |
| 第3週 | 遠距 Chapter 6 RL | |
| 第4週 | 遠距 RL paper Neuronlike adaptive elements that can solve difficult learning control problems https://ieeexplore.ieee.org/document/6313077 video MIT 6.S191 Lecture 6 https://www.youtube.com/watch?v=xWe58WGWmlk Deep learning Hinton's video | |
| 第5週 | 遠距 RL Deep learning Hinton's video Hinton's Deep learning https://www.youtube.com/watch?v=AyzOUbkUf3M&t=637s CNN https://www.youtube.com/watch?v=WUZhLzaD3b8 http://yann.lecun.com/exdb/publis/pdf/lecun-01a.pdf neocognitron https://www.youtube.com/watch?v=Qil4kmvm2Sw https://www.rctn.org/bruno/public/papers/Fukushima1980.pdf | |
| 第6週 | 遠距 on language NetTalk + BP https://papers.cnl.salk.edu/PDFs/NETtalk_%20A%20Parallel%20Network%20That%20Learns%20to%20Read%20Aloud%201988-3562.pdf Sejnowski's video talk in MIT | |
| 第7週 | 遠距 on language Elman network paper in https://www.csie.ntu.edu.tw/~cyliou/red/Publications.htm J.35. Cheng-Yuan Liou, Chen-Wei Cheng, Jiun-Wei Liou, and Daw-Ran Liou, Autoencoder for Words, Neurocomputing, vol. 139, pages 84-96, 2014. J.4. Wei-Chen Cheng, Jau-Chi Huanga, Cheng-Yuan Liou (2011), Segmentation of DNA using Simple Recurrent Neural Network, Knowledge-Based Systems | |
| 第8週 | 遠距 交作業 一 SOM The self-organizing map by T. Kohonen https://sci2s.ugr.es/keel/pdf/algorithm/articulo/1990-Kohonen-PIEEE.pdf 助教 email 給各位的四篇 papers | |
| 第9週 | 遠距 more on SOM STD FTF Chapter 5 SIR-kernel SIR-som | |
| 第10週 | 遠距 more on SOM principle, STD, EEG, economic state map, poverty map, conformal map. Chapter 5 SIR-kernel SIR-som | |
| 第11週 | Chapter 5 more on 'optimal spaced encoding" , SIR-kernel and SIR-som plus Uni-perceptron: setting front hidden layer in Chapter 4 by SIR-kernel page 11 for grey images with 100% perfect classification | |
| 第12週 | 遠距 交 Project Hopfield model https://www2.cs.sfu.ca/CourseCentral/414/li/material/refs/Lippmann-ASSP-87.pdf http://www.bcp.psych.ualberta.ca/~mike/Pearl_Street/PSYCO452/pdfstuff/Supplements/Tank1.pdf Hinton's Boltzmann machine | |
| 第13週 | 遠距 RBM dropout technique CNN Komogorov theorem (BP) | |
| 第14週 | 遠距 capsule network | |
| 第15週 | 測驗題目在這裡 測驗 + 交 Project + 交作業 一 複習 第十周 SOM STD FTF Economic state map CNN LLE Isomap CSM | |
| 第15週 | 遠距 capsule network 先觀看兩個NMF影片 https://www.youtube.com/watch?v=o4pPTwsd-5M https://www.youtube.com/watch?v=UQGEB3Q5-fQ 10701: Non-Negative Matrix Factorization 推薦閱讀 On the Computational Complexity of Deep Learning http://lear.inrialpes.fr/workshop/osl2015/slides/osl2015_shalev_shwartz.pdf V-C dimension https://en.wikipedia.org/wiki/Vapnik%E2%80%93Chervonenkis_dimension https://www.youtube.com/watch?v=puDzy2XmR5c 推薦閱讀 SVM by Prof. Patrick H. Winston https://www.youtube.com/watch?v=_PwhiWxHK8o&t=13s | |
| 第17週 | No class |
補課資訊
| 編號 | 補課日期 | 補課開始時間 | 補課結束時間 | 補課地點或方式 |
成績評量方式
| 編號 | 項目 | 百分比 | 說明 |
| 1 | ㄧ個作業 + project + 出席 + 測驗 | 100% | 綜合印象 '作業 project 出席' |
針對學生困難提供學生調整方式
| 調整方式 | |
| 上課形式 | 以錄影輔助 |
| 作業繳交形式 | 書面報告取代口頭報告, 個人報告取代團體報告 |
| 考試形式 | 考試取代書面(口頭)報告 |
| 其他 |
面談時間
| 備註 | 預約 |