Ulasan MOOC: Improving Deep Neural Networks: Hyperparameter tuning, Regularization and Optimization – oleh Andrew Ng (deeplearning.ai) via Coursera

Judul/Tautan

Improving Deep Neural Networks: Hyperparameter tuning, Regularization and Optimization

Kursus ini merupakan kursus kedua dari program Deep Learning Specialization di Coursera. Lihat review kursus pertama.

Oleh

Prof. Andrew Ng – deeplearning.ai

Penilaian Saya

 (5/5)

Format

Kursus online (MOOC) dengan kuis interaktif dan tugas pemrograman.

Tingkat

Pemula/menengah

Biaya

Kursus ini merupakan bagian dari program Deep Learning Specialization, yang biayanya $49 per bulan sampai selesai.

Ada masa free trial 7 hari, sehingga kalau Anda bisa menyelesaikan MOOC ini kurang dari 7 hari maka Anda bisa mendapat sertifikat secara gratis.

Durasi

• • 3 minggu dengan rata-rata komitmen 3-5 jam per minggu
  • Tiap minggunya kira-kira terdiri dari 1.5 jam video dan 2-4 jam tugas pemrograman
  • Kalau ngebut bisa diselesaikan dalam 1 hari

Tahun Pembuatan

Pertengahan 2017

Penilaian oleh Situs Lain

Coursera:        (rating 4.9/5.0 oleh 13,496 murid) (lihat review)

Persyaratan

•  Sebaiknya Anda mengikuti kursus sebelumnya di program spesialisasi ini. Lihat Ulasan MOOC: Neural Networks and Deep Learning – oleh Andrew Ng (deeplearning.ai) via Coursera

Lingkup Materi

Setelah pada kursus sebelumnya kita diajarkan tentang bagaimana neural networks bekerja dan bagaimana mengimplementasikannya, pada kursus ini kita diajarkan bagaimana melakukan pembelajaran yang benar, dan melakukan optimasi dan tuning pada model kita untuk mencapai akurasi yang baik dan dengan waktu training yang cepat.

Masing-masing materi dijelaskan mulai dari intuisi, formula matematika, sampai dengan implementasinya. Materi-materi yang diajarkan adalah:

• bagaimana memisahkan dataset menjadi training set, development set (dev, atau disebut juga hold-out cross validation set), dan test set, terutama di era deep learning ini.
• permasalahan bias dan variance
• regularization (L2 dan dropout)
• normalisasi input
• weight initialization
• gradient checking
• mini-batch gradient descent
• optimisasi (momentum, RMSprop, Adam optimization)
• learning rate decay
• hyperparameters tuning
• batch normalization
• multiclass classification (softmax regression)

Catatan: kalau Anda mengikuti kursus ini merasa kehilangan jejak atas semua formula yang telah diajarkan, saya membuat cheatsheet kursus ini dan kursus sebelumnya di Student Notes: Neural Networks and Deep Learning.

Selain materi “teoritis” di atas, ada juga materi pengenalan framework TensorFlow. Salah satu tugas pemrograman pada kursus ini dilakukan dengan TensorFlow.

Disamping itu, melanjutkan format di kursus sebelumnya, di kursus ini juga ada video wawancara dengan “pahlawan deep learning” (Heroes of Deep Learning). “Pahlawan” yang diwawancarai di kursus ini adalah Yoshua Bengio dan Yuanqing Lin. Video-video ini informatif dan menginspirasi dan berisi tips-tips untuk orang yang ingin terjun di dunia deep learning.

Rating untuk lingkup materi: 

Pengajaran

•  Spesialisasi dari Prof Ng adalah membuat materi belajar yang sulit menjadi mudah dan tidak menakutkan. Gaya mengajar Prof Ng membuat kursus ini mudah untuk diikuti.

Rating untuk pengajaran: 

Pemrograman

•  Pemrograman dan penilaian tugas dengan Jupyter iPython notebook sehingga terasa modern dan nyaman.
•  Juga diajarkan TensorFlow. Kita diajarkan dasar-dasar TensorFlow sampai membuat sebuah neural networks sendiri.

Rating untuk pemrograman: 

Dukungan

•  Ada forum untuk diskusi dan isinya cukup aktif. Namun partisipasi mentornya agak kurang. Ada pertanyaan yang berhari-hari tidak dijawab.

Rating untuk dukungan: 

Kesimpulan

Deep learning adalah kemajuan utama dari machine learning dalam satu dekade terakhir ini dan telah memicu perkembangan yang hebat di machine learning terutama di bagian supervised learning dan reinforcement learning. Dengan demikian maka deep learning adalah topik yang sangat layak untuk dipelajari di bidang machine learning.

Setelah kita belajar membuat model neural networks di kursus sebelumnya, di kursus ini kita belajar mengoptimasi aspek-aspek model kita agar lebih akurat dan lebih cepat. Ada banyak hal yang tadinya hanya kita lihat namanya (misalnya Adam optimizer, Xavier initialization) yang menjadi jelas setelah mengikuti kursus ini.

Menurut saya ini adalah kursus yang wajib untuk diikuti setelah mengikuti kursus pertama. Perpaduan isi materi dan gaya pengajaran Andrew Ng membuat kursus ini saya rekomendasikan.