If you want to break into cutting-edge AI, this course will help you do so. Deep learning engineers are highly sought after, and mastering deep learning will give you numerous new career opportunities. Deep learning is also a new "superpower" that will let you build AI systems that just weren't possible a few years ago. In this course, you will learn the foundations of deep learning. When you finish this class, you will: - Understand the major technology trends driving Deep Learning - Be able to build, train and apply fully connected deep neural networks - Know how to implement efficient (vectorized) neural networks - Understand the key parameters in a neural network's architecture This course also teaches you how Deep Learning actually works, rather than presenting only a cursory or surface-level description. So after completing it, you will be able to apply deep learning to a your own applications. If you are looking for a job in AI, after this course you will also be able to answer basic interview questions. This is the first course of the Deep Learning Specialization.
Derivatives with a Computation Graph
Loading...
From the course by deeplearning.ai
Neural Networks and Deep Learning
54062 ratings
From the lesson
Neural Networks Basics
Learn to set up a machine learning problem with a neural network mindset. Learn to use vectorization to speed up your models.
Meet the Instructors
Andrew NgCEO/Founder Landing AI; Co-founder, Coursera; Adjunct Professor, Stanford University; formerly Chief Scientist,Baidu and founding lead of Google Brain
Head Teaching Assistant - Kian KatanforooshLecturer of Computer Science at Stanford University, deeplearning.ai, Ecole CentraleSupelec
Teaching Assistant - Younes Bensouda MourriMathematical & Computational Sciences, Stanford University, deeplearning.ai
Computer Science
Son videoda,
Bır hesaplama grafiği kullanarak, bir fonksiyonu hesaplama örneği üzerinde çalıştık.
Şimdi, bu hesaplama grafiğinin temiz bir versiyonunu ele alalım.
Ve bu j fonksiyonun türev hesaplamalarını çözmek için size hesaplama grafiğini
nasıl kullanacağınızı gösterelim.
Burada gördüğünüz bir hesaplama grafiği
j'nin v'ye göre türevini almak istediğinizi var sayalım.
Peki bu nedir?
Şunu ifade eder, eğer bu v değerini alsaydık ve
değerini biraz değiştirseydik, J'nin değeri ne kadar değişirdi?
j, v'nin 3 katı olarak tanımlanmıştır.
Ve şu anda, v = 11.
Eğer, v'yi çok az arttırarak 11.001 yaptığımızda,
v'nin 3 katı ve şu anki değeri 33 olan j,
33.003'e artacaktır.
Burada, v'yi 0.001 arttırdık.
Ve bunun net sonucu, j'nin bunun 3 katı kadar artmasıdır.
Bu yüzden, j'nin v'ye göre türevi 3'e eşittir.
Çünkü, j'deki artış, v'deki artışın 3 katıdır.
Aslında, bu örnek önceki videoda gördüğümüz
f(a) = 3a örneğine oldukça benzer.
Daha sonra, bu df(a)/da türevini daha özensiz ve
basit olan df/da = 3 olarak gösterdik.
Oradakinin aksine, burada elimizde j = 3v var,
bu yüzden dj/dv = 3.
burada, j önceki örnekteki f rolünü,
v ise a'nın rolünü almaktadır.
Geri yayılım terminolojisinde gördüğümüz şudur.
Eğer bu son çıkış değişkeninin türevini hesaplamak isterseniz,
genellikle en çok önemsenen değişkendir,
v'ye göre türevini aldıktan sonra bir adım geri yayılım yaparız.
Bunu bir adım geriye gitme olarak adlandırırız.
Şimdi başka bir örneğe bakalım.
dj/da nedir?
Başka deyişle, eğer a'nın değerini arttırırsak, j'nin değeri nasıl etkilenir?
Örnek üzerinden gidersek, a = 5'dir.
a'yi 5.001'e arttıralım.
Bunun net etkisi şöyledir, v = a + u ve değeri 11'di.
bu değer 11.001'e artar.
Ve yukarıda görüldüğü gibi,
J değeri 33.003'e artar.
Gördüğümüz şudur, a'yı 0.001 arttırırsanız j 0.003 artar.
a'yı arttırmaktan kastettiğim, yeni değeri alıp
5'in yerine koymanız gerekir.
Sonra, a'daki değişim hesaplama grafiğinin sağına doğru yayılacak
böylece j değerini 33.003 yaparak sonuçlanacak.
j'deki artış a'dakinin 3 katı.
Bu yüzden, türev 3'dür.
Bunu biraz daha irdelersek şunu diyebiliriz: Eğer a'yı değiştirirsek
bu v'yi değiştirir.
Ve v'yi değiştirerek, j'yi değiştirmiş oluruz.
a'nın değerini biraz itelediğimizden dolayı
J arttığında değerinde olan net değişim şöyledir,
İlk olarak, a'yı değiştirerek, v'yi arttırdık
Peki, v ne kadar arttı?
v'nin artışı dv/da tarafından belirlenir.
Ve sonra, v'deki değişimde j'nin değerinin artmasına ayrıca sebep olur
Cebir'de buna zincir kuralı denir. eğer a v'yi etkilerse, oda j'yi etkiler
a değiştiğinde j'deki değişim miktarı da,
a değiştiğinde v'deki değişim ile
v değiştiğinde, j'deki değişimin ÇARPIMIDIR.
Tekrar, buna Cebir'de zincir kuralı denir.
Bu hesaplamadan gördüğümüz, eğer a 0.001 artarsa
v aynı miktarda değişir.
Böylece dv/da = 1
Aslında, daha önce hesapladıklarımızı yerine koyarsak.
dv/dJ = 3 ve dv/da = 1.
Bu ikisinin çarpımı, 3 çarpı 1
bize doğru değer olan dJ/da = 3'ü verir.
Bu küçük görsel bize, dj/dv yi hesaplayarak,
"bu değişkene göre türevidir", dj/da'i hesaplamaya
nasıl yardımcı olduğunu gösterir.
Buda, geri doğru hesaplamanın diğer bir adımıdır.
Size bir adet daha yeni simgesel kural tanıtmak istiyorum.
Geri yayılım metodunu uygulamak için kod yazdığınızda,
genellikle sizin için önemli olan bir son çıkış değişkeni olacak.
bir son çıkış değişkeni, sizin için önemli olan veya iyilemek istediğiniz.
Bu örnekte, çıkış değişkeni j'dir.
Hesaplama grafiğindeki son düğüm.
Bir çok hesaplama yapılarak, bu çıkış değişkeninin
türevi hesaplanmaya çalışılacak.
Bu çıkış değişkeninin diğer değişkenlere göre d'si (türevi).
buna dvar deriz.
Bu son çıkış değişkeninin türevini almak için çok fazla hesaplama yapılacak
örnekteki J için bu, farklı ara değişkenler olan
a, b, c, u yada v.
Bunu bir yazılımda uyguladığınızda, bu değişkeni ne olarak adlandırırsınız?
Python'da yapabileceğiniz bir şey,
buna, dFinalOurputVar/dvar gibi çok uzun bir değişken ismi verebilirsiniz.
Ama bu uzun bir değişken ismi.
Sanırım, buna djdvar diyebilirsiniz.
her zaman dj yani bu son çıkış değişkeninin
türevlerini aldığımızdan, yeni bir notasyon sunacağım.
Yazdığınız kodda bu şeyi hesaplarken
dvar değişken ismini kullanacağız, bu niceliği göstermek için.
Yani kodda olan dvar, j gibi, önemsediğiniz
çıkış değişkeninin türevini temsil edecek.
Bazen kodunuzda hesapladığınız, farklı ara niceliklere göre
olan yitim "l"
Örneğin bu kısmında, bu değeri simgelemek için kodumuzda dv kullanırız.
Yani dv 3'e eşit olur.
Kodunuzda bunu "da" olarak gösterirsiniz.
ve değerinin 3 olduğunu daha önce bulmuştuk.
Böylece, bu hesaplama grafiği ile geri yayılımı kısmen yapmış olduk.
Bu örneğin kalan kısmına sonraki slaytta devam edelim.
Temizlenmiş hesaplama grafiği ile devam edelim.
Kısaca tekrar edersek, şuana kadar yaptığımız
buraya geriye doğru gittik ve dv = 3 bulduk.
tekrar, dv'nin anlamı sadece değişken ismi,
kodun içinde gerçekte dj/dv
da = 3 olduğunu bulduk
tekrar, da kodunuzdaki değişken ismi, gerçekte dj/da.
Ve bu iki ayrıta geriye doğru nasıl gideceğimizi gördük.
Şimdi, türevleri hesaplamaya devam edelim.
u'nun değerine bakalım.
dj/du kaçtır?
daha önce yaptığımıza benzer bir hesaplama ile,
u=6 ile başlarız
Eğer, u'yu 6.001 e arttırırsak, sonra v,
değeri 11'den 11.001'e artar.
Ve j ise 33'ten 33.003'e gider.
j'deki artış 3x olduğundan, türev 3'tür.
Ve u'nun analizi, a için yaptığımıza çok benzer.
Aslında bu dJ/dv çarpı dv/du olarak hesaplanır,
bu zaten hesapladığımız gibi 3.
ve bu değerinde 1 olması gerekir.
Böylece, geri yayılımda 1 adım daha ilerledik.
du'nun 3'e eşit olduğunu hesapladık.
ve du tabii ki dj/du
Şimdi, detaylı olarak son bir örnek üzerinden daha gidelim.
Peki dj/db kaçtır?
Burada, b'nin değerini değiştirebildiğimizi hayal edin.
Ve b ile ufak bir oynama yapmak istiyorsunuz. Bunun sonucunda
j'nin değerini en iyileyecek veya en küçükleyeceksiniz.
Peki, b'yi biraz değiştirdiğimizde
bu j fonksiyonunun türevi veya eğimi nedir?
Daha önce öğrendiğimiz zincir kuralını kullanarak,
bunu iki şeyin çarpımı olarak yazabiliriz.
dJ/du çarpı du/db.
Bunun nedeni, eğer b'de ufak bir değişiklik yaparsanız
b=3'den 3.001 olsun.
bu değişiklik j'yi etkilediği gibi u'yu da etkileyecek.
bu durum u'yu ne kadar etkiler.
u, b çarpı c olarak tanımlanmıştır.
b = 3 iken 6 olan değer
şimdi 6.002 oldu.
çünkü örneğimizde c=2.
Bu bize du/db = 2 olduğunu söyler.
Çünkü b'yi 0.001 arttırdığımızda u iki kat artar.
Bu yüzden. du/db 2'dir.
Ve şimdi, u'nun b arttıkça, artışının iki katı kadar artacağını biliyoruz.
Peki, dj/du kaçtır?
Bunu zaten hesaplamıştık ve 3'e eşitti.
Bu ikisini çarparak, dJ/db = 6 olduğunu buluruz.
Burada, argümanın ikinci kısmı için akıl yürütürsek,
u'yu 0.002 arttırmak istersek, bu durum j'yi nasıl etkiler.
dj/du = 3 olduğundan, bu bize derki
u 0.002 artarsa, j bunun 3 katı kadar artar.
Bu yüzden j, 0.006 artmalı.
Bunu sağlayan unsur, dj/du = 3'tür.
Ve eğer matematiği detaylıca incelerseniz.
şunu bulacaksınız, eğer b'nin değeri 3.001 olursa
u 6.002 olur, v ise 11.002 olur.
yani bu a + u böylece 5 + u
Ve j ise, 3 çarpı v'ye eşit olduğundan,
değeri 33.006 olarak sonuçlanır.
Bu durum, dJ/db = 6'yı nasıl bulduğunuzu gösterir.
burayı doldurmak için, geriye doğru gittiğimizde, db = 6 olur.
ve db, dJ/db için Python kodu değişken ismi.
Ve son örnek üzerinden ayrıntılı bir şekilde gitmeyeceğim.
Ayrıca dc'ide hesaplamak istersek,
dj/du çarpı du/dc olduğu ortaya çıktı.
bunun sonucu 3 çarpı 3, 9'dur.
detayına girmeyeceğim.
Bu son adımdan, dc'yi elde etme imkanımız var ve 9'a eşit.
Bu videonun bu örneğinin önemli çıkarımları şöyledir,
tüm bu türevleri hesaplarken, izlenecek en verimli yol
kırmızı yolu takip ederek, sağdan sola doğru hesaplama.
Özellikle, önce v'ye göre türevi hesaplayacağız.
Ve sonra bunu kullanarak,
a'ya ve u'ya göre türevleri hesaplayacağız.
Ve sonra, u'ya göre türevi,
Örneğin buradaki ve buradaki ifadeler,
bu ifade, sırası ile b'ye göre türevi ve
c'ye göre türevi hesaplarken bize yardımcı olacak.
Bu bir hesaplama grafiğiydi ve ileri doğru veya soldan sağa hesaplar ile
iyilemek istediğimiz yitim fonksiyonunu örneğin j gibi
Ve geri doğru veya sağdan sola hesapmalar ile türevleri nasıl hesaplayacağımızı göstermektedir.
Eğer, cebir veya zincir kuralı ile ilgili bilginiz az ise,
Biliyorum bazıları çok detaylıydı ve hızlı geçtik.
Ancak tüm bu detayları takip edemediyseniz, endişe etmeyin.
Bir sonraki videoda,
bunun üzerinden lojistik regresyon'u işlerken tekrar geçeceğiz.
Ve size lojistik regresyon modelinin türev hesaplamalarını uygulamanız için
tam olarak ne yapmanız gerektiğini göstereceğim.
Explore our Catalog
Join for free and get personalized recommendations, updates and offers.
Coursera provides universal access to the world’s best education,
partnering with top universities and organizations to offer courses online.
© 2019 Coursera Inc. All rights reserved.
