This course will teach you how to build models for natural language, audio, and other sequence data. Thanks to deep learning, sequence algorithms are working far better than just two years ago, and this is enabling numerous exciting applications in speech recognition, music synthesis, chatbots, machine translation, natural language understanding, and many others. You will: - Understand how to build and train Recurrent Neural Networks (RNNs), and commonly-used variants such as GRUs and LSTMs. - Be able to apply sequence models to natural language problems, including text synthesis. - Be able to apply sequence models to audio applications, including speech recognition and music synthesis. This is the fifth and final course of the Deep Learning Specialization. deeplearning.ai is also partnering with the NVIDIA Deep Learning Institute (DLI) in Course 5, Sequence Models, to provide a programming assignment on Machine Translation with deep learning. You will have the opportunity to build a deep learning project with cutting-edge, industry-relevant content.
Sentiment Classification
Loading...
From the course by deeplearning.ai
Sequence Models
14505 ratings
From the lesson
Natural Language Processing & Word Embeddings
Natural language processing with deep learning is an important combination. Using word vector representations and embedding layers you can train recurrent neural networks with outstanding performances in a wide variety of industries. Examples of applications are sentiment analysis, named entity recognition and machine translation.
Meet the Instructors
Andrew NgCEO/Founder Landing AI; Co-founder, Coursera; Adjunct Professor, Stanford University; formerly Chief Scientist,Baidu and founding lead of Google Brain
Head Teaching Assistant - Kian KatanforooshLecturer of Computer Science at Stanford University, deeplearning.ai, Ecole CentraleSupelec
Teaching Assistant - Younes Bensouda MourriMathematical & Computational Sciences, Stanford University, deeplearning.ai
Computer Science
Duygu sınıflandırması, bir metin parçasına bakarak
insanların bu konuştukları konuyu
beğenip beğenmediklerini anlama görevidir.
Bu, NLP'de en önemli yapı taşlarından bir tanesidir ve bir çok uygulamada kullanılmaktadır.
Duygu sınıflandırmasının en zorlu kısımlarından bir tanesi,
bunun için devasa bir etiket eğitim setine sahip olma ihtimalinizdir.
Ancak kelime gömme sayesinde,
başarılı duygu sınıflandırmaları oluşturabilirsiniz.
Küçük ebatlı etiket eğitim setlerinde bile...
Bunu nasıl yapabileceğinizi görelim.
Şimdi, duygu sınıflandırma problemi ile ilgili bir örnek göreceksiniz.
X girişi bir metin parçası olup, öngörmek istediğiniz Y çıkışı
duygunun ne olduğudur,
yani bu bir yıldız değerlendirmesi olabilir,
diyelim ki bir restoran hakkında değerlendirme...
Bu durumda şayet birileri "The dessert is excellent" demişse ve buna dört yıldız vermişse,
"Service was quite slow" yorumu iki yıldız,
"Good for a quick meal but nothing special" yorumu üç yıldız alabilir.
Ve kaba bir yorumla,
"Completely lacking in good taste, good service, and good ambiance."
Tek yıldız alacaktır.
Bu durumda şayet bunun gibi bir etiket veri seti tabanlı X veya Y'den yönlendirilen bir sistem oluşturabilirseniz,
bu sistemi kullanarak,
örneğin çalıştırdığınız restoran için insanların ne söylediğini takip edebilirsiniz.
İnsanlar aynı zamanda sosyal medya üzerinden restoranınız hakkında mesajlar yayınlayabilirler.
Bu mesajlar Twitter veya Facebook üzerinden,
veya Instagram veya başka sosyal medya kanalları üzerinden de gönderilebilir.
Ve bir duygu sınıflandırıcınız varsa,
sadece bir metin parçasına bakarak
restoranınıza yönelik duygusal değerlendirmenin pozitif veya negatif olduğunu anlayabilirler.
Aynı zamanda, kayıt tutma imkanınız da olur.
Zaman içerisinde restoranınız iyiye mi gidiyor, kötüye mi gidiyor, bir problem var mı?
Burada karşılaşılabilecek sıkıntılardan bir tanesi,
devasa bir etiket veri setine sahip olma ihtimalinizdir.
Bu durumda duygu sınıflandırması görevi için,
eğitim setlerinin büyüklüğünün,
10,000'den belki 100,000 kelimeye kadar değişmesi sürpriz olmayacaktır.
Bazen 10,000 kelimeden daha az bir liste için bile kelime gömmeden
yardım alabilirsiniz.
Özellikle küçük bir eğitim setine sahipseniz bu bile durumu daha iyi anlamanıza yardımcı olacaktır.
Şimdi ne yapabileceğinize gelelim.
Bu videoda bir kaç farklı algoritmadan bahsedeceğiz.
İşte size basit bir duygu sınıflandırma modeli:
"Dessert is excellent" gibi bir cümleyi alabilirsiniz ve
sözlüğünüzde bu kelimeleri arayabilirsiniz.
Her zamanki gibi 10,000 kelimelik bir sözlük kullanacağız.
Ve şimdi yapacağımız sınıflandırmada bu cümle dört yıldız alacak şekilde Y çıktısını oluşturalım.
Şimdi her zamanki gibi bu dört kelime verildiğinde,
bu dört kelimeyi alıp 1 değerli vektör haline çevirebiliriz.
Bu durumda 0 8 9 2 8 mevcuttur. Bu, E gömülü matrisi ile çarpılacak 1 değerli vektördür.
E ise daha büyük metin yığınlarından öğrenme yapabilmektedir.
Gömülü halde, diyelim ki
bir milyar kelime veya yüz milyar kelimeden öğrenebilir,
ve bunu "the" kelimesi için gömülü vektörü çıkartmak üzere kullanabilir.
Sonra aynısını "dessert" için yapar,
ve aynısını "is" için, aynısını "excellent" için yapar.
Ve çalışma çok büyük bir veri seti üzerinde yapılmışsa,
mesela yüz milyar kelime üzerinde,
bu, çok fazla bilgi elde etmenizi sağlar.
Bu kelimeler az kullanılan kelimeler bile olsa, çözümünüz için uygulayabilirsiniz.
Kelimeler etiketli eğitim setinizde mevcut değilse bile işe yarayacaktır.
Sınıflandırıcı oluşturmanın yollarından bir tanesi şudur:
bu vektörleri alırsınız,
diyelim ki bunlar 300 boyutlu vektörler olsun,
ve bunları toplayabilir veya ortalamalarını alabilirsiniz.
Ve ben buraya büyük bir ortalama göstergesi koyacağım ve siz toplam veya ortalama kullanabileceksiniz.
Ve bu size 300 boyutlu bir özellik vektörü verecektir.
Bu vektör ile şapkalı Y çıkışı verecek bir softmax sınıflandırmaya geçebilirsiniz.
Ve böylece bu softmax,
bir yıldızdan beş yıldıza kadar beş olası sonuç ihtimalini verebilecektir.
Bu da Y'nin ne olduğunu tahmin etmek üzere beş olası sonucun bir karışımı olacaktır.
Burada ortalama yöntemi kullanıldığında,
bu özel algoritmanın yapacağı değerlendirmeler,
kısa veya uzun olacaktır, çünkü değerlendirme 100 kelime uzunluğunda olsa bile,
tüm bu yüz kelime için tüm özellik vektörlerinin toplamını veya ortalamasını alabilirsiniz
ve bu da size bir gösterim imkanı sağlar,
300 boyutlu özellik gösterimi...
Bunu kullanarak duygu sınıflandırmanıza geçebilirsiniz.
Yani bu ortalama metodu, yeterince iyi sonuç verecektir.
Ve yaptığı şey şudur:
Gerçekten örneğinizdeki tüm kelimelerin anlamlarının ortalamasını veya toplamını alır.
Ve bu çalışacaktır [duyulmaz].
Bu algoritma ile ilgili problemlerden bir tanesi, kelime sırasını dikkate almamasıdır.
Şu, çok negatif bir yorumdur:
"Completely lacking in good taste,
good service, and good ambiance".
Burada çok fazla "good" kelimesi mevcuttur.
Bu bayağı yüksek.
Good, good, good.
Bu durumda şayet kelime sırasını dikkate almayan bu tip bir algoritma kullanırsanız,
bu algoritma farklı kelimeler için tüm gömmelerin sadece toplamları veya ortalamalarını alıyorsa,
"good" kelimesi için
sonuç vektörünüzde bir çok temsil bulursunuz ve sınıflandırmanız, büyük olasılıkla
bu sonucu çok kaba olmasına rağmen "iyi" bir değerlendirme olarak algılayacaktır.
Bu, tek yıldızlı bir değerlendirmedir.
Burada daha karmaşık bir modelde ise,
tüm kelime gömmeleri toplamak yerine,
duygu sınıflandırması için bir RNN kullanabilirsiniz.
Şimdi ne yapabileceğinize gelelim. Şu yorumu alabilirsiniz:
"Completely lacking in good taste,
good service, and good ambiance",
ve bunların her biri için 1 değerli vektörler bulursunuz.
Ben şimdi bu 1 değerli
vektör gösterimini es geçeceğim ancak sonuç vektörlerini alacağım,
her zamanki gibi E gömme matrisi ile çarpacağım,
ve bu da bize gömme vektörlerini verecektir. Bunları sonrasında bir RNN'de kullanabileceksiniz.
Şimdi RNN'nin görevi,
şapkalı Y'yi tahmin etmenizi sağlayacak son zaman aralığının gösterimini hesaplamaktır.
Bu örnek,
geçen hafta gördüğümüz çoktan bire RNN mimarisinin bir örneğidir.
Ve bunun gibi bir algoritmayla,
kelime dizisini dikkate almak daha iyi olacaktır. Buradan "things are
lacking in good taste" yorumunun negatif bir değerlendirme,
ve "not good" yorumunun da negatif bir değerlendirme olduğunu farkedersiniz.
Bu, her şeyi bir arada büyük bir kelime vektör peltesi halinde toplayan bir önceki algoritmadan farklıdır.
Öncekinde "not good" yorumunun aslında tamamen farklı bir anlamı olan
"good" veya "lacking in good taste" yorumlarından farkı anlaşılamıyordu.
Ve böylece, bu algoritmayı oluşturmanız halinde,
çok yeterli bir duygu sınıflandırma algoritması elde etmiş olursunuz ve
kelime gömme çok büyük veri setlerinden elde edildiği için,
belki şimdi eğitim setiniz içinde göreceğiniz
yeni kelimelerin genelleştirilmesinde daha iyi bir sonuç verecektir.
Birisi şöyle bir yorum yapsa:
"Completely absent of good taste,
good service, and good ambiance" veya bunun gibi bir cümle için,
"absent" kelimesi etiket eğitim setinizde yoksa bile,
kelime gömme için kullandığınız 1 milyar veya 100 milyar kelimelik dağarcığınızda varsa
bunu halen doğru anlayacaktır ve
kelime gömme oluşturma için kullanılan eğitim setindeki kelimelerde bile daha iyi genelleştirmeler sağlanacaktır.
Bunun için kelimenin
duygu sınıflandırma problemi için özellikle sahip olduğunuz etiket eğitim setinde olmasına gerek yoktur.
Duygu sınıflandırmasını anlattık.
Umarım bu video size,
bir kelime gömme oluşturduğunuzda veya online olarak indirdiğinizde,
oldukça etkin NLP sistemlerini çabuk bir şekilde nasıl oluşturacağınıza dair fikir vermiştir.
Explore our Catalog
Join for free and get personalized recommendations, updates and offers.
Coursera provides universal access to the world’s best education,
partnering with top universities and organizations to offer courses online.
© 2019 Coursera Inc. All rights reserved.
