Belajar Dasar Natural Language Processing (NLP) pakai Python: Kenalan dengan NLTK
Halo semuanya! Buat kalian yang lagi mendalami dunia Machine Learning, pasti udah nggak asing lagi dong sama yang namanya NLP atau Natural Language Processing. Singkatnya, NLP ini adalah cara kita mengajari komputer untuk memahami bahasa manusia.
Di sela-sela kesibukan kuliah Teknik Informatika dan ngerjain project kampus, aku mau share sedikit pengalaman aku belajar dasar-dasar NLP menggunakan Python dan library andalan sejuta umat: NLTK (Natural Language Toolkit).
Yuk, kita bedah satu kalimat sederhana ini:
"Saya Azalea Nishfy Nabila, saya sedang belajar Natural Language Processing menggunakan Phyton"
Gimana sih cara komputer memproses kalimat di atas? Mari kita bahas step-by-step!
1. Persiapan dan Inisialisasi
Sebelum mulai, kita wajib import library dan download beberapa modul bawaan dari NLTK.
2. Tokenisasi (Memecah Kalimat)
Komputer nggak membaca teks langsung satu kalimat panjang. Kita harus memecahnya menjadi potongan-potongan kecil yang disebut token.
['Saya', 'Azalea', 'Nishfy', 'Nabila', ',', 'saya', 'sedang', 'belajar', 'Natural', 'Language', 'Processing', 'menggunakan', 'Phyton']
3. Stop Word Removal (Membuang Kata Basa-Basi)
Dalam teks, banyak kata yang sering muncul tapi sebenarnya kurang memiliki makna inti (seperti "saya", "sedang", "dan", "di"). NLTK punya fitur untuk memfilter kata-kata ini!
Hasilnya:
Kata "Saya", "saya", dan "sedang" berhasil dibuang. Tersisa kata-kata yang punya bobot makna lebih besar.
4. Stemming & Lemmatization (Mencari Kata Dasar)
Ini bagian yang seru! Kita berusaha mengembalikan kata yang memiliki imbuhan kembali ke bentuk dasarnya.
Stemming: Memotong kata secara kasar (misal: Processing -> process).
Lemmatization: Mengubah kata menggunakan kamus bahasa agar lebih natural.
jadi, secara keseluruhan, code yg dimasukkan adalah sebagai berikut :
import nltkfrom nltk.tokenize import word_tokenizefrom nltk.corpus import stopwords # Import Sastrawi untuk bahasa Indonesiafrom Sastrawi.Stemmer.StemmerFactory import StemmerFactory
# Inisialisasi NLTKnltk.download('punkt')nltk.download('stopwords')nltk.download('punkt_tab')
text = "Saya Azalea Nishfy Nabila, saya sedang belajar Natural Language Processing menggunakan Phyton"
# Tokenisasitokens = word_tokenize(text)
# Stop word removal (Bahasa Indonesia)stop_words = set(stopwords.words('indonesian'))filtered_tokens = [word for word in tokens if word.lower() not in stop_words]
# Stemming (Menggunakan Sastrawi)factory = StemmerFactory()stemmer = factory.create_stemmer()
# Melakukan stemming pada setiap kata yang sudah difilterstemmed_words = [stemmer.stem(word) for word in filtered_tokens]
# Menampilkan hasilprint("Tokenisasi:", tokens)print("Tanpa Stop Words:", filtered_tokens)print("Stemming (Sastrawi):", stemmed_words)dan outputnya adalah





Komentar
Posting Komentar