Download as PDF, PPTX
Uploaded byIsmail Fahmi
Jeroan Drone Emprit: NLP, Sentiment, Emotion, Bot, dan Demography Analysis
Ringkuman dokumen: Dokumen ini membahas tentang teknologi Natural Language Processing (NLP) yang digunakan untuk menganalisis bahasa alami seperti sentimen analisis, deteksi emosi, deteksi bot, dan analisis demografi. Dokumen ini juga menjelaskan arsitektur sistem dan teknologi NLP yang digunakan oleh PT Media Kernels Indonesia untuk mengembangkan produk seperti Knowledge Explorer dan Indonesia OneSearch.
Jeroan Drone Emprit: NLP, Sentiment, Emotion, Bot, dan Demography Analysis
- 1. JEROAN DRONE EMPRIT NATURALLANGUAGE PROCESSING, SENTIMENT ANALYSIS, EMOTION ANALYSIS, BOT DETECTION, DEMOGRAPHY ANALYSIS Ismail Fahmi, Ph.D. Director PT. Media Kernels Indonesia a.k.a Drone Emprit Ismail.fahmi@gmail.com WORKSHOP 21 MEI 2020
- 2.
- 3. 3 S2-S3 2003 - 2009 UNIVERSITYOF GRONINGEN NETHERLANDS
- 4.
- 5.
- 6. 6 PHP Perl Natural Language ProcessingSOLR ZendFramework Machine Learning “Moonlighting” 2009 - 2014
- 7. 2014 MEDIA KERNELS 7 NewsCrawler Twitter Crawler Twitter Streaming FB Page Crawler Data Pipeline Data SOLR Indexer 1 SOLR Indexer 2 SOLR Indexer 3 SOLR Indexer 4 Hadoop Framework Physical Hardware Insight DataIngest Management&Queue RealtimeJob Processing Google Custom Search Database Framework ScheduledJob Processing Map Reduce Sentiment Analysis Other Processings Data&Workflow Management Access Visualization Other sources Analytics UI
- 8. MEDIA KERNELS FEATURES 8 Trends DASHBOARD Comparison TopicMap NEWS PORTAL Latest News Media ANALYTICS News Sites Page Ranks Sentiment Analysis PF-Chart Engagement Exposure Retweets TOPICS Replies Most Shared URLs Most Shared Videos Topic Map Word Cloud Impact INFLUENCERS Engagement Reach Most Engaged Followers Influencer Network SNA Topic Network PR-Values Reach Hashtags Posts Bubble Map Twitter User Map DEMOGRAPHY User Locations Edit Sentiments MENTIONS Training & Learning Backtracking Compare SNA COMPARE Compare Projects Popularity vs Favorability Background Jobs Upload Report REPORTING Download Report User Management ADMIN Project Management Client Management Source Management Label and Training OPINION ANALYSIS Opinion Chart Insight Explorer
- 9.
- 10.
- 11. BASIC TEXT PROCESSING •Regular Expressions • Word Tokenization • Word Normalization and Stemming • Sentence Segmentation and Decision Trees • Part-of-speech tagging (POS Tagging) • Named Entity Recognition (NER) • Dependency Parser • Spell Checker 11
- 12.
- 13. KEMAMPUAN SPARK NLPDALAM TEXT PROCESSING 13
- 14. SPARK NLP DANSPARK ML 14
- 15.
- 16. CONTOH: NAMED ENTITYRECOGNITION 16 Inisiasi Input Text Anotasi (processing) Tipe output NER output
- 17. NLP DI DRONEEMPRIT / MEDIA KERNELS
- 18. ARSITEKTUR SISTEM Ini adalahgambaran sistem yang digunakan untuk membangun Knowledge Explorer Indonesia OneSearch (IOS). Khusus untuk IOS, sumber datanya adalah fullteks dalam bentuk teks abstrak dan file PDF dari artikel jurnal, tesis, disertasi, dll. 18
- 19. TEKNOLOGI NLP Teknologi yangdigunakan untuk mengekstrak fakta dari teks menggunakan NLP (Natural Language Processing), yang meliputi proses- proses berikut: • Segmentation • Part-Of-Speech (POS) Tagging • Automatic Term Recognition (ATR) • Named Entity Recognition (NER) • Term Relationship Extraction • Syntax Analysis (S-P-O) 19
- 20. Contoh: Unstructured Text 20 KANZPHILOSOPHIA, Volume 3, Number 2, December 2013 201 KEWALIAN DALAM TASAWUF NUSANTARA Artikel ini mendiskusikan dokrin Kewalian (al-walāyah) yang mempunyai basis yang kuat dalam al-Qur’an dan hadis dan isu ini secara sistematis dibahas melalui ajaran Ibn ‘Arabi yang kompleks. Sementara dalam kajian tasawuf di Nusantara, sebutan wali ini sudah mulai dikenal bersamaan dengan masuknya Islam ke negeri ini yang mengacu kepada dua pengertian, wali sebagai orang yang memiliki kesaktian-kesaktian (occulties) sebagai implikasi dari kekeramatan dan wali sebagai penguasa wilayah tertentu. Terlepas dari pengertian dan cakupannya, ajaran kewalian yang sesungguhnya tidak lepas dari ajaran tentang kenabian dan kerasulan yang menyiratkan pesan bahwa dunia manusia bukan hanya dunia material yang identik dengan kenikmatan hedonis, tetapi di balik dunia fi sik terdapat dunia metafi sik yang belum banyak diketahui manusia dan dari sanalah dunia fisik ini dikendalikan. Kata-kata Kunci : wali, karamah, Nur Muhammad, kewalian, kenabian, penutup para wali Fakultas Ushuluddin, UIN Syarif Hidayatullah. E-mail : yunasrilali@ymail.com
- 21. Segmentation: Paragraph 21 =====page1===== -----------par---------- KANZ PHILOSOPHIA,Volume 3, Number 2, December 2013 201 -----------par---------- KEWALIAN DALAM TASAWUF NUSANTARA -----------par---------- Artikel ini mendiskusikan dokrin Kewalian (al-walāyah) yang mempunyai basis yang kuat dalam al- Qur’an dan hadis dan isu ini secara sistematis dibahas melalui ajaran Ibn ‘Arabi yang kompleks. -----------par---------- Sementara dalam kajian tasawuf di Nusantara, sebutan wali ini sudah mulai dikenal bersamaan dengan masuknya Islam ke negeri ini yang mengacu kepada dua pengertian, wali sebagai orang yang memiliki kesaktian-kesaktian (occulties) sebagai implikasi dari kekeramatan dan wali sebagai penguasa wilayah tertentu. Terlepas dari pengertian dan cakupannya, ajaran kewalian yang sesungguhnya tidak lepas dari ajaran tentang kenabian dan kerasulan yang menyiratkan pesan bahwa dunia manusia bukan hanya dunia material yang identik dengan kenikmatan hedonis, tetapi di balik dunia fi sik terdapat dunia metafi sik yang belum banyak diketahui manusia dan dari sanalah dunia fi sik ini dikendalikan. -----------par---------- Kata-kata Kunci : wali, karamah, Nur Muhammad, kewalian, kenabian, penutup para wali 1 Fakultas Ushuluddin, UIN Syarif Hidayatullah. E-mail : yunasrilali@ymail.com
- 22. Segmentation: Sentence 22 -----------par---------- Sementara dalamkajian tasawuf di Nusantara, sebutan wali ini sudah mulai dikenal bersamaan dengan masuknya Islam ke negeri ini yang mengacu kepada dua pengertian, wali sebagai orang yang memiliki kesaktian-kesaktian (occulties) sebagai implikasi dari kekeramatan dan wali sebagai penguasa wilayah tertentu. Terlepas dari pengertian dan cakupannya, ajaran kewalian yang sesungguhnya tidak lepas dari ajaran tentang kenabian dan kerasulan yang menyiratkan pesan bahwa dunia manusia bukan hanya dunia material yang identik dengan kenikmatan hedonis, tetapi di balik dunia fisik terdapat dunia metafi sik yang belum banyak diketahui manusia dan dari sanalah dunia fisik ini dikendalikan.
- 23. Part-of-Speech Tagging 23 ----------- par---------- Sementara_SC dalam_IN kajian_NN tasawuf_VB di_IN Nusantara_NNP ,_Z sebutan_NN wali_NN ini_PR sudah_MD mulai_VB dikenal_VB bersamaan_VB dengan_IN masuknya_X Islam_NNP ke_IN negeri_NN ini_PR yang_SC mengacu_VB kepada_IN dua_CD pengertian_NN ,_Z wali_NN sebagai_IN orang_NN yang_SC memiliki_VB kesaktian- kesaktian_NN -LRB-_-LRB- occulties_FW -RRB-_-RRB- sebagai_IN implikasi_NN dari_IN kekeramatan_NN dan_CC wali_NN sebagai_IN penguasa_NN wilayah_NN tertentu_PR ._Z Terlepas_VB dari_IN pengertian_NN dan_CC cakupannya_NN ,_Z ajaran_NN kewalian_NN yang_SC sesungguhnya_RB tidak_NEG lepas_VB dari_IN ajaran_NN tentang_IN kenabian_NN dan_CC kerasulan_NN yang_SC menyiratkan_VB pesan_NN bahwa_SC dunia_NN manusia_NN bukan_NEG hanya_RB dunia_NN material_NN yang_SC identik_JJ dengan_SC kenikmatan_NN hedonis_JJ ,_Z tetapi_CC di_IN balik_NN dunia_NN fi_X sik_X terdapat_VB dunia_NN metafi_VB sik_X yang_SC belum_NEG banyak_CD diketahui_VB manusia_NN dan_CC dari_IN sanalah_NN dunia_NN fi_X sik_X ini_PR dikendalikan_VB ._Z
- 24. S-P-O TRIPLE Grafik dikanan ini adalah tree-map, dari relasi subyek, predikat, dan obyek yang berhasil diekstrak dari fullteks. Manfaat dari tree map ini adalah pengguna bisa mendapat insight dengan cepat tentang: • Aktor person, organisasi, konsep (subyek) • Aktifitas terkait dengan aktor • Obyek atau related entitis terkait aktivitas subyek. 24 S P O
- 25. CO-OCCURRENCE ANTAR KONSEP •Menampilkan aktor, lokasi, dan istilah penting yang sering muncul bersamaan (dalam kalimat atau paragraph yang sama). • Co-occurrence menjadi indikasi adanya korelasi yang kuat antar pelaku dan istilah. • Namun, jenis korelasinya apa, belum bisa dilihat di sini. 25
- 26. DIRECTED GRAPH Grafik inimenghubungkan Subyek dan Obyek yang saling berhubungan melalui predikat. Dalam grafik, predikat ditampilkan sebagai garis yang memiliki anak panah, dari subyek ke obyek. Relasi antar S dan O dalam sebuah knowledge base yang besar bisa memperlihatkan relasi dalam lingkup yang lebih besar. 26
- 27. ONTOLOGY GRAPH Ontology adalahinformasi tentang kategori dan relasi antar segala sesuatu. Ontology Graph menampilkan apakah sesuatu itu PERSON, ORG, atau konsep, dan bagaimana relasinya dengan sesuatu yang lain. 27
- 28.
- 29. USER INTERFACE Halaman mukaKnowledge Explorer IOS. • Tiap folder berisi artikel yang sudah diproses menggunakan NLP dan fact mining. • Kolom sebelah kiri untuk pencarian dan filtering. • Menu di sebelah atas untuk menampilkan jenis analisis. 29
- 30. SPO TREE REPOSITORI •Klik salah satu folder. • Analisis pertama yang ditampilkan adalah SPO Tree. • Di bagian tengah ditampilkan 30 subyek yang paling sering muncul dalam folder repositori. • Di sisi kanan ditampilkan daftar artikel, repositori, institusi, author, dll yang bisa digunakan untuk memfilter cakupan dokumen yang akan dianalisis. 30
- 31. SPO TREE: EXPLORE •Untuk melihat apa predikat dari sebuah subyek, klik subyek yang Anda ingin ketahui, lalu akan muncul daftar predikat. • Dan untuk melihat daftar obyek, klik predikat, sehingga ditampilkan SPO tree seperti di samping. • Klik obyek, maka akan tampil halaman dari dokumen yang berisi triple SPO tersebut. 31
- 32. SPO TREE DOKUMEN •Untuk melihat SPO Tree dari sebuah dokumen, klik judul dokumen di kolom sebelah kanan. • Maka grafik akan diperbarui dengan SPO yang baru. 32
- 33. SEARCH • Untuk menampilkan analisisterhadap dokumen yang mengandung kata kunci tertentu, masukkan kata kunci ke dalam kolom Cari, lalu enter. • Maka analisis akan dibatasi pada dokumen hasil pencarian saja. 33
- 34. PROXIMITY • Secara default,proximity atau cakupan pencarian dilakukan pada seluruh dokumen. • Kita bisa mengubah proximity menjadi lebih ketat, dengan memilih cakupan pada kolom ‘Di dalam’: • Dokumen • Halaman • Paragraph • Kalimat • Contoh di gambar kanan, untuk pencarian obligasi kita set proximity pada level ‘kalimat’. Artinya, SPO yg ditampilkan hanya dari kalimat yang mengandung kata kunci saja. 34
- 35. FILTER SPO • FilterSubyek, Predikat, dan Obyek berguna untuk menampilkan relasi SPO yang mengandung kata kunci dari kolom yang terkait. • Contoh, pada kata kunci obligasi di samping, kita ingin melihat semua subyek yang mengandung kata kunci ‘investor’. 35
- 36. CO-OCCURRENCE • Klik menu‘Co-occurrence’, maka akan ditampilkan network graph dari konsep-konsep yang sering muncul bersamaan dalam paragraph. • Contoh untuk kata kunci ‘obligasi’, gambar di samping memperlihatkan bagaimana ’perusahaan’ sering ditemukan dengan konsep lain seperti Investor, struktur modal, pasar modal, dll. 36
- 37. CLUSTERING • Pilih modeClustering yang ingin digunakan. Ada beberapa pilihan: • Tanpa cluster • Institusi • Repositori • Dokumen • Dalam contoh di sampingkita mengelompokkan cooccurrence untuk kata kunci ‘obligasi’ berdasarkan Dokumen. Maksimal kita bisa lihat 5 item dalam satu perbandingan. • Dari clusterin ini, kita bisa lihat dan bandingkan konsep2 utama yang sering muncul bersamaan dalam dokumen. 37
- 38. NETWORK GRAPH • Klikmenu ‘Network Graph’, dan akan ditampilkan relasi antara Subyek dan Object dalam triple yang berhasil diekstrak dari dokumen. • Predikat tidak ditampilkan, dan ditunjukkan sebagai garis penghubung saja. • Pada gambar di samping, kita lihat Network Graph dari dokumen yang mengandung kata kunci ‘obligasi’. • Tampak mana subyek atau obyek yang paling dominan dalam dokumen. 38
- 39. NETWORK ACTIVITY GRAPH •Klik menu ‘Network Activity Graph’, maka akan ditampilkan relasi antara Subyek, Predikat, dan Obyek, yang masing- masing sebegai node. • Contoh di samping adalah Activity graph dari triples yg ditemukan dalam dokumen yang mengandung kata kunci ‘obligasi’. 39
- 40.
- 41.
- 42.
- 43.
- 44. Sentiment Analysis 44 Netral ? MENTIONS Untuk HakimCepi Iskandar
- 45.
- 46. Evaluasi 46 http://www.sciencedirect.com/science/article/pii/S2090447914000550 ”one model forall” tidak bisa memberi label yang tepat untuk setiap subyek. Lexicon base tergantung dari keberadaan kata dalam kamus sentimen, tidak bisa memberi label yang tepat untuk subyek yang berbeda.
- 47.
- 48. Sentiment Analysis: DroneEmprit 48 Adaptive Multiple Models
- 49.
- 50. EDIT SENTIMENT LABEL(DEA) 50
- 51.
- 52.
- 53.
- 54. PERSEPSI: PEMERINTAH VSPUBLIK 54
- 55. Plutchik’s Wheel ofEmotions 55 https://www.6seconds.org/2017/04/27/plu tchiks-model-of-emotions/
- 56. LEXICON BASED ANALYSIS •JOY • senang, bahagia, suka, seneng, hepi, menyenangkan, happy, menggembirakan, gembira, fun, sukacita, riang, ceria, … • TRUST • FEAR • SURPRISE • SADNESS • DISGUST • ANGER • ANTICIPATION 56
- 57. EMOTION ANALYSIS DIDEA 57
- 58.
- 59.
- 60.
- 61.
- 62. DEMOGRAPHY ANALYSIS: DEA •Fitur ini sudah 80% dikembangkan, dan dalam waktu dekat akan ditambahkan ke delam dashboard Drone Emprit Academic. 62
- 63.
- 64. BOT ANALYSIS DIDEA 64
- 65. METODE 65 Botometer Profile + 200twits Bot scores https://rapidapi.com/OSoMe/api/botometer API
- 66. HOW IT WORKS •Botometer is a machine learning algorithm trained to classify an account as bot or human based on tens of thousands of labeled examples. • When you check an account, you fetches its public profile and hundreds of its public tweets and mentions using the Twitter API. • This data is passed to the Botometer API, which extracts about 1,200 features to characterize the account's profile, friends, social network structure, temporal activity patterns, language, and sentiment. • Finally, the features are used by various machine learning models to compute the bot scores. 66
- 67. VISUALISASI HASIL BOTANALYSIS 67 HUMAN CYBORG ROBOT
- 68.
- 69.
- 70. DRONE EMPRIT ACADEMIC FREESOCIAL MEDIA (TWITTER) DATA ANALYTICS 70
- 71. JOIN DRONE EMPRITACADEMIC https://dea.uii.ac.id 71
- 72. HOW IT WORKS 72 STEPS: •Registration • Propose keywords • Analysis and publication Dashboard Access REQUIREMENTS: • Publish their analysis for public using any medium. USERS • Students • Researchers • Lecturers • Journalists • Blogger • Hoax buster Admin
- 73. TOPICS BASED ONSDGs (Sustainable Development Goals) 73
- 74. DRONE EMPRIT ACADEMICDASHBOARD 74 Saat ini ada 285 project
- 75. ANGGOTA DEA 75 69 MEMBER 250MEMBER 240 MEMBER 559 MEMBER
- 76.
- 77.