DATA MINING, DATA WIREHOUSE, MIDDLEWARE

DATA MINING
Pengertian

I. Data mining didefinisikan sebagai satu set teknik yang digunakan secara otomatis untuk mengeksplorasi secara menyeluruh dan membawa ke permukaan relasi-relasi yang kompleks pada set data yang sangat besar. Set data yang dimaksud di sini adalah set data yang berbentuk tabulasi, seperti yang banyak diimplementasikan dalam teknologi manajemen basis data relasional. Akan tetapi, teknik-teknik data mining dapat juga diaplikasikan pada representasi data yang lain, seperti domain data spatial, berbasis text, dan multimedia (citra). Data mining dapat juga didefinisikan sebagai “pemodelan dan penemuan polapola yang tersembunyi dengan memanfaatkan data dalam volume yang besar”

Proses
Data mining mengacu pada proses untuk menambang (mining) pengetahuan dari sekumpulan data yang sangat besar [Jiawei, 2001]. Sebenarnya data mining merupakan suatu langkah dalam knowlegde discovery in databases (KDD). Knowledge discovery sebagai suatu proses terdiri atas pembersihan data (data cleaning), integrasi data (data integration), pemilihan data (data selection), transformasi data (data transformation), data mining, evaluasi pola (pattern evaluation) dan penyajian pengetahuan (knowledge presentation). Kerangka proses data mining yang akan dibahas tersusun atas tiga tahapan, yaitu pengumpulan data (data collection), transformasi data (data transformation), dan analisis data (data analysis) [Nilakant, 2004]. Proses tersebut diawali dengan preprocessing yang terdiri atas pengumpulan data untuk menghasilkan data mentah (raw data) yang dibutuhkan oleh data mining, yang kemudian dilanjutkan dengan transformasi data untuk mengubah data mentah menjadi format yang dapat diproses oleh kakas data mining, misalnya melalui filtrasi atau agregasi. Hasil transformasi data akan digunakan oleh analisis data untuk membangkitkan pengetahuan dengan menggunakan teknik seperti analisis statistik, machine learning, dan visualisasi informasi.




Gambar 1. Aliran informasi dalam data mining
Pada gambar 1 ditunjukkan diagram yang menggambarkan aliran informasi dalam proses data mining yang diadaptasi dari [Nilakant, 2004]. Proses data mining pada gambar tersebut ditunjukkan sebagai proses yang iteratif. Hasil evaluasi pengetahuan yang dihasilkan data mining dapat menimbulkan kebutuhan pengetahuan yang lebih lengkap, perbaikan kumpulan data (dataset) atau perubahan pada sistem.

DATA WIREHOUSE

Pengertian

II. Data Wirehouse Didefinisikan sebagai Pengumpulan data transaksi dalam suatu tempat yang disebut Data Center, adapun caraa pengumpulannya dengan cara transformasi mengunakan paket program Data Transformation System (DTS).

Data warehouse adalah relasional database yang didesain untuk proses query dan analisa Meliputi: extraction, transportation, transformation, loading solution, online analytical processing (OLAP),client analysis tool, dan aplikasi lain yang mengatur proses pengumpulan data dan mengirimkan ke business user

Data warehouse didesain untuk proses analisa data
Contoh: data penjualan pada suatu perusahaan. Dengan data warehouse maka dapat menjawab pertanyaan “siapakah customer terbesar pada akhir pada akhir tahun?”

Data warehouve vs OLTP (Online Transaction Processing)



Salah satu perbedaan utama data warehouse dengan OLTP adalah data warehouse tidak selalu dalam bentuk normal ketiga (3NF), sedangkan OLTP biasanya dalam bentuk normal ketiga (3NF)



PERBEDAAN DATA WAREHOUVE VS OLTP
I. WORKLOAD
 Data warehouse didesain untuk menampung query dalam jumlah yang besar
 OLTP hanya mendukung operasi tertentu

II. DATA MODIFICATION
 Data warehouse diupdate data secara regular (setiap minggu atau setiap hari) menggunakan teknik modifikasi data sehingga user tidak secara langsung mengupdate data warehouse
 Pada OLTP, user melakukan proses update data secara rutin dan langsung

III. SCHEMA DESIGN
 Data warehouse biasanya ternormalisai secara sebagian bahkan dalam keadaan tidak ternormalisasi
 OLTP ternormalisasi penuh untuk meningkatkan proses update/insert/delete dan meningkatkan konsistensi data

IV. TYPICAL OPERATION
 Data warehouse menjalankan query yang memproses banyak baris (ratusan atau milyaran), contoh :total penjualan semua customer pada akhir bulan
 OLTP hanya mengkases record tertentu, contoh :mencari data order untuk customer tertentu

V. HISTORICAL DATA
 Data warehouse menyimpan data selama beberapa bulan atau tahun. Hal ini mendukung proses historical analysis
 OLTP menyimpan data hanya beberapa minggu atau bulan

ARSITEKTUR DATA WAREHOUSE



End user secara langsung mengakses data dari beberapa sistem melalui data warehouse

MIDDLEWARE

Pengertian

Middleware Didefinisikan sebagai sebuah aplikasi yang secara logic berada diantara lapisan aplikasi (application layer) dan lapisan data dari sebuah arsitektur layer-layer TCP/IP [1]. Middleware bisa juga disebut protokol. Protokol komunikasi middleware mendukung layanan komunikasi aras tinggi. Pengertian yang lain yaitu :

 Software yang berfungsi sebagai lapisan konversi atau penerjemah.
 Software penghubung yang berisi sekumpulan layanan yang memungkinkan beberapa proses dapat berjalan pada satu atau lebih mesin untuk saling berinteraksi pada suatu jaringan
 Juga sebagai integrator.
 Middleware saat ini dikembangkan untuk memungkinkan satu aplikasi berkomunikasi dengan lainnya walaupun berjalan pada platform yang berbeda.
– Biasa dipakai saat bermigrasi

Contoh Middleware
 Java’s: Remote Procedure Call
 Object Management Group's: Common Object Request Broker Architecture (CORBA)
 Microsoft's COM/DCOM (Component Object Model)
– Also .NET Remoting

Layanan Middleware

Menyediakan kumpulan fungsi API (Application Programming Interfaces) yang lebih tinggi daripada API yang disediakan sistem operasi dan layanan jaringan yang memungkinkan suatu aplikasi dapat :
 Mengalokasikan suatu layanan secara transparan pada jaringan
 Menyediakan interaksi dengan aplikasi atau layanan lain
 Diperluas (dikembangkan) kapasitasnya tanpa kehilangan fungsinya.

Contoh Layanan Middleware

 Transaction Monitor
1. Produk pertama yang disebut middleware.
2. Menempati posisi antara permintaan dari program client dan database, untuk menyakinkan bahwa semua transaksi ke database terlayani dengan baik

 Messaging Middleware
1. Menyimpan data dalam suatu antrian message jika mesin tujuan sedang mati atau overloaded
2. Mungkin berisi business logic yang merutekan message ke ujuan sebenarnya dan memformat ulang data lebih tepat
3. Sama seperti sistem messaging email, kecuali messaging middleware digunakan untuk mengirim data antar aplikasi


Contoh Layanan Middleware

 Distributed Object Middleware
Contoh: RPC, CORBA dan DCOM/COM
 Middleware basis data
menyediakan antarmuka antara sebuah query dengan beberapa database yang terdistribusi
Contoh: JDBC, ODBC, dan ADO.NET
 Application Server Middleware
J2EE Application Server, Oracle Application Server