INTEGRASI DATA (DATA INTEGRATION)

PENDAHULUAN

Banyak database, khususnya database tingkat perusahaan, dibuat dengan menggabungkan data dari sumber data internal dan eksternal yang sudah ada, memungkinkan juga dengan data baru untuk mendukung aplikasi baru. Hampir semua organisasi memiliki database yang berbeda-beda untuk tujuan yang berbeda pula.

Penerapan database pada perusahaan misalnya beberapa untuk proses transaksi dalam bagian yang berbeda dari perusahaan (contohnya: perencanaan produksi dan kontrol, dan memasukkan order/pesanan); beberapa untuk kepentingan lokal, taktis, atau pembuatan keputusan strategis (contohnya: kalkulasi harga produk dan ramalan penjualan); dan beberapa untuk koordinasi perusahaan luas dan membuat keputusan (contohnya: untuk manajemen hubungan dengan konsumen dan manajemen rangkaian persediaan). Organisasi-organisasi giat bekerja untuk memecahkan gudang/sumber data, namun membolehkan beberapa tingkat untuk otonomi lokal. Untuk mencapai koordinasi ini, disaat yang sama data harus diintegrasi melalui sumber data yang berbeda.

Tidak mengapa anda mengatakan tidak bisa menghindari berhubungan dengan integrasi data. Sebagai database profesional atau bahkan pengguna dari database yang dibuat dari sumber data lain yang sudah ada, disana banyak konsep integrasi data yang harus anda pahami untuk mengerjakan pekerjaan anda atau untuk memahami masalah yang mungkin akan anda hadapi. Inilah tujuan dari bagian selanjutnya pada bab ini.

Penggudangan data membuat data disimpan untuk mendukung pembuatan keputusan dan inteligensi bisnis. Kita akan meninjau dalam bagian selanjutnya bagaimana data dibawa bersama melalui proses extract-transform-load (ETL): ekstrak-perubahan-pemuatan, yang disebut di bab 11 sebagai lapisan data yang digabungkan dari pendekatan penggudangan data menjadi integrasi data. Tapi sebelum kita menggali lebih detail ke dalam pendekatan ini, sangat membantu untuk meninjau dua pendekatan umum lainnya (tidak termasuk ETL) yang bisa digunakan untuk integrasi data, masing-masing memiliki tujuan berbeda dan masing-masing pendekatan ideal dibawah lingkungan yang berbeda.


PEMBAHASAN

Integrasi data merupakan proses mengkombinasikan dua atau lebih set data agar mempermudah dalam berbagi dan analisis, dalam rangka mendukung manajemen informasi di dalam sebuah lingkungan kerja. Integrasi data menggabungkan data dari berbagai sumber database yang berbeda ke dalam sebuah penyimpanan seperti gudang data (data warehouse).
Alasan perlunya dilakukan integrasi data adalah:

• Data yang sama (misalnya: data penduduk) dapat dipakai bersama antar bagian organisasi (antar instansi).

• Data suatu instansi dapat dipakai bersama oleh instansi-instansi lain yang memerlukan (tidak perlu ada duplikasi data dalam suatu lingkungan organisasi).

• Meskipun fokus integrasi adalah data, tapi perlu juga integrasi hal-hal lain yang terkait.

• Integrasi data perlu dilakukan secara cermat karena kesalahan pada integrasi data bisa menghasilkan ouput/keluaran yang menyimpang dan bahkan menyesatkan pengambilan keputusan nantinya.

Syarat integrasi data dapat dipenuhi dengan berbagai cara seperti konsisten dalam penamaan variabel, konsisten dalam ukuran variabel, konsisten dalam struktur pengkodean dan konsisten dalam atribut fisik dari data. Masalah-masalah yang ada pada integrasi data yaitu heterogenitas data, otonomi sumber data, kebenaran dan kinerja query/permintaan.
Integrasi data membuat penyatuan pandangan dari data bisnis. Pandangan ini bisa dibuat dengan bermacam teknik, yang akan kita paparkan selanjutnya. Bagaimanapun juga, integrasi data bukanlah jalan satu-satunya untuk data bisa digabungkan melalui sebuah perusahaan. Cara lain untuk menggabungkan data adalah dengan:

• Integrasi Aplikasi (Aplication Integration)

Dicapai dengan mengkoordinasikan aliran kejadian informasi antara aplikasi bisnis (arsitektur yang berorientasi pada pelayanan dapat memfasilitasi integrasi aplikasi).

• Integrasi Proses Bisnis (Business Process Integration)

Dicapai oleh perapatan koordinasi aktivitas melalui proses bisnis (contoh: penjualan dan penagihan), jadi aplikasi dapat dibagi dan terlebih lagi integrasi aplikasi dapat terlaksana.

• Integrasi Interaksi Pengguna (User Interaction Integration)

Dicapai oleh pembuatan antar muka pengguna yang memberikan sistem data yang berbeda (contoh: menggunakan pintu keluar perusahaan untuk berinteraksi dengan data dan sistem inteligensi bisnis yang berbeda).

Pusat dari metode integrasi data adalah teknik untuk menangkap perubahan data (Changed Data Capture atau CDC). CDC merupakan teknik untuk menunjukkan data yang telah berubah sejak terakhir aktivitas integrasi data. Jadi hanya data yang telah berubah yang butuh direfres (penyegaran) oleh metode integrasi. Data yang berubah dapat diidentifikasi oleh tanda atau tanggal dari update/perubahaan terakhir. Alternatif lain, catatan transaksi dapat dianalisis untuk melihat data yang telah diperbarui.

Tiga teknik bentuk blok bangunan pendekatan integrasi data yaitu: konsolidasi/penggabungan data, federasi/persekutuan data, dan penyebaran data. Penggabungan data telah diberikan contohnya oleh proses ETL yang digunakan untuk penggudangan data. Kita sediakan bagian selanjutnya dari bab ini yaitu pada penjelasan lebih lanjut dari pendekatan ini. Dua pendekatan lainnya ditinjau sebagai berikut ini.


Federasi/Persekutuan Data (Data Federation)

Federasi data menyediakan pandangan nyata dari data yang terintegrasi (seperti jika semua dalam satu database) tanpa membawa semua data menjadi satu bentuk, sentralisasi database. Federasi data merupakan suatu teknik untuk integrasi data yang menyediakan tampilan sesungguhnya dari data terpadu tanpa membuat satu database terpusat yang sebenarnya. Ketika suatu aplikasi menginginkan data, mesin federasi menerima data yang relevan dari sumber yang aktual (dalam waktu nyata) dan mengirim hasilnya ke aplikasi yang meminta (sehingga terlihat seperti mesin federasi suatu database untuk aplikasi yang meminta). Transformasi data telah selesai secara dinamis seperti yang dibutuhkan. Integrasi Informasi perusahaan (Enterprise Information Integration atau EII) adalah satu syarat yang biasa digunakan untuk masuk ke pendekatan federasi data. XML (Extensible Markup Language) sering digunakan sebagai sarana untuk mentransfer data dan metadata antara sumber data dan server aplikasi.

Keuntungan utama dari pendekatan federasi adalah akses pada data yang sedang berlangsung (tidak ada penundaan karena jarangnya refres/penyegaran dari gabungan data yang tersimpan). Keuntungan lainnya adalah pendekatan ini menyembunyikan detail dari aplikasi lain dan bagaimana data disimpan didalamnya dengan memberikan query/permintaan atau aplikasi. Tetapi, hal ini memberatkan data dalam jumlah besar atau aplikasi yang membutuhkan aktivitas integrasi data yang terus menerus. Federasi membutuhkan beberapa bentuk dari distribusi query/permintaan untuk diciptakan dan dijalankan, tetapi teknologi EII akan menyembunyikan ini dari penulis query/permintaan atau pengembang aplikasi. Federasi bekerja paling baik untuk aplikasi query/permintaan dan laporan (hanya baca), dan ketika keamanan dari data yang bisa dikonsentrasikan pada sumber data dalam keadaan sangat penting. Pendekatan federasi juga digunakan sebagai teknik pembatas-berhenti sampai database yang terintegrasi dan aplikasi yang lebih kuat bisa dibuat.


Penyebaran Data (Data Propagation)

Pendekatan ini menduplikat data melalui database, biasanya dengan penundaan yang mendekati waktu sebenarnya. Data didorong untuk menduplikat tempat ketika update/perubahan berlangsung (yang disebut penyebaran event-driven: jalan-kejadian). Perubahan ini bisa diselaraskan/sinkron atau tidak diselaraskan/tidak sinkron, yang memisahkan update/perubahan ke salinan yang jauh. Teknik Integrasi aplikasi perusahaan (Enterprise Application Integration atau EAI) dan Replikasi Data Perusahaan (Enterprise Data Replication atau EDR) digunakan untuk penyebaran data.

Keuntungan utama dari pendekatan penyebaran data pada integrasi data adalah mendekati waktu nyata/sebenarnya menyelesaikan perubahan data melalui organisasi. Teknologi yang spesial sangat dibutuhkan untuk penyebaran data agar mencapai performa tinggi dan untuk mengatasi update/perubahan yang terus menerus. Waktu nyata aplikasi penggudangan data, memerlukan penyebaran data (yang sering disebut “aliran produksi” dalam penggudangan data).


Manajemen Master Data

Walaupun beberapa aplikasi membutuhkan pandangan yang terintegrasi dari semua data perusahaan, kategori data tertentu diterangkan lebih sering melalui perusahaan dalam sistem operasional dan analisa. Hampir semua sistem informasi dan database umumnya mengarah pada subyek area dari data (orang, benda, tempat) dan seringkali menambahkan data tadi dengan data lokal (transaksi) yang relevan hanya pada aplikasi atau database itu saja. Master data (kadang disebut sumber/referensi data) adalah sesuatu/entitas yang kuat di dalam diagram E-R (Entity-Relationship). Semua aplikasi yang menggunakan data umum dari area-area ini, seperti konsumen, produk, pegawai, tagihan/faktur, dan fasilitas harus mengarah pada harga-harga/nilai-nilai yang sama atau bagian lain dari organisasi tidak dapat berhubungan satu sama lain tanpa kesalahan/kekacauan. Manajemen Master Data (Master Data Management atau MDM) mengarah pada disiplin, teknologi, dan metode untuk memastikan nilai, maksud, dan kualitas dari sumber/referensi data dengan dan melalui berbagai subyek area (White dan Imhoff, 2006). MDM memastikan bahwa setiap orang mengetahui deskripsi yang ada dari produk, gaji yang ada dari pegawai, dan alamat tagihan yang ada untuk konsumen. Master data dapat menjadi simpel sebagai daftar yang diterima seperti nama kota dan singkatan. MDM tidak mengalamatkan data transaksi yang terbagi, seperti pembelian konsumen.

Satu sistem sumber umumnya mengandung “catatan penting” dari seluruh fakta relevan mengenai subyek data. Contohnya, master data konsumen mungkin terintegrasi dari manajemen hubungan konsumen, tagihan, ERP (Enterprise Resource Planning), dan sumber-sumber data pembelian. MDM menentukan sumber terbaik dari setiap satuan data (contoh: alamat atau nama konsumen) dan memastikan bahwa semua aplikasi bersumber dari “catatan penting” yang sesungguhnya. MDM juga menyediakan analisis dan layanan laporan untuk menginformasikan manajer kualitas data tentang kualitas dari master data melalui database (contohnya: persentase dari data kota yang tersimpan di masing-masing database yang memenuhi nilai-nilai master kota).

MDM menjadi makin umum karena gabungan dan akuisisi yang aktif dan untuk memenuhi peraturan, seperti penetapan Sarbanes-Oxley (Sarbanes-Oxley adalah hukum federal Amerika Serikat yang ditetapkan pada 30 Juli 2002. Perundang-undangan ini menetapkan suatu standar baru dan lebih baik bagi semua dewan dan manajemen perusahaan publik serta kantor akuntan publik walaupun tidak berlaku bagi perusahaan tertutup. Akta ini terdiri dari 11 judul atau bagian yang menetapkan hal-hal mulai dari tanggung jawab tambahan dewan perusahaan hingga hukuman pidana). Banyak vendor (konsultan dan penyuplai teknologi) yang ada untuk menyediakan pendekatan dan teknologi MDM.

Ada tiga arsitektur terkenal untuk manajemen master data yaitu: register (registry) identitas, pusat (hub) integrasi, dan tetap (persistent). Di dalam pendekatan register identitas, master data masih dalam sistem sumbernya, dan aplikasi-aplikasi yang mengacu pada register untuk menentukan bagian mana yang disetujui dari keberadaan beberapa sumber data (seperti alamat konsumen). Register membantu masing-masing sistem mencocokkan catatan utamanya dengan catatan utama yang cocok di sistem sumber yang lain dengan menggunakan identitas global untuk setiap instansi dari subyek area. Register menjaga daftar lengkap dari semua elemen master data dan mengetahui sistem sumber mana yang dapat diakses untuk nilai yang terbaik untuk setiap atribut. Jadi, sebuah aplikasi dibolehkan mengakses beberapa database untuk menerima semua data yang dibutuhkannya, dan database mengizinkan lebih banyak aplikasi untuk mengaksesnya. Ini sama seperti gaya federasi pada integrasi data.

Dalam pendekatan pusat integrasi, perubahan data disiarkan (khususnya bersifat asinkron) melalui layanan pusat untuk semua database yang berlangganan/berhubungan. Data yang berlebihan (redundant) di simpan, tapi ada mekanisme-mekanisme untuk memastikan kekonsistenan, akan tetapi setiap aplikasi tidak harus mengumpulkan dan menjaga semua data yang dibutuhkannya. Ketika pusat integrasi ini dibuat, ia bertindak seperti bentuk penyebaran integrasi data. Tetapi dalam beberapa kasus, pusat penyimpanan master data juga dibuat untuk beberapa master data, jadi mungkin ini adalah kombinasi dari penyebaran dan penggabungan. Bagaimanapun juga, bahkan dengan penggabungan, sistem pencatat atau pemasukan (sistem transaksi yang didistribusikan) masih mengatur databasenya sendiri termasuk data lokal dan data yang disebarkan sesuai yang mereka butuhkan untuk hampir seluruh proses.

Dalam pendekatan tetap, satu catatan gabungan diatur dan semua aplikasi menggambarkan satu “catatan penting” aktual untuk data umum. Jadi, pekerjaan cukup penting untuk mendorong semua data yang ditangkap dalam setiap aplikasi kepada catatan yang tetap yang menyebabkan hal itu mengandung nilai-nilai yang baru dan menuju pada catatan penting ketika sistem manapun membutuhkan data umum. Ada kemungkinan terjadi kelebihan (redundancy) data dengan pendekatan yang tetap karena setiap database aplikasi bisa juga mengatur versi lokal dari elemen-elemen data dalam keleluasaannya, bahkan mengatur dalam tabel penggabungan yang tetap. Ini adalah pendekatan penggabungan integrasi data murni untuk master data.
Penting untuk menegaskan bahwa manajemen master data adalah bagian dari integrasi data karena hanya master data yang diintegrasikan. Master data tidak hanya merupakan bagian dari tabel pada setiap database (tabel untuk subyek besar dari pelanggan, produk, fasilitas, karyawan/pegawai, dan lain-lain) tetapi hanya elemen-elemen data itu yang terbagi melalui perusahaan. Data yang hanya untuk penggunaan lokal dan data yang harus diamankan oleh sistem lokal, tidak termasuk dari arsitektur integrasi data bahkan untuk catatan master data.

Ada beberapa bentuk spesialisasi dari MDM. Satu yang paling didiskusikan adalah Integrasi Data Konsumen (Costumer Data Integration atau CDI), yang mana MDM hanya fokus pada data konsumen (Dyche dan Levy, 2006). Selain itu adalah Integrasi Data Produk (Product Data Integration atau PDI). Bentuk apapun dari MDM tidak dimaksudkan untuk menggantikan gudang data, terutama karena hanya master data dan biasanya hanya master data yang sedang berjalan yang diintegrasi, dimana gudang data membutuhkan pandangan asal usul dari master dan transaksi data. Tetapi sebuah gudang data, bisa jadi (dan sering kali) salah satu dari sistem yang menggunakan master data, apakah sebagai sumber untuk menyuplai gudang atau sebagai perluasan dari gudang untuk hampir setiap data ketika pengguna gudang ingin masuk lewat sumber data. MDM melakukan pembersihan data, seperti apa yang dilakukan dengan penggudangan data. Dengan alasan ini, MDM juga bukan sebuah tempat penyimpanan data operasional (lihat bab 11 untuk deskripsi dari sebuah ODS). MDM juga dipertimbangkan oleh banyak orang sebagai bagian dari infrastruktur data dari organisasi, dimana sebuah ODS (Operational Data Store) dan bahkan penggudangan data, dianggap sebagai landasan aplikasi.

Sebuah model data untuk MDM secara nyata benar-benar simpel. Masing-masing subyek area cirinya dikelilingi oleh MDM karena disana tidak ada data transaksi yang terhubung dengan kategori master yang berbeda. Masing-masing tabel master data intinya adalah sebuah file datar (flat file), bahkan tanpa hubungan hirarki. MDM dengan tegas mengambil satu pandangan dari data tentang setiap instansi dari setiap tipe master data. Karena master data adalah “catatan penting”, tidak ada satupun aplikasi yang memiliki master data. Agaknya, master data adalah benar-benar aset perusahaan, dan manajer bisnis harus mengambil tanggung jawab untuk kualitas master data. Pelayanan data dan pemerintahan data yang kuat sangat penting sekali untuk sebuah program MDM menjadi efektif.