15  Representasi yang Dipelajari Mesin dan Pretrained Model

Bab-bab sebelumnya menunjukkan banyak cara mengubah data menjadi representasi. Ketika pekerjaan bergeser dari representasi yang dirancang manusia ke representasi yang dipelajari mesin dari data luas sebelum dipakai pada tugas lokal (Pan and Yang 2010), lokasi pekerjaan rekayasa fitur ikut bergeser. Sebagian pengetahuan berpindah ke encoder pratelatih. Namun, manusia tetap menentukan unit observasi, target, masukan, strategi adaptasi, pemisahan data, evaluasi, dan cara menggabungkan representasi yang dipelajari mesin dengan fitur domain. Model pratelatih mengurangi kebutuhan menulis semua fitur dari nol, tetapi memperbesar kebutuhan memilih dan mengaudit representasi yang diimpor.

Bab ini membahas spektrum adaptasi embedding, dari pembekuan hingga fine-tuning, serta penyimpanan dan pencarian embedding melalui feature bank. Evaluasi kualitas embedding per tugas dan risiko pergeseran domain (domain shift) menjadi bagian dari audit. Batas antara representasi impor pratelatih dan reduksi dimensi dari data sendiri diperjelas. Bab ini juga menguraikan penerapan deep learning pada data tabular, serta model hibrida yang menggabungkan fitur rekayasa dengan representasi pratelatih.

15.1 Embedding dan Spektrum Adaptasi

Untuk membandingkan bentuk input, bab ini memakai kembali tiga contoh dari bab sebelumnya. Pada klasifikasi SMS, satu sampel adalah pesan pendek dengan label spam atau ham. Fashion-MNIST menyatakan satu citra pakaian grayscale dengan label kelas, sedangkan Free Spoken Digit Dataset (FSDD) menyatakan satu rekaman digit lisan dengan label digit yang diucapkan. Contoh-contoh ini memperlihatkan bahwa unit yang berbeda dapat masuk ke ruang embedding melalui encoder yang berbeda.

Titik awalnya adalah embedding, yaitu vektor padat yang dipelajari model. Sebuah SMS, gambar pakaian Fashion-MNIST, klip digit lisan FSDD, node graf, atau baris tabular dapat dipetakan ke koordinat dalam ruang berdimensi ratusan atau ribuan. Koordinat tersebut muncul dari pelatihan model terhadap objective tertentu, bukan dipilih manual satu per satu.

Ketika memakai pretrained encoder, kita memiliki beberapa tingkat adaptasi. Pada frozen feature extraction, encoder dipakai apa adanya dan hanya menghasilkan fitur. Di atasnya, kita dapat melatih task head kecil. Pada partial fine-tuning, sebagian layer akhir dibuka agar menyesuaikan domain. Pada full fine-tuning, hampir semua bobot ikut dilatih. Di antara keduanya ada parameter-efficient adaptation, seperti adapter atau LoRA, yang melatih parameter tambahan kecil sambil menjaga sebagian besar bobot foundation model (Bommasani et al. 2021) tetap beku.

Satu objective umum dapat ditulis:

\[\min_{\theta,\, \phi}\ \sum_{i=1}^{N} \mathcal{L}\big(y_i,\ f_{\theta}(g_{\phi}(x_i))\big)\]

Di sini \(g_{\phi}\) adalah pretrained encoder, \(f_{\theta}\) adalah task head baru, \(x_i\) adalah input, \(y_i\) adalah target, dan \(\mathcal{L}\) adalah loss. Ketika \(\phi\) dibekukan, minimisasi hanya berjalan terhadap \(\theta\); notasi di atas menunjukkan bentuk paling umum. Spektrum adaptasi adalah kebijakan terhadap \(\phi\): dibekukan, dibuka sebagian, dijaga tetap tetapi diberi adapter kecil, atau dilatih penuh.

Gambar 15.1 memperlihatkan spektrum itu. Semakin ke kanan, semakin banyak parameter yang berubah, semakin kuat adaptasi, dan biasanya semakin tinggi kebutuhan data, compute, serta kontrol overfitting.

Figure 15.1: Spektrum adaptasi pretrained encoder

Tabel 15.1 merangkum pilihan adaptasi. Tabel ini menunjukkan seberapa jauh optimizer diizinkan mengubah pengetahuan yang sudah ada pada bobot pretrained.

Table 15.1: Spektrum adaptasi
Pendekatan Parameter yang dilatih Kebutuhan data Risiko utama Kapan dipilih
Frozen extractor Tidak ada pada encoder Rendah Underfit domain khusus Baseline cepat, data kecil, caching
Task head saja Head baru Rendah-sedang Representasi lama kurang cocok Klasifikasi sederhana di atas embedding
Partial fine-tuning Layer akhir + head Sedang Overfitting layer akhir Domain agak berbeda, data cukup
PEFTLoRA Adapter kecil atau low-rank update Sedang Desain adapter dan tuning Model besar, compute terbatas
Full fine-tuning Hampir semua bobot Tinggi Catastrophic forgetting, biaya tinggi Domain sangat berbeda, label banyak

Frozen extraction murah, mudah direproduksi, dan cocok untuk feature bank. Namun, ia dapat gagal membaca sinyal domain yang tidak ada dalam pretraining. Full fine-tuning paling fleksibel, tetapi dapat mengalami catastrophic forgetting: adaptasi agresif pada data sempit menghapus sebagian pengetahuan umum model. PEFT menjadi default praktis yang makin umum untuk model besar karena menekan jumlah parameter yang dilatih tanpa harus menyerah sepenuhnya pada adaptasi. Setelah strategi adaptasi dipilih, embedding yang dihasilkan perlu disimpan, dibandingkan, dan dipakai ulang secara konsisten.

Pendalaman

LoRA, adaptasi lewat dekomposisi peringkat rendah

LoRA membekukan matriks bobot pretrained \(W_0\) dan hanya melatih koreksi berperingkat rendah, yaitu \(h = W_0 x + BAx\), dengan \(B \in \mathbb{R}^{d \times r}\), \(A \in \mathbb{R}^{r \times k}\), dan \(r \ll \min(d, k)\). Dalam rumus tersebut, \(x\) adalah input ke layer, \(h\) adalah output, sedangkan \(A\) dan \(B\) adalah matriks kecil yang dilatih. Jumlah parameter trainable turun menjadi sebagian kecil dari bobot asli, sering di bawah beberapa persen, sambil mendekati kualitas fine-tuning penuh pada banyak tugas. Satu backbone beku juga dapat melayani beberapa tugas melalui adapter yang berbeda.

15.2 Feature Bank dan Similarity Metrics

Satu embedding sendirian belum banyak berarti. Nilainya muncul secara relasional: vektor ini dekat dengan vektor apa, jauh dari vektor apa, dan berubah bagaimana ketika query berubah. Karena itu, penyimpanan dan pencarian embedding adalah bagian dari rekayasa representasi.

Feature bank menyimpan embedding untuk SMS, citra pakaian, audio digit, produk, node graf, atau entitas lain. Saat query datang, encoder menghasilkan query vector, lalu sistem mencari tetangga terdekat. Ini mendukung semantic search, recommendation, deduplication, clustering, retrieval, dan reuse fitur untuk model hilir.

Similarity metric menentukan arti “dekat”. Cosine similarity, seperti yang dibahas pada Bab 11, membandingkan arah vektor dan relatif mengabaikan magnitudo. Dot product murah dihitung, dan jika semua vektor sudah dinormalkan L2 ke panjang satuan (unit norm), dot product setara dengan kosinus. Euclidean distance lebih relevan ketika magnitudo memang membawa makna. Karena itu, penskalaan vektor saat ingest bukan detail kecil; ia menentukan geometri index.

Kita dapat menuliskan tujuan perbandingan secara ringkas:

\[\text{sim}(\mathbf{z}_i, \mathbf{z}_j) = \cos(\mathbf{z}_i, \mathbf{z}_j)\]

Formula cosine-nya sudah diperkenalkan pada Bab 11. Di sini yang penting adalah konsistensi: semua embedding dalam satu bank harus hidup di ruang yang sama dan dibandingkan dengan aturan yang sama.

Gambar 15.2 memperlihatkan alur feature bank. Encoder menghasilkan vektor, vektor ditata skalanya, masuk ke ANN index, lalu query mengambil top-k neighbors.

Figure 15.2: Feature bank dan pencarian embedding

Pada skala besar, exact nearest-neighbor search mahal. Approximate nearest-neighbor index menukar sedikit exactness dengan kecepatan. Inverted-file partitioning membagi ruang vektor ke beberapa partisi agar pencarian tidak memeriksa semua vektor. Product quantization mengompres vektor menjadi kode yang lebih murah disimpan dan dibandingkan. Nama seperti IVF dan product quantization sering muncul dalam ekosistem FAISS.

Versioning sangat penting. Embedding dari encoder versi berbeda berada di ruang berbeda. Jika vektor lama dan baru dicampur dalam satu index, similarity dapat rusak tanpa error yang jelas. Karena itu, model version, preprocessing, pooling, metric, dan tanggal refresh harus menjadi bagian dari definisi feature bank. Similarity tetap model-defined, bukan jaminan kebenaran semantik. Karena kedekatan vektor adalah klaim model, langkah berikutnya adalah menguji apakah klaim itu berguna untuk tugas lokal.

15.3 Mengevaluasi Kualitas Embedding dan Risiko Domain Shift

Embedding yang bagus untuk satu tugas belum tentu bagus untuk tugas lain. Retrieval, clustering, classification, anomaly detection, recommendation, dan downstream prediction dapat membutuhkan geometri berbeda. Benchmark seperti MTEB menunjukkan bahwa tidak ada satu embedding model yang menang di semua keluarga tugas. Karena itu, kualitas embedding harus diukur terhadap tugas lokal.

Visualisasi seperti t-SNE atau UMAP membantu inspeksi awal. Kita dapat melihat apakah kelas terpisah, apakah ada outlier, atau apakah cluster mencerminkan domain yang masuk akal. Namun, aturan Bab 8 tetap berlaku: visualisasi bukan metric akhir. Untuk retrieval, gunakan recall@k atau ranking metric. Untuk klasifikasi, gunakan validasi task-level. Untuk clustering, gunakan evaluasi cluster yang sesuai dan interpretasi domain.

Domain shift (Quiñonero-Candela et al. 2009) adalah risiko utama pretrained representation. Jika model vision dilatih pada gambar web umum lalu dipakai pada Fashion-MNIST yang kecil, grayscale, dan sangat terstruktur, encoder mungkin tidak memberi lompatan sebesar reputasinya. Jika model speech umum dipakai pada klip digit FSDD dengan variasi speaker terbatas, ia tetap perlu diuji pada split yang benar. Kelas yang seharusnya terpisah dapat jatuh pada koordinat saling tumpang tindih. Downstream model akhirnya tidak punya sinyal diskriminatif untuk dipelajari, meskipun embedding tampak canggih.

Gambar 15.3 menunjukkan linear probing (Alain and Bengio 2017), cara sederhana untuk menguji apakah embedding space sudah membawa struktur yang berguna bagi tugas tertentu.

Figure 15.3: Linear probing untuk menguji embedding

Linear probing mengukur keterpisahan linear untuk tugas dan split tertentu. Akurasi tinggi bukan bukti kualitas umum embedding, sedangkan kebutuhan akan head nonlinear tidak otomatis berarti representasinya lemah; batas keputusan tugas mungkin memang nonlinear. Jika domain shift terlalu tajam untuk frozen extraction, naiklah ke kanan pada spektrum adaptasi Bagian 15.1: partial fine-tuning, PEFT, atau full fine-tuning. Tujuannya membentuk ulang ruang embedding agar lebih sesuai dengan distribusi target. Namun, adaptasi harus divalidasi ketat agar tidak hanya menghafal data lokal.

Setelah sistem berjalan, kualitas embedding perlu dipantau: distribusi vektor, stabilitas tetangga terdekat, atau drift metric sederhana dapat mendeteksi degradasi sebelum merusak keputusan hilir. Pergantian encoder versi atau perubahan distribusi data sama-sama dapat mengubah ruang secara diam-diam.

Embedding juga dapat mengandung spurious correlations, sensitive attributes, bahasa dominan, aksen, gaya kamera, atau artifact dataset. Dari sudut pandang Bab 9, fitur hasil model tetap harus dinilai dari availability, stability, cost, legitimacy, dan risiko proxy. Bandingkan dengan baseline kuat; jangan anggap pretrained embedding otomatis menang. Setelah cara evaluasinya jelas, kita perlu membedakan representasi pretrained dari kompresi internal yang sudah dibahas pada Bab 8.

Pendalaman

Linear probing: menguji ruang embedding dengan model sengaja sederhana

Linear probing membekukan encoder, mengekstrak embedding, lalu melatih hanya linear classifier di atasnya. Protokol ini banyak dipakai dalam self-supervised learning sebagai evaluasi linear. Logikanya sederhana: jika model linear sudah memisahkan kelas, representasi telah menyediakan struktur yang mudah dipakai untuk tugas tersebut. Jika performa baru membaik dengan head nonlinear, batas kelas mungkin nonlinear atau head memanfaatkan interaksi tambahan; hasil itu bukan vonis bahwa representasinya lemah secara umum. Hasil probe selalu spesifik terhadap tugas: ruang yang baik untuk topik belum tentu baik untuk sentimen. Probe juga harus mengikuti validasi Bab 2.

15.4 Batas dengan Bab 8

Setelah embedding dievaluasi, batas dengan Bab 8 perlu dibuat jelas agar dua jenis “representasi padat” tidak tercampur. Bab 8 membahas reduksi dan kompresi representasi dari dataset sendiri: PCA, SVD, NMF, dan autoencoder. Bab ini membahas representasi yang ditransfer dari luar: encoder pretrained, foundation model, dan embedding yang belajar dari dataset besar sebelum digunakan pada data lokal.

Batasnya bukan “linear vs neural”. Autoencoder adalah model neural, tetapi jika ia dilatih hanya pada data kita sendiri untuk merekonstruksi input, ia termasuk wilayah Bab 8. Sebaliknya, embedding dari model bahasa atau model vision pretrained termasuk Bab 15 karena pengetahuannya berasal dari objective eksternal.

Cara paling tajam membaca batasnya adalah melalui objective. Internal compression meminimalkan reconstruction loss pada data sendiri. Transfer representation dioptimalkan untuk objective luar, misalnya klasifikasi pada label eksternal, contrastive alignment pada pasangan image-text, atau language modeling pada korpus besar, lalu diimpor ke tugas lokal. Di mana objective dijalankan, di situlah sumber pengetahuannya.

Gambar 15.4 membandingkan dua lane ini. Lane pertama belajar dari data sendiri; lane kedua membawa pengetahuan dari corpus eksternal.

Figure 15.4: Kompresi data sendiri vs transfer representasi

Transfer dapat membantu dataset lokal kecil yang tidak cukup besar untuk membentuk representasi sendiri, tetapi membawa risiko domain shift dan bias eksternal. Kompresi internal cocok dengan distribusi target karena dibangun dari data sendiri, tetapi tidak dapat memuat pengetahuan di luar dataset lokal. Pilihannya adalah belajar representasi dari dataset tersebut atau mengimpor representasi dari luar lalu menyesuaikannya. Batas ini mengantar pada peran rekayasa fitur ketika model dapat belajar representasi sendiri.

15.5 Apakah Deep Learning Menghapus Rekayasa Fitur?

Deep learning memang belajar representasi internal yang kuat, terutama pada teks, citra, audio, dan multimodal data. CNN belajar hierarki visual, transformer belajar embedding kontekstual, raw-waveform encoder belajar struktur audio, dan multimodal encoder belajar ruang bersama. Banyak fitur yang dulu ditulis manual kini muncul sebagai aktivasi di dalam model.

Namun, rekayasa fitur tidak hilang. Pekerjaannya berpindah ke keputusan tentang unit observasi, target beserta horizon-nya, dan arsitektur input. Satu sampel dapat berarti satu SMS, satu gambar pakaian, satu klip digit, satu produk, satu node, atau satu window waktu. Target dapat berupa label spam, kelas pakaian, digit yang diucapkan, Nutri-Score turunan, atau kelas tutupan hutan. Input dapat berbentuk token, patch, waveform chunk, baris tabular, atau gabungan beberapa cabang.

Contoh Open Food Facts ini sengaja memakai label turunan: nutri_good dibentuk dari Nutri-Score, sedangkan cabang nutrisi tabular memuat bidang-bidang yang secara substansial menentukan Nutri-Score. Karena itu, nutrisi tabular merupakan near-label signal, yaitu sinyal yang sangat dekat dengan definisi label, sehingga performanya yang kuat memang diharapkan. Contoh ini dipakai untuk mengajarkan label turunan; hasilnya bukan bukti bahwa fitur nutrisi atau fusion selalu dominan pada tugas lain, dan fusion sendiri tidak otomatis lebih baik.

Fitur handcrafted juga dapat dibaca sebagai inductive bias injection. Business rules, constraint fisik, rumus domain, rasio keuangan, jarak spasial, kalender, atau agregat historis memasukkan pengetahuan yang mungkin harus ditemukan model dengan data besar. Jika data sedikit, model mungkin tidak pernah menemukannya. Jika interpretabilitas penting, fitur domain sering lebih mudah dijelaskan daripada neuron internal.

Pada era LLM, pola ini berlanjut. Prompting-based extraction dapat membuat LLM menjadi generator fitur atas teks tidak terstruktur. Retrieval-augmented context assembly menyusun konteks yang relevan sebagai semacam rekayasa fitur dinamis untuk foundation model. Bab 1 sudah menempatkan gagasan ini sebagai perluasan, bukan pengganti, tabel belajar.

Representasi yang dipelajari mesin dan representasi yang dirancang manusia saling melengkapi. Pada data unstructured besar, encoder pretrained sering memberi lompatan besar. Pada data tabular kecil, fitur domain dan gradient boosting dapat menjadi baseline yang sangat kuat. Pada sistem produksi, pendekatan hibrida sering lebih sesuai daripada kemurnian metodologis.

Pertanyaan akhirnya bukan “apakah rekayasa fitur masih ada?”, tetapi “di mana desain manusia sebaiknya berhenti, dan di mana pembelajaran mesin sebaiknya mulai?” Jawabannya muncul paling konkret pada input: bahkan deep model tetap membaca data dalam bentuk yang disiapkan manusia.

15.6 Input Representation, Tokenization, dan Augmentation

Di dalam deep learning pun, input tidak masuk begitu saja. Manusia masih menetapkan struktur awal yang akan dibaca jaringan. Inilah lapisan praktis yang tetap menjadi representasi yang dirancang manusia: tokenizer untuk teks, ukuran citra dan patch, sampling rate dan window audio, encoding tabular, sequence length, dan prompt template.

Tokenization menentukan potongan apa yang dapat direpresentasikan model. Kata langka, slang, kode campuran, istilah medis, atau nama lokal dapat dipecah menjadi subword dengan cara berbeda. Bab 11 sudah membahas konsekuensinya pada teks. Jika tokenization buruk untuk domain, model menerima fragmen yang kurang informatif.

Ukuran input juga membawa risiko. Max sequence length dapat memotong bagian penting SMS panjang atau teks bahan. Resize citra dapat menghapus detail siluet sepatu atau tas Fashion-MNIST. Audio chunking dapat memotong awal ucapan digit pada FSDD. Pada semua kasus, keputusan input menentukan informasi apa yang terlihat sebelum model belajar apa pun.

Augmentation tetap menjadi asumsi invariance. Flip, crop, color jitter, mixup, time masking, atau noise injection dapat membantu generalisasi jika label benar-benar stabil terhadap transformasi itu. Pelajaran Bab 12 berlaku kembali: augmentasi bukan data gratis, melainkan pernyataan tentang apa yang boleh berubah tanpa mengubah label.

Penskalaan juga tetap hidup. Input neural dengan skala yang sangat berbeda dapat membuat gradient tidak stabil. Pelajaran paling awal Bab 3 masih berlaku di arsitektur modern: rentang nilai, distribusi input, dan statistik preprocessing memengaruhi pelatihan.

Prompt atau text template juga menjadi representasi. Pada zero-shot classification, kata-kata dalam prompt menentukan vektor teks yang dibandingkan dengan citra atau dokumen. Pada LLM, instruksi, format output, dan konteks retrieval membentuk ruang masalah yang dilihat model. Semua ini memengaruhi akurasi, fairness, latency, memory, dan failure mode. Setelah prinsip input ini jelas untuk teks, citra, dan audio, kasus yang paling menantang adalah data tabular, karena tabular tidak selalu memberi keuntungan alami bagi deep learning.

15.7 Deep Learning pada Data Tabular: Learned Tabular Embeddings

Pertanyaan tentang batas rekayasa fitur menjadi paling tajam pada data tabular, karena tabular tidak otomatis memberi keuntungan alami bagi deep learning. Banyak dataset tabular memiliki ukuran menengah, fitur heterogen, missingness, outlier, interaksi tidak halus, dan distribusi yang berubah. Pada banyak kondisi seperti itu, tree-based models, terutama gradient boosting, masih menjadi baseline yang sangat kuat.

Namun, deep tabular models tetap penting. Mereka dapat belajar embedding untuk kategori, menangkap interaksi fitur, menghasilkan row embedding yang dapat dipakai modul lain, dan menyatu lebih mudah dengan text, image, atau audio embeddings. Ini memperluas ide entity embeddings dari Bab 4: bukan hanya satu kolom kategori yang diberi embedding, tetapi seluruh baris dapat dibaca sebagai kumpulan token fitur.

Pada arsitektur seperti FT-Transformer, setiap fitur menjadi token. Nilai kategorikal masuk melalui lookup table. Nilai numerik dapat diangkat ke ruang embedding dengan peta linear:

\[T_{\text{num}}^{(j)} = \mathbf{w}_j\, x_j + \mathbf{b}_j\]

Di sini \(x_j\) adalah fitur numerik skalar ke-\(j\), sedangkan \(\mathbf{w}_j\) dan \(\mathbf{b}_j\) adalah parameter yang dipelajari sehingga nilai numerik menjadi token vektor. Setelah categorical dan numeric tokens memiliki bentuk serupa, attention layers dapat belajar interaksi antarfitur. Token bergaya [CLS] atau pooling kemudian merangkum baris menjadi satu dense vector.

TabNet mengambil jalur lain dengan attention-like feature selection dalam decision steps. Keluarga arsitektur berbeda dapat berguna, tetapi framing-nya sama: model mencoba belajar representasi baris, bukan hanya memakai fitur tabular apa adanya.

Tabel 15.2 membantu menimbang kapan gradient boosting tetap menjadi pilihan rasional dan kapan deep tabular layak dibayar kompleksitasnya.

Table 15.2: Gradient boosting vs deep tabular
Situasi Cenderung: gradient boosting Cenderung: deep tabular
Ukuran data Kecil sampai menengah Sangat besar atau banyak pretraining
Outlierskala ekstrem Sering kuat dan stabil Perlu preprocessing dan tuning lebih hati-hati
Kebutuhan embedding baris untuk modul hilir Tidak utama Ya, row embedding dipakai ulang
Fusi multimodal Bisa pada fitur gabungan Lebih alami bersama embedding lain
Anggaran tuninginfrastruktur Terbatas Compute dan tuning tersedia
Interpretabilitas Lebih mudah dengan tool pohon Lebih sulit, tetapi dapat dibantu probing

Sebagai heuristic yang harus tetap diuji, pada tabel kecil sampai menengah, kira-kira puluhan ribu baris, dengan outlier kuat dan tanpa kebutuhan embedding, gradient boosting sering menjadi default rasional. Deep tabular lebih masuk akal ketika skala besar, row embedding diperlukan, atau model harus menyatu dengan representasi unstructured. Dari sinilah pola akhir bab muncul: sering kali kita tidak memilih antara fitur rekayasa dan embedding, tetapi menggabungkan keduanya.

Pendalaman

Tabular foundation model dan in-context learning

Arah terbaru memberi data tabular sesuatu yang sudah lama dimiliki teks dan citra, yaitu model pretrained lintas dataset. TabPFN (Hollmann et al. 2023) adalah contoh penting. Model ini memakai transformer yang dilatih pada banyak tugas tabular sintetis, lalu mengklasifikasikan dataset kecil baru dengan membaca contoh berlabel dalam context tanpa memperbarui bobot. Kekuatan saat ini terutama pada dataset kecil yang cocok dengan prior model. Pelajaran untuk buku ini tetap sama. Manusia masih menyusun tabel belajar, target, split, dan definisi fitur. Keputusan Bab 1 tidak otomatis hilang.

15.8 Hybrid Models: Fitur Rekayasa sebagai Input Tambahan

Jika deep tabular harus tetap dibandingkan dengan baseline kuat, pilihan akhir sering bukan memilih satu kubu. Hybrid model menggabungkan fitur yang dirancang manusia dengan embedding atau pretrained representation. Ini sering menjadi bentuk produksi yang paling realistis. Cabang unstructured menangkap pola yang sulit ditulis manual, sedangkan cabang tabular atau domain features menangkap pengetahuan yang jelas dan murah.

Pola sederhana adalah concatenation:

\[\mathbf{x}_{\text{hybrid}} = [\, \mathbf{x}_{\text{rekayasa}} \parallel \mathbf{e}_{\text{learned}} \,]\]

Di sini \(\mathbf{x}_{\text{rekayasa}}\) adalah vektor fitur domain yang sudah ditata skalanya, \(\mathbf{e}_{\text{learned}}\) adalah embedding pretrained, dan \(\parallel\) berarti concatenation, sejalan dengan notasi fusion Bab 14. Pola yang lebih dalam merupakan variasi tempat cabang-cabang tersebut tidak hanya digabung datar, tetapi dimasukkan ke layer fusion neural yang dilatih, misalnya layer nonlinear kecil setelah concatenation, agar model dapat mempelajari interaksi antara fitur rekayasa dan embedding sebelum prediksi akhir. FeatureUnion hanya menggabungkan cabang; komponen ini tidak membuatnya otomatis aman dari leakage. Setiap encoder, reduksi dimensi, atau transformasi lain yang belajar dari data harus di-fit di dalam fold evaluasi.

Contohnya pada SMS Spam, cabang teks klasik dapat menghasilkan TF-IDF atau character n-grams, sedangkan cabang representasi yang dipelajari mesin menghasilkan embedding kalimat. Keduanya dapat digabung, lalu model yang sesuai membaca fitur hybrid itu. Logistic regression sering menjadi pilihan alami untuk gabungan TF-IDF yang sangat renggang dan embedding padat. Gradient boosting sebaiknya tidak diterapkan begitu saja pada gabungan TF-IDF berdimensi sangat tinggi; gunakan setelah reduksi dimensi atau bila implementasi dan validasi menunjukkan kecocokan. Embedding menangkap kedekatan semantik dan variasi frasa; fitur rekayasa tetap menangkap pola token, angka, dan karakter yang sering sangat kuat pada spam.

Gambar 15.5 menggambarkan arsitektur dua jalur ini. Satu cabang mengubah data unstructured menjadi embedding, cabang lain menyiapkan fitur domain, lalu keduanya bertemu sebelum model akhir.

Figure 15.5: Arsitektur hybrid dua jalur

Mengapa hybrid sering bekerja? Karena setiap cabang punya blind spot. Pada SMS Spam, embedding kalimat dapat melihat kemiripan frasa, tetapi character n-grams dapat menangkap pola nomor, kapitalisasi, atau ejaan spam yang sangat lokal. Pada Fashion-MNIST, embedding citra dapat membaca bentuk global, sedangkan fitur sederhana seperti intensitas atau tepi dapat memberi baseline murah yang mudah diaudit. Concatenation yang diseimbangkan dapat menutup dua blind spot sekaligus.

Risikonya juga gabungan. Ketimpangan dimensi dari Bab 14 berlaku penuh. Fitur rekayasa bisa bocor jika agregatnya memakai masa depan. Embedding bisa membawa bias domain. Sinyal bisa duplikatif sehingga kompleksitas naik tanpa manfaat. Proxy privacy dan fairness dapat masuk dari kedua cabang. Pemeliharaan juga lebih sulit karena encoder, pipeline tabular, dan final model memiliki versi masing-masing.

Karena itu, evaluasi hybrid harus memakai group ablation seperti Bab 9. Uji fitur rekayasa saja, embedding saja, dan gabungan. Jika gabungan memberi peningkatan stabil, valid, dan layak biaya, hybrid punya alasan. Jika tidak, kesederhanaan cabang tunggal mungkin lebih baik.

Sintesis Bab

Benang merah Bab 15 adalah bahwa pretrained model menggeser banyak pekerjaan representasi ke encoder yang sudah belajar dari data besar, tetapi tidak menghapus rekayasa fitur. Pekerjaan itu muncul kembali sebagai keputusan tentang input, unit observasi, target, tokenizer, window, prompt, feature bank, metric, adaptation policy, dan kombinasi cabang fitur.

Tabel 15.1 menunjukkan bahwa memakai pretrained model bukan keputusan biner. Kita dapat membekukan, melatih head, membuka sebagian layer, memakai PEFT, atau fine-tuning penuh. Tabel 15.2 mengingatkan bahwa deep learning pada tabular data tetap harus dibandingkan dengan gradient boosting dan baseline kuat lain.

Masa depan praktis jarang murni handcrafted atau murni hasil pembelajaran mesin. Yang paling berguna adalah memilih representasi yang cocok dengan tugas, mengevaluasi apakah ruang embedding benar-benar membantu, menjaga split dan versioning, lalu menggabungkan fitur domain dan embedding hanya ketika masing-masing menambah nilai. Itulah bentuk rekayasa fitur modern di era pretrained model.

Bacaan Lanjutan

Rujukan

Alain, Guillaume, and Yoshua Bengio. 2017. Understanding Intermediate Layers Using Linear Classifier Probes. https://arxiv.org/abs/1610.01644.

Bommasani, Rishi, Drew A. Hudson, Ehsan Adeli, et al. 2021. On the Opportunities and Risks of Foundation Models. https://arxiv.org/abs/2108.07258.

Hollmann, Noah, Samuel Müller, Katharina Eggensperger, and Frank Hutter. 2023. “TabPFN: A Transformer That Solves Small Tabular Classification Problems in a Second.” International Conference on Learning Representations (ICLR).

Pan, Sinno Jialin, and Qiang Yang. 2010. “A Survey on Transfer Learning.” IEEE Transactions on Knowledge and Data Engineering 22 (10): 1345–59.

Quiñonero-Candela, Joaquin, Masashi Sugiyama, Anton Schwaighofer, and Neil D. Lawrence. 2009. Dataset Shift in Machine Learning. MIT Press.