DESAIN TEKNIS KOMPREHENSIF: TOOL PENELUSURAN DEEPFAKE & SCAM TERINTEGRASI DALAM PLATFORM CITIZEN SCIENCE NASIONAL (PCSN)

DESAIN TEKNIS KOMPREHENSIF: TOOL PENELUSURAN DEEPFAKE & SCAM TERINTEGRASI DALAM PLATFORM CITIZEN SCIENCE NASIONAL (PCSN)

Dokumen Spesifikasi Teknis & Arsitektur Sistem

Versi: 1.0

Tanggal: 5 Juni 2026

Status: Draft Implementasi Strategis

1. Pendahuluan dan Latar Belakang

Di era 2026, ancaman deepfake (media sintetis) dan scam berbasis AI (seperti voice cloning dan phishing generatif) telah menjadi risiko sistemik terhadap integritas informasi, keamanan finansial, dan stabilitas sosial. Platform Citizen Science Nasional (PCSN) tidak hanya berfungsi sebagai wadah partisipasi riset, tetapi juga sebagai garis pertahanan pertama melalui pendekatan crowdsourced intelligence.

Tool ini, bernama "Veritas-AI Shield", dirancang untuk mendeteksi, memverifikasi, dan mengedukasi masyarakat serta peneliti mengenai keaslian konten digital. Desain ini mengintegrasikan deteksi otomatis berbasis AI mutakhir dengan validasi manusia (human-in-the-loop) untuk akurasi tinggi dan transparansi.

2. Arsitektur Sistem Veritas-AI Shield

Sistem ini dibangun sebagai modul mikro (microservice) yang terintegrasi erat dengan PCSN, namun dapat diakses secara mandiri melalui API publik.

A. Komponen Utama Arsitektur

1.  Ingestion Layer (Lapisan Penerimaan):

    a.   Multi-Modal Input: Menerima video, audio, gambar, dan teks dari aplikasi mobile, web portal, atau integrasi API media sosial.

    b.  Pre-processing Engine: Normalisasi format, ekstraksi frame video, pemisahan track audio, dan ekstraksi metadata (EXIF, XMP).

2.  Detection Core (Inti Deteksi Multi-Layer):

    a.  Visual Analysis Module: Menggunakan model Convolutional Neural Networks (CNN) dan Vision Transformers (ViT) yang dilatih khusus pada dataset deepfake terkini (2024-2026) untuk mendeteksi artefak visual (ketidakwajaran kedipan mata, sinkronisasi bibir, konsistensi pencahayaan, noise pattern).

    b.  Audio Forensics Module: Menganalisis spektrum frekuensi untuk mendeteksi tanda-tanda voice cloning atau sintesis TTS (Text-to-Speech), termasuk ketidaknaturalan napas dan intonasi.

    c.  Semantic & Contextual Analysis: Menggunakan Large Language Models (LLM) untuk mendeteksi pola bahasa manipulatif, urgensi palsu, atau inkonsistensi fakta dalam teks/caption (indikator scam/phishing).

    d.  Metadata & Provenance Checker: Memverifikasi rantai asal-usul konten (C2PA standard) dan mendeteksi manipulasi metadata.

3.  Crowd-Validation Layer (Lapisan Validasi Warga):

    a.  Distributed Verification Network: Konten yang ditandai "mencurigakan" oleh AI (skor kepercayaan 40-70%) didistribusikan secara anonim kepada pengguna terverifikasi (pakar sukarela, jurnalis, akademisi) untuk penilaian manusia.

    b.  Consensus Algorithm: Menggunakan algoritma konsensus terbobot berdasarkan reputasi validator untuk menentukan status akhir (Real/Fake/Ambiguous).

4.  Response & Reporting Layer:

    a.  Real-time Alert System: Memberikan peringatan visual/audio kepada pengguna jika konten terdeteksi sebagai deepfake/scam berisiko tinggi.

    b.  Structured Report Generation: Menghasilkan laporan teknis yang dapat diaudit berisi bukti deteksi (heatmap visual, spektrum audio, log metadata).

    c.  Whistleblower Integration: Tombol "Laporkan Penipuan/Deepfake Malicious" yang terhubung langsung ke modul Whistleblower PCSN dan otoritas terkait (Bareskrim Polri, Kominfo).

3. Spesifikasi Teknis Deteksi (Deep Dive)

A. Deteksi Deepfake Video & Gambar

1.  Model Utama: Ensemble dari EfficientNet-B7 (untuk ekstraksi fitur lokal) dan Swin Transformer (untuk konteks global).

2.  Fokus Deteksi:

    a.  Biological Signals: Deteksi denyut nadi jarak jauh (rPPG) dari perubahan warna kulit halus yang tidak konsisten pada wajah palsu.

    b.  Temporal Inconsistencies: Analisis aliran optik (optical flow) antar frame untuk mendeteksi jitter atau glitch pada batas wajah.

    c.  GAN Fingerprints: Identifikasi pola noise residual spesifik yang ditinggalkan oleh generator GAN/Diffusion models.

3.  Output: Skor keaslian (0-100%), heatmap area manipulasi, dan indikator confidence level.

B. Deteksi Deepfake Audio (Voice Cloning)

1.  Model Utama: RawNet3 dan Wav2Vec 2.0 fine-tuned.

2.  Fokus Deteksi:

    a.  Spectral Artifacts: Anomali pada frekuensi tinggi (>8kHz) yang sering hilang atau distorsi pada audio sintetis.

    c.  Prosody Analysis: Ketidakwajaran jeda, penekanan kata, dan emosi yang tidak sesuai konteks.

3.  Output: Spekogram perbandingan, skor kemiripan dengan voice print asli (jika tersedia di database publik), dan indikator sintesis.

C. Deteksi Scam Berbasis Teks & Konteks

1.  Model Utama: LLM Domain-Specific (misal: IndoBERT-large) yang dilatih pada corpus penipuan lokal.

2.  Fokus Deteksi:

    a.  Pattern Recognition: Pola kalimat urgensi ("Segera transfer!", "Akun Anda diblokir!"), permintaan data pribadi, dan tautan mencurigakan.

    b.  Entity Verification: Cross-check nomor rekening, nama pengirim, dan institusi yang diklaim dengan database blacklist nasional (OJK, Kominfo).

3.  Output: Klasifikasi jenis scam (Phishing, Romance Scam, Investment Fraud), tingkat risiko, dan rekomendasi tindakan.

4. Alur Kerja Pengguna (User Workflow)

1.  Input: Pengguna mengunggah video call rekaman, file audio, atau screenshot chat ke App PCSN.

2.  Analisis Otomatis (  90% (Real) atau < 10% (Fake), hasil langsung ditampilkan.

  Jika skor ambigu (10-90%), masuk ke antrian validasi warga.

3.  Validasi Warga (Jika Diperlukan):

    a.  5-10 validator terverifikasi menerima notifikasi.

    b.  Validator memberikan label "Real" atau "Fake" dengan alasan singkat.

    c.  Sistem menghitung konsensus.

4.  Hasil & Edukasi:

    a.  Pengguna menerima laporan: "Konten ini TERDETEKSI SEBAGAI DEEPFAKE dengan akurasi 92%."

    b.  Ditampilkan bukti visual (area wajah yang dimanipulasi di-highlight).

    c.  Disertakan tips: "Jangan bagikan konten ini. Laporkan ke pihak berwenang jika merugikan."

5.  Tindak Lanjut:

    Pengguna dapat menekan tombol "Laporkan ke Otoritas" yang mengirimkan bukti terenkripsi ke platform penegak hukum.

5. Keamanan, Privasi, dan Etika

1.  Privasi Data Pengguna:

    a.  Semua konten yang diunggah untuk deteksi dienkripsi end-to-end.

    b.  Data tidak disimpan permanen kecuali pengguna menyetujui untuk donasi data guna pelatihan model (opt-in).

    c.  Wajah dan identitas dalam konten dianonimisasi dalam log sistem.

2.  Transparansi Algoritma:

    a.  Model AI bersifat explainable (XAI). Sistem harus mampu menjelaskan mengapa suatu konten dicurigai (misal: "Deteksi ketidakwajaran pada gerakan bibir").

    b.  Kode sumber model inti dibuka sebagian (open-weight) untuk audit akademis melalui PCSN.

3.  Pencegahan Penyalahgunaan:

    a.  Tool ini hanya untuk deteksi defensif. Tidak ada fitur untuk membuat deepfake.

    b.  Akses API dibatasi dengan rate-limiting dan verifikasi identitas untuk mencegah penggunaan massal oleh aktor jahat untuk testing kualitas deepfake mereka.

6. Integrasi dengan Ekosistem Nasional

1.  Database Blacklist Nasional: Terintegrasi real-time dengan database nomor penipu (Kemenkominfo), rekening mencurigakan (PPATK/OJK), dan domain phishing (BSSN).

2.  SINTA & BRIN: Hasil deteksi dan data anonim dapat digunakan sebagai dataset riset bagi akademisi untuk meningkatkan model deteksi berikutnya.

3.  Penegakan Hukum: API khusus untuk aparat penegak hukum memungkinkan pengambilan bukti digital yang sah secara hukum (dengan chain of custody yang tercatat di blockchain PCSN).

7. Rencana Implementasi & Roadmap

Fase   Durasi   Fokus Kegiatan   Output Kunci

Fase 1: Core Engine   Bulan 1-4   Pengembangan model deteksi video/audio dasar, integrasi database blacklist.   MVP Tool Deteksi Dasar (Web-based).

Fase 2: Mobile & Crowd   Bulan 5-8   Pengembangan App Mobile, rekrutmen & pelatihan validator warga, gamifikasi.   Launching App PCSN + Modul Veritas.

Fase 3: Advanced AI   Bulan 9-12   Implementasi deteksi real-time untuk video call, integrasi LLM untuk scam teks kompleks.   Fitur Live-Call Protection & Chat Scanner.

Fase 4: Ekosistem & Audit   Bulan 13-18   Integrasi dengan penegak hukum, audit eksternal oleh universitas mitra, open API publik.   Sistem Nasional Terintegrasi Penuh.

8. Penutup

Desain tool "Veritas-AI Shield" dalam Platform Citizen Science Nasional ini menawarkan pendekatan holistik yang menggabungkan kecanggihan teknologi AI forensik dengan kekuatan kolektif masyarakat sipil. Dengan demikian, Indonesia tidak hanya menjadi konsumen pasif teknologi AI, tetapi aktif membangun ketahanan digital yang inklusif, transparan, dan berdaulat melawan ancaman deepfake dan scam di era disinformasi.

Referensi Valid:

1.  Kementerian Komunikasi dan Digital Republik Indonesia. (2026). Strategi Nasional Keamanan Siber dan Literasi Digital. Jakarta: Komdigi.

2.  Badan Riset dan Inovasi Nasional (BRIN). (2025). Laporan Kajian Teknologi Deteksi Deepfake dan Implikasinya bagi Keamanan Nasional. Jakarta: BRIN.

3.  IEEE Signal Processing Society. (2026). Standard for Media Provenance and Authenticity (C2PA Implementation Guide). New York: IEEE.

4.  Forrester Research. (2025). Predictions 2026: Trust And Privacy Amid GenAI And Deepfakes. Cambridge: Forrester.

5.  Universitas Indonesia & ITB. (2026). Joint Research on Indigenous Deepfake Detection Models for Indonesian Context. Jurnal Ilmu Komputer dan Informasi.