DEVHERO Tulis di WhatsApp
HelplineManusia nyata, bukan AI. Bantuan dalam 24 jam
Human First
halusinasi LLM

Halusinasi LLM sampai ke pengguna Anda. Kami perbaiki dalam 24 jam.

Anda menambahkan model ke produk — asisten pencarian, pembantu dukungan, lapisan RAG, API pada dokumen Anda.

  • Ia menciptakan kebijakan, harga, atau fakta tentang Anda
  • Kutipan menunjuk pada halaman yang tidak mengandung klaim
  • Ia menjawab kapan harus menolak

Satu sesi gratis per klien: 4 jam pertama bersama spesialis, plus AI tanpa batas sebagai alat.

Spesialis senior sungguhan memimpin. Nama di balasan pertama. AI adalah alat; manusia memeriksa hasilnya.

01

Masalahnya

Seperti apa masalah ini, bagaimana Anda mengenalinya, dan apa yang dipertaruhkan jika dibiarkan.

Seperti apa masalah ini

Seperti apa jawaban yang ditemukan dalam integrasi AI, mengapa tim membeku, dan mengapa kelancaran bukanlah kebenaran.

Jawaban yang salah menjangkau pengguna, terkadang dengan kutipan palsu

Model menciptakan kebijakan, harga, atau kutipan. Pengambilan melewatkan bagian yang benar, atau memasukkan bagian yang salah. Tidak ada kutipan, tidak ada penolakan, dan tidak ada evaluasi yang ditetapkan. Jawaban salah yang percaya diri lebih buruk daripada jawaban manusia yang lamban.

Anda takut dengan tangkapan layar publik

Anda takut dengan tangkapan layar publik. Fitur tersebut diumumkan. Mematikannya terasa seperti sebuah langkah mundur; membiarkannya tetap terasa sembrono.

Sebuah sistem yang mewakili perusahaan Anda harus diperbolehkan untuk mengatakan bahwa ia tidak mengetahuinya

Sistem yang mewakili perusahaan Anda harus diperbolehkan mengatakan 'Saya tidak tahu.' Kefasihan bukanlah kebenaran.

Anda membutuhkan jawaban yang sesuai dengan fakta yang dapat Anda pertahankan.

Halusinasi LLM pada suatu produk adalah masalah kepercayaan: model menciptakan kebijakan, harga, atau kutipan. Pengambilan melewatkan bagian yang benar, atau memasukkan bagian yang salah. Jawaban salah yang percaya diri lebih buruk daripada jawaban manusia yang lamban.

Anda menambahkan model untuk pencarian, dukungan, atau asisten dokumen. Fitur tersebut diumumkan. Mematikannya terasa seperti sebuah langkah mundur; membiarkannya tetap terasa sembrono.

Kami tidak akan mengklaim model tidak akan pernah salah. Kita dapat mengurangi jawaban yang tidak berdasar, menambahkan penolakan, dan melakukan langkah peninjauan manusia jika diperlukan.

Tanda integrasi LLM Anda berhalusinasi atau memberikan jawaban yang salah

Ini adalah kegagalan produk, bukan perdebatan filosofis tentang apa yang 'diketahui' oleh model.

Ia menciptakan kebijakan, harga, atau fakta tentang Anda

Jawabannya lancar dan salah. Pelanggan dapat mengambil tangkapan layarnya.

Kutipan menunjuk pada halaman yang tidak mengandung klaim

Atau kutipan tersebut dibuat-buat seluruhnya.

Ia menjawab kapan harus menolak

Pertanyaan di luar korpus tetap mendapat paragraf percaya diri.

Pengambilan terlihat sibuk dan masih meleset dari jalur yang jelas

Dokumen yang benar ada dan tidak ada dalam konteksnya, atau bagian yang salah akan menggantikannya.

Pengguna yang berbeda mendapatkan jawaban yang bertentangan untuk pertanyaan yang sama

Tidak ada landasan yang konsisten, atau perintahnya menyimpang.

Tidak ada set evaluasi, hanya beberapa demo yang menyenangkan

Tidak ada yang tahu pertanyaan mana yang harus selalu dijawab dari sumber.

Jika jawaban yang ditemukan dilanjutkan, dan jika integrasi diperketat

Sebelum — jika Anda membiarkannya

Jika Anda membiarkannya

Satu jawaban yang ditemukan bisa menjadi krisis dukungan, masalah hukum, atau hilangnya kepercayaan yang tidak akan Anda lihat di dasbor.

Sesudah — jika kami menyelesaikannya

Jika kami menyelesaikannya

Asisten tetap berada dalam sumber yang Anda terima, menolak ketika seharusnya, dan diuji pada kasus yang Anda pedulikan. Anda mengetahui risiko yang tersisa alih-alih menemukannya dari pengguna.

Situasinya terasa familiar? Kirim pesan, kami urus.

02

Mengapa terjadi

Dari mana biasanya berasal, mengapa muncul dalam kerja cepat atau berbantuan AI, dan bagaimana memeriksanya sendiri.

Mengapa API bergaya RAG dan ChatGPT menciptakan jawaban dalam produksi

Halusinasi adalah perilaku model yang dikenal. Pertanyaan produk adalah bagaimana Anda mengambil, membatasi, mengevaluasi, dan mundur.

Pengambilan yang lemah atau berisik

Jendela konteks diisi dengan bagian yang salah, atau tidak ada yang berguna, dan model masih berusaha membantu.

Anjuran yang menuntut jawaban

'Selalu membantu' tanpa jalur penolakan adalah permintaan penemuan ketika sumbernya hilang.

Tidak ada kutipan, atau kutipan sebagai hiasan

Jika sistem tidak diharuskan untuk menunjuk pada suatu bagian, maka sistem tidak akan melakukannya.

Pengetahuan basi atau berantakan

Korpus sudah usang, terduplikasi, atau berisi draf yang seharusnya tidak pernah dipublikasikan ke model.

Tidak ada evaluasi dan tidak ada pencatatan pertanyaan

Anda menemukan kegagalan dari pengguna, bukan dari set pengujian.

Mengapa fitur AI cepat dikirimkan dengan menyertakan halusinasi

Pengiriman model ke pusat bantuan di akhir pekan bisa terlihat mengesankan dalam demo dan tetap tidak aman dalam hal harga, kebijakan, atau pertanyaan terkait medis yang tidak boleh dibuat oleh perusahaan. Startup juga melewatkan penolakan karena mereka merasa seperti demo yang lebih buruk. Karya Human First memberikan standar pada integrasi: membumi, atau diam, atau diserahkan kepada seseorang.

Cara memeriksa integrasi AI untuk menemukan jawaban

Serangkaian pertanyaan singkat dan jujur sudah akan menunjukkan apakah sistem sudah di-ground.

  • Ajukan pertanyaan yang Anda tahu jawabannya dalam dokumen, dan pertanyaan yang Anda tahu tidak jawabannya

    Kelompok kedua harus menolak atau menyerahkan, bukan berimprovisasi.

  • Periksa bagian yang diambil untuk pertanyaan yang diketahui

    Jika bagian kanan hilang, model tidak akan punya kesempatan.

  • Periksa apakah kutipan benar-benar ada di sumbernya

    Buka halamannya. Jangan percaya pada gaya catatan kaki saja.

  • Catat pertanyaannya, konteksnya, dan jawabannya

    Jika Anda tidak dapat mengulangi suatu kegagalan, Anda tidak dapat memperbaikinya secara sistematis.

  • Carilah perubahan cepat atau indeks pada keluhan pertama

    Corpus dump baru atau perintah 'lebih bermanfaat' adalah pemicu yang umum.

Situasinya terasa familiar? Kirim pesan, kami urus.

03

Bagaimana DevHero memperbaikinya

Spesialis senior memimpin. AI adalah alat. Manusia memeriksa hasilnya.

Halusinasi adalah perilaku yang diketahui dari model ini. Pertanyaan produknya adalah bagaimana Anda mengambil, membatasi, mengevaluasi, dan mundur — bukan apakah model tersebut bisa menjadi puitis.

DevHero adalah Manusia Pertama. Seorang spesialis merancang atau memperbaiki integrasi sehingga manusia tetap memiliki standarnya. AI adalah komponen yang diuji, bukan penilai kualitas. Seorang ahli penggajian memeriksa hasilnya. Kami tidak akan mengklaim suatu model tidak akan pernah salah.

Seorang spesialis merancang atau memperbaiki pengambilan, batasan, dan evaluasi. AI adalah komponen yang diuji, bukan penilai kualitas. Seorang ahli penggajian memeriksa hasilnya.

How a typical weekday case moves

  1. 01Pesan diterima
  2. 02Spesialis disebut
  3. 03Diagnosis
  4. 04Perbaikan
  5. 05Pemeriksaan manusia
  6. 06Serah terima

Cara mendapatkan bantuan halusinasi LLM pada suatu produk

Tulis di WhatsApp atau Telegram. Kami melakukan kerja keras integrasi. Kami tidak akan menjanjikan akurasi 100 persen.

  1. Kirimkan contoh jawaban yang salah dan apa sumbernya

    URL atau judul dokumen membantu.

  2. Seorang spesialis bernama menjawab

    Dalam satu menit Anda akan melihat namanya. Mereka diperingatkan, dan dapat dipanggil jika tidak merespons.

  3. Perketat landasan dan penolakan, dalam 24 jam saat berada dalam cakupan

    Pada hari kerja biasa, kami bertujuan untuk menghentikan jawaban terburuk yang tidak berdasar dan memberi tahu Anda apa yang tersisa. Program pengetahuan yang besar adalah proyek yang kompleks.

Bagaimana DevHero mengurangi halusinasi dalam integrasi LLM

Kami memeriksa pengambilan, petunjuk, kutipan, dan evaluasi, lalu memperketat jalurnya. Manusia memeriksa hasil kasus yang Anda pedulikan.

Kami memeriksa pengambilan, petunjuk, alat, kutipan, dan kurangnya evaluasi. Kemudian kami memperketat jalurnya: pengambilan yang lebih baik, landasan yang lebih ketat, penolakan, pencatatan, dan langkah peninjauan manusia jika diperlukan. Program pengetahuan yang besar adalah proyek yang kompleks. Tiket masuk pada hari kerja sering kali dapat menghentikan jawaban salah yang paling buruk dan memberi tahu Anda apa yang tersisa.

  1. Putar ulang pertanyaan yang gagal dengan konteks yang terlihat

    Langkah pertama yang salah sering kali adalah pengambilan, bukan 'modelnya buruk.'

  2. Perbaiki pengambilan dan kebersihan korpus jika diperlukan

    Potongan, metadata, dokumen basi, dan jelas ada kesalahan.

  3. Tambahkan penolakan dan, jika berguna, kutipan yang dapat diperiksa

    Suatu sistem harus diperbolehkan untuk mengatakan bahwa ia tidak tahu.

  4. Berikan langkah peninjauan manusia pada jawaban berisiko tinggi jika produk memerlukannya

    Kebijakan, harga, dan jawaban terkait hukum mungkin tidak berada pada jalur yang sepenuhnya otomatis.

  5. Tinggalkan set evaluasi kecil

    Jadi perubahan cepat berikutnya memiliki gerbang.

Apa yang Anda dapatkan dalam 24 jam pertama pada masalah halusinasi

Untuk cakupan kasus pada hari kerja pada umumnya, tujuannya adalah integrasi yang lebih erat dan lebih jujur, bukan klaim kesempurnaan.

  1. Diagnosis mengapa contoh pertanyaan salah.

  2. Perubahan pada pengambilan, perintah, penolakan, atau kutipan yang sesuai dengan sesi.

  3. Sejumlah kecil kasus yang kami jalankan, bukan tingkat akurasi yang dibuat-buat.

  4. Hasil yang diperiksa manusia.

  5. Catatan mengenai risiko yang tersisa dan apakah diperlukan program yang lebih besar.

Apa yang harus dikirimkan kepada kami tentang jawaban AI yang salah

Contoh dan sumber penting. Jangan menempelkan rahasia atau data pribadi sensitif ke dalam obrolan.

Produk dan jenis pertanyaan yang dijawabnya

Dukungan, pencarian, pengetahuan internal, atau yang lainnya.

Satu atau dua jawaban salah, dan sumber yang seharusnya digunakan

Tangkapan layar atau teks, dengan data sensitif dipangkas.

Cara kerja pengambilan, jika Anda mengetahuinya

Indeks, file, vendor.

Apakah sudah tayang

Dan apakah Anda dapat menambahkan penolakan atau serah terima dengan cepat.

Evaluasi apa pun yang sudah Anda miliki

Bahkan spreadsheet pertanyaan pun berguna.

Perbaikan cepat dan mendesak

4 jam pertama bersama spesialis + AI tanpa batas: gratis, sekali per klien. Pekerjaan selanjutnya berbayar, sesuai permintaan. Manusia memimpin dan memeriksa hasilnya.

Gratis (sesi pertama)

Proyek kompleks

Pekerjaan yang lebih besar memakai tarif lain, sesuai permintaan. Kami mengatakannya sebelum lanjut.

Sesuai permintaan

Hari kerja, lalu akhir pekan

Rencana dasar hanya untuk hari kerja. Kerja akhir pekan adalah produk terpisah. Setiap biaya tambahan dinyatakan di muka, sebelum panggilan, dan bergantung pada kompleksitas. Jumlah: sesuai permintaan.

Sesuai permintaan

Sesi pertama gratis: 4 jam pertama bersama spesialis, plus AI tanpa batas, sekali per klien. Pekerjaan setelah itu, tarif proyek kompleks, dan tarif akhir pekan berbayar, sesuai permintaan.

Satu sesi gratis per klien: 4 jam pertama bersama spesialis, plus AI tanpa batas sebagai alat.

Situasinya terasa familiar? Kirim pesan, kami urus.

04

Agar tetap selesai

Apa yang tidak boleh dilakukan selanjutnya, tumpukan yang kami lihat dalam kerja seperti ini, dan cara menjaga perbaikannya.

Apa yang tidak boleh dilakukan saat model menemukan jawaban

Beberapa 'perbaikan' membuat pembohong yang fasih menjadi lebih percaya diri.

Menaikkan suhu atau 'kreativitas' agar terdengar lebih bagus

Anda mungkin mendapatkan lebih banyak penemuan.

Memberitahu model untuk 'selalu menjawab' ketika korpus kosong

Anda meminta halusinasi.

Menambahkan lebih banyak dokumen tanpa kebersihan pengambilan

Kebisingan dalam indeks menjadi kebisingan dalam jawaban.

Menerbitkan nomor akurasi buatan

Jika Anda tidak mengukur kasusnya, jangan membuat persentase. Kami juga tidak akan menciptakannya.

Membiarkan jawaban berisiko tinggi sepenuhnya otomatis karena demo berjalan lancar

Seseorang mungkin masih perlu mengetahui harga dan kebijakannya.

Integrasi di mana kita melihat halusinasi LLM

Beritahu kami vendor dan pengaturan pengambilannya. Jika kami tidak mengambilnya, kami akan mengatakannya.

RAG melalui pusat bantuan dan kumpulan dokumen

Bentuk produk yang paling umum.

Dukungan dan asisten internal

Jawaban kebijakan yang salah akan merugikan.

API melalui model vendor

Dengan atau tanpa pengambilan Anda sendiri.

Agen yang juga menjawab pertanyaan

Jika kegagalan adalah fakta yang ditemukan, halaman ini berlaku; jika kegagalannya adalah perulangan alat, lihat halaman agen AI.

Bagaimana menjaga integrasi tetap jujur setelah perbaikan

Grounding adalah kebiasaan: evaluasi, penolakan, dan standar manusia untuk jawaban berisiko tinggi.

Right after the fix

Simpan set evaluasi hidup

Sertakan pertanyaan yang harus ditolak.

Catat pertanyaan, konteks, dan jawaban

Pemutaran ulang gagal.

Jangan mengirimkan perubahan cepat tanpa menjalankan set

Rasa saja tidak cukup.

Segarkan dan bersihkan korpus

Draf yang sudah basi tidak boleh diambil kembali.

As you keep shipping

Memerlukan kutipan yang dapat diperiksa jika produk memerlukannya

Dan periksa sampelnya.

Serahkan atau tolak jika sumbernya tidak ada

Keheningan yang membantu lebih baik daripada kesalahan yang lancar.

Masukkan manusia ke dalam lingkaran pertanyaan yang berisiko tinggi

Sampai Anda punya alasan untuk tidak melakukannya.

Jika pengguna mulai mengirimkan tangkapan layar lagi, buka kembali buktinya

Jangan menganggap perbaikan terakhir masih berlaku.

Situasinya terasa familiar? Kirim pesan, kami urus.

05

Pertanyaan tentang masalah ini

Jawaban langsung tentang masalah ini, sesinya, dan langkah berikutnya.

Bisakah Anda membuat modelnya 100 persen akurat?

Tidak, dan kami tidak akan mengatakan itu. Kita dapat mengurangi jawaban yang tidak beralasan dan menambahkan penolakan, pemeriksaan, dan evaluasi.

Apakah saya perlu mengganti vendor model?

Tidak selalu. Banyak kegagalan yang disebabkan oleh pengambilan, konteks, atau evaluasi yang hilang. Jika perubahan model adalah langkah yang tepat, kami akan mengatakannya.

Maukah Anda menemukan persentase akurasi?

Tidak. Kami hanya akan membicarakan kasus yang sebenarnya kami uji pada sistem Anda.

Bagaimana cara memulainya?

Tulis di WhatsApp atau Telegram dengan produk dan contoh jawaban yang salah. Tanpa formulir, tanpa obrolan web.

Haruskah saya mematikan fitur ini sampai masalah diperbaiki?

Jika perusahaan sudah menentukan harga atau kebijakan, jeda atau penyerahan wajib mungkin merupakan langkah yang bertanggung jawab. Kami akan membantu Anda memutuskan.

Apakah ini sama dengan agen AI yang rusak?

Mereka tumpang tindih. Gunakan halaman ini untuk menemukan jawaban. Gunakan halaman agen ketika alur kerja atau panggilan alat gagal.

Pengetahuan kami ada pada beberapa alat, bukan satu indeks. Masih bisakah kamu membantu?

Beri tahu kami cara penyambungannya. Menyatukan sumber-sumber yang berantakan mungkin merupakan proyek yang lebih besar; pengetatan pertama masih bisa dilakukan.

Bisakah ini dilakukan dalam 24 jam?

Tiket masuk pada hari kerja sering kali dapat menghentikan jawaban-jawaban terburuk yang tidak berdasar dan memberi tahu Anda apa yang tersisa. Program pengetahuan yang besar adalah proyek yang kompleks.

Apakah Anda menerima setiap ide chatbot?

Tidak. Kami mengambil masalah sulit dalam integrasi yang ada.

Bagaimana jika jawaban yang salah sudah sensitif secara hukum atau komersial?

Katakan itu sejak dini. Penahanan dan nasihat mungkin diperlukan. Kami akan berpegang pada fakta teknis.

Apakah sesi pertama benar-benar gratis?

Ya. Setiap klien mendapat satu sesi gratis: 4 jam pertama bersama spesialis, plus AI tanpa batas sebagai alat. Target 24 jam adalah waktu yang kami tuju untuk memulai dan menutup kasus hari kerja yang khas dalam cakupan, bukan 24 jam kerja tanpa bayar. Pekerjaan selanjutnya berbayar, sesuai permintaan.

Human First

Halusinasi LLM sampai ke pengguna Anda. Kami perbaiki dalam 24 jam.

Jika jawaban AI yang salah sudah sampai ke pengguna, tulislah di WhatsApp atau Telegram. Anda akan berbicara dengan seseorang.

Satu sesi gratis per klien: 4 jam pertama bersama spesialis, plus AI tanpa batas sebagai alat.

Human First

Pilih saluran

Tanpa formulir web, tanpa obrolan web. Tulis di WhatsApp atau Telegram, seorang spesialis membalas. Pesan sudah terisi dengan masalah dan halaman.

Telegram membuka obrolan dengan @brnzai. Teks ini sering tidak tertempel otomatis — salin dan kirim di sana: