DEVHERO WhatsApp으로 문의
Helpline진짜 사람, AI가 아닙니다. 24시간 안에 도움
Human First
LLM 환각

LLM 환각이 사용자에게 닿고 있습니다. 24시간 안에 해결합니다.

검색 도우미, 지원 도우미, RAG 레이어, 문서에 대한 API 등 모델을 제품에 추가했습니다.

  • 귀하에 대한 정책, 가격 또는 사실을 만들어냅니다.
  • 인용은 해당 주장이 포함되지 않은 페이지를 가리킵니다.
  • 거절해야 할 때 응답한다

고객당 무료 세션 1회: 전문가와 함께하는 처음 4시간, 그리고 도구로서의 무제한 AI.

실제 시니어 전문가가 이끕니다. 이름은 첫 답장에. AI는 도구이고, 사람이 결과를 확인합니다.

01

문제

이 문제가 어떻게 보이는지, 어떻게 알 수 있는지, 그대로 두면 무엇이 걸려 있는지.

이 문제가 어떻게 보이는지

AI 통합에서 고안된 답변은 무엇이며, 팀이 멈추는 이유는 무엇이며, 유창성은 진실이 아닌 이유입니다.

사용자에게 잘못된 답변이 전달되고 있으며 때로는 가짜 인용이 포함되기도 합니다.

모델은 정책, 가격 또는 인용을 만들어냅니다. 검색 시 올바른 구절이 누락되거나 잘못된 구절이 채워집니다. 인용도 없고 거절도 없고 평가세트도 없습니다. 자신감 넘치는 오답은 느린 인간보다 더 나쁩니다.

공개 스크린샷이 두려운 분

공개 스크린샷이 두렵습니다. 기능이 발표되었습니다. 그것을 끄는 것은 한 걸음 뒤로 물러나는 것처럼 느껴집니다. 그대로 놔두면 무모한 것 같아요.

회사를 대변하는 시스템은 모른다고 말할 수 있어야 합니다.

회사를 대변하는 시스템에서는 '모르겠다'라고 말할 수 있어야 합니다. 유창함은 진실이 아닙니다.

당신이 방어할 수 있는 사실 안에 머무르는 답변이 필요합니다.

제품의 LLM 환각은 신뢰 문제입니다. 모델이 정책, 가격 또는 인용을 만들어냅니다. 검색 시 올바른 구절이 누락되거나 잘못된 구절이 채워집니다. 자신감 넘치는 오답은 느린 인간보다 더 나쁩니다.

검색, 지원 또는 문서 도우미를 위한 모델을 추가했습니다. 기능이 발표되었습니다. 그것을 끄는 것은 한 걸음 뒤로 물러나는 것처럼 느껴집니다. 그대로 놔두면 무모한 것 같아요.

우리는 모델이 결코 틀리지 않을 것이라고 주장하지 않습니다. 근거 없는 답변을 줄이고, 거절을 추가하고, 필요한 곳에 사람의 검토 단계를 추가할 수 있습니다.

LLM 통합이 환상적이거나 잘못된 답변을 제공하고 있음을 나타냅니다.

이것은 모델이 '알고 있는 것'에 대한 철학적 논쟁이 아니라 제품 실패입니다.

귀하에 대한 정책, 가격 또는 사실을 만들어냅니다.

대답은 유창하고 거짓입니다. 고객이 스크린샷을 찍을 수 있습니다.

인용은 해당 주장이 포함되지 않은 페이지를 가리킵니다.

아니면 인용 자체가 완전히 지어낸 것입니다.

거절해야 할 때 응답한다

코퍼스 밖의 질문이라도 여전히 자신감 있는 문단을 얻습니다.

검색이 바빠 보이는데 여전히 분명한 구절을 놓치고 있습니다.

올바른 문서가 존재하지만 컨텍스트에 없거나 잘못된 덩어리가 문서를 밀어냅니다.

동일한 질문에 대해 서로 다른 사용자가 모순된 답변을 얻음

일관된 접지가 없거나 프롬프트가 표류했습니다.

평가 세트는 없으며 몇 가지 행복한 데모만 있습니다.

어떤 질문이 항상 출처에서 답변되어야 하는지는 누구도 말할 수 없습니다.

발명된 답변이 계속되고 통합이 강화되면

이전 — 그대로 두면

그대로 두면

고안된 답변 중 하나가 대시보드에서는 볼 수 없는 지원 위기, 법적 문제 또는 조용한 신뢰 상실로 이어질 수 있습니다.

이후 — 우리가 마무리하면

우리가 마무리하면

어시스턴트는 귀하가 수락한 소스 내에 머무르고, 필요한 경우 거부하며, 귀하가 관심 있는 사례에 대해 테스트됩니다. 사용자로부터 위험을 발견하는 대신 남은 위험을 알 수 있습니다.

상황이 익숙하신가요? 메시지를 보내 주세요. 정리해 드립니다.

02

왜 일어나는지

보통 어디서 오는지, 빠르거나 AI가 돕는 작업에서 왜 나타나는지, 직접 어떻게 확인할 수 있는지.

RAG 및 ChatGPT 스타일 API가 프로덕션에서 답변을 고안하는 이유

환각은 알려진 모델 행동입니다. 제품 질문은 검색, 제한, 평가 및 대체 방법입니다.

약하거나 시끄러운 검색

컨텍스트 창은 잘못된 구절로 채워져 있거나 유용한 내용이 전혀 없으며 모델은 여전히 도움이 되려고 노력합니다.

답변을 요구하는 프롬프트

거절 경로가 없는 '항상 도움이 된다'는 것은 출처가 없을 때 발명을 요청하는 것입니다.

인용금지, 장식인용금지

시스템이 구절을 가리킬 필요가 없다면 그렇게 하지 않습니다.

오래되거나 지저분한 지식

자료가 오래되었거나 중복되었거나 모델에 게시되어서는 안 되는 초안이 포함되어 있습니다.

평가 없음 및 질문 기록 없음

테스트 세트가 아닌 사용자로부터 오류를 발견합니다.

빠른 AI 기능에 환각이 포함된 이유

모델을 도움말 센터에 연결하는 주말은 데모에서 인상적으로 보일 수 있지만 가격, 정책 또는 회사가 고안해서는 안 되는 의료 관련 질문에 대해서는 여전히 안전하지 않을 수 있습니다. 스타트업은 거절을 건너뛰기도 합니다. 왜냐하면 데모가 더 나쁘다고 느끼기 때문입니다. Human First 작업은 통합에 대한 표준을 정합니다. 즉, 근거가 있거나 조용하거나 사람에게 전달되는 것입니다.

AI 통합에서 발명된 답변을 확인하는 방법

짧고 정직한 질문을 통해 시스템이 기반을 갖추고 있는지 여부를 이미 알 수 있습니다.

  • 문서에서 답변을 알고 있는 질문과 그렇지 않은 질문을 질문하세요.

    두 번째 그룹은 즉흥적으로 하지 말고 거절하거나 넘겨주어야 합니다.

  • 알려진 질문에 대해 검색된 구절을 검사합니다.

    올바른 구절이 누락된 경우 모델에는 기회가 전혀 없습니다.

  • 인용문이 실제로 출처에 있는지 확인하세요.

    페이지를 열어보세요. 각주 스타일만을 신뢰하지 마십시오.

  • 질문, 맥락, 답변을 기록하세요.

    실패를 재생할 수 없으면 체계적으로 수정할 수 없습니다.

  • 첫 번째 불만 사항에 대한 프롬프트 또는 지수 변경 사항을 찾습니다.

    새로운 코퍼스 덤프나 '더 유용한' 프롬프트가 일반적인 트리거입니다.

상황이 익숙하신가요? 메시지를 보내 주세요. 정리해 드립니다.

03

DevHero가 고치는 방법

시니어 전문가가 이끕니다. AI는 도구입니다. 사람이 결과를 확인합니다.

환각은 이러한 모델의 알려진 동작입니다. 제품에 대한 질문은 모델이 시적일 수 있는지 여부가 아니라 검색, 제한, 평가 및 대체 방법에 관한 것입니다.

DevHero는 인간 우선입니다. 전문가가 통합을 설계하거나 수리하므로 인간이 여전히 표준을 소유하게 됩니다. AI는 품질을 판단하는 것이 아니라 테스트 중인 구성 요소입니다. 급여 전문가가 결과를 확인합니다. 우리는 모델이 결코 틀리지 않을 것이라고 주장하지 않을 것입니다.

전문가는 검색, 제약, 평가를 설계하거나 수리합니다. AI는 품질을 판단하는 것이 아니라 테스트 중인 구성 요소입니다. 급여 전문가가 결과를 확인합니다.

How a typical weekday case moves

  1. 01메시지 수신
  2. 02전문가 지정
  3. 03진단
  4. 04수정
  5. 05사람 확인
  6. 06인계

제품에서 LLM 환각에 대한 도움을 받는 방법

WhatsApp이나 Telegram에 글을 쓰세요. 우리는 열심히 통합 작업을 수행합니다. 우리는 100% 정확성을 약속하지 않습니다.

  1. 오답의 예와 출처가 무엇인지 보내주세요.

    URL이나 문서 제목이 도움이 됩니다.

  2. 지명된 전문가가 답변합니다.

    잠시 후에 그 사람의 이름이 표시됩니다. 경고를 받고 응답하지 않으면 전화를 걸 수 있습니다.

  3. 범위 내에서는 24시간 이내에 접지 및 거부를 강화합니다.

    평범한 평일에는 최악의 근거없는 답변을 중단하고 남은 내용을 알려 드리는 것을 목표로 합니다. 대규모 지식 프로그램은 복잡한 프로젝트입니다.

DevHero가 LLM 통합에서 환각을 줄이는 방법

검색, 프롬프트, 인용, 평가를 검사한 후 경로를 강화합니다. 관심 있는 케이스에 대한 결과를 사람이 확인합니다.

검색, 프롬프트, 도구, 인용 및 평가 부족을 검사합니다. 그런 다음 더 나은 검색, 더 엄격한 접지, 거부, 로깅 및 필요한 경우 인적 검토 단계 등 경로를 강화합니다. 대규모 지식 프로그램은 복잡한 프로젝트입니다. 일반적인 주중 패스는 종종 최악의 오답 클래스를 중지하고 남은 내용을 알려줄 수 있습니다.

  1. 맥락이 보이는 상태에서 실패한 질문을 다시 재생합니다.

    첫 번째 잘못된 단계는 대개 검색입니다. ‘모델이 나쁘다’가 아닙니다.

  2. 필요한 경우 검색 및 코퍼스 위생을 수정합니다.

    청킹, 메타데이터, 오래된 문서 및 명백한 누락.

  3. 거절을 추가하고 유용한 경우 확인할 수 있는 인용을 추가하세요.

    시스템은 모른다고 말할 수 있어야 합니다.

  4. 제품에 필요한 경우 고위험 답변에 대해 인적 검토 단계를 추가합니다.

    정책, 가격, 법적 인접 답변은 완전 자동 경로에 속하지 않을 수 있습니다.

  5. 작은 평가 세트를 남겨주세요

    따라서 다음 프롬프트 변경에는 게이트가 있습니다.

환각 문제에서 처음 24시간 동안 받는 것

범위 안의 일반적인 평일 건에서 목표는 더 단단하고 정직한 연동이지, 완벽하다는 주장이 아닙니다.

  1. 샘플문제가 왜 틀렸는지 진단.

  2. 세션에 맞는 검색, 프롬프트, 거부 또는 인용에 대한 변경입니다.

  3. 우리가 실제로 실행한 소수의 사례 세트이며, 고안된 정확도 비율이 아닙니다.

  4. 사람이 직접 확인한 결과입니다.

  5. 남아있는 위험과 더 큰 프로그램이 필요한지 여부에 대한 참고 사항입니다.

잘못된 AI 답변에 대해 알려드릴 내용

예시와 출처가 중요합니다. 비밀이나 민감한 개인 데이터를 채팅에 붙여넣지 마세요.

제품과 제품이 답변하는 질문의 종류

지원, 검색, 내부 지식 등.

오답 한두개와 사용했어야 할 출처

민감 정보를 제거한 스크린샷 또는 텍스트.

검색 작동 방식(알고 있는 경우)

색인, 파일, 공급업체.

이미 라이브인지 여부

그리고 거절이나 핸드오프를 빠르게 추가할 수 있는지 여부.

이미 갖고 계신 평가 자료

질문 스프레드시트도 유용합니다.

빠르고 긴급한 수정

전문가와 함께하는 처음 4시간 + 무제한 AI: 무료, 고객당 한 번. 그 이후 작업은 유료이며 요청 시 안내합니다. 사람이 이끌고 결과를 확인합니다.

무료 (첫 세션)

복잡한 프로젝트

더 큰 작업은 다른 요금을 쓰며, 요청 시 안내합니다. 계속하기 전에 말씀드립니다.

요청 시

평일, 그다음 주말

기본 계획은 평일만입니다. 주말 작업은 별도 상품입니다. 할증은 통화 전에, 복잡도에 따라 미리 안내합니다. 금액: 요청 시.

요청 시

첫 세션은 무료입니다. 전문가와 함께하는 처음 4시간에 더해 무제한 AI, 고객당 한 번. 그 이후 작업, 복잡한 프로젝트 요금, 주말 요금은 유료이며 요청 시 안내합니다.

고객당 무료 세션 1회: 전문가와 함께하는 처음 4시간, 그리고 도구로서의 무제한 AI.

상황이 익숙하신가요? 메시지를 보내 주세요. 정리해 드립니다.

04

고친 상태를 유지

다음에 하지 말아야 할 일, 이런 작업에서 보는 스택, 수정을 유지하는 방법.

모델이 답을 만들어낼 때 하지 말아야 할 것

일부 '수정'은 유창한 거짓말쟁이를 더욱 자신감 있게 만듭니다.

더 그럴듯하게 들리라고 temperature나 ‘창의성’을 높이기

더 많은 발명품을 얻을 수 있습니다.

코퍼스가 비어 있으면 '항상 응답'하도록 모델에 지시

환각을 요청하셨습니다.

검색 위생 없이 문서 추가

인덱스의 노이즈는 답변의 노이즈가 됩니다.

조작된 정확도 수치 게시

사례를 측정하지 않은 경우 백분율을 만들지 마십시오. 우리도 하나를 발명하지 않을 것입니다.

데모가 순조롭게 진행되었기 때문에 위험도가 높은 답변은 완전 자동으로 남겨두었습니다.

개인은 여전히 가격과 정책을 소유해야 할 수도 있습니다.

LLM 환각을 보는 통합

Tell us the vendor and the retrieval setup. 우리가 그것을 받아들이지 않으면 그렇게 말할 것입니다.

도움말 센터 및 문서 세트에 대한 RAG

가장 일반적인 제품 형태입니다.

지원 및 내부 보조원

잘못된 정책 답변이 비용이 큰 경우.

공급업체 모델을 통한 API

자체 검색 유무에 관계없이.

질문에도 답변해주는 상담원

실패가 조작된 사실인 경우 이 페이지가 적용됩니다. 실패가 도구 루프인 경우 AI 에이전트 페이지를 참조하세요.

수정 후 통합을 정직하게 유지하는 방법

그라운딩은 습관입니다. 평가, 거부, 그리고 고위험 답변에 대한 사람 기준입니다.

Right after the fix

생활평가세트를 유지하라

거부해야 할 질문을 포함하세요.

질문, 맥락, 답변을 기록하세요.

재생 실패.

세트를 실행하지 않고 프롬프트 변경 사항을 배송하지 마십시오.

맛이 부족해요.

코퍼스를 갱신하고 정리하기

오래된 초안은 검색할 수 없어야 합니다.

As you keep shipping

제품에 필요한 경우 확인 가능한 인용을 요구합니다.

그리고 실제로 샘플을 확인해 보세요.

출처가 누락된 경우 건의 또는 거부

유창한 오류보다 도움이 되는 침묵이 더 좋습니다.

고위험 유형의 질문에 대해 사람을 루프에 투입합니다.

하지 말아야 할 이유가 있을 때까지.

사용자가 다시 스크린샷을 보내기 시작하면 증거물을 다시 엽니다.

마지막 수정 사항이 여전히 유효하다고 가정하지 마십시오.

상황이 익숙하신가요? 메시지를 보내 주세요. 정리해 드립니다.

05

이 문제에 대한 질문

이 문제, 세션, 그다음에 대한 분명한 답.

모델을 100% 정확하게 만들 수 있나요?

아니요, 그렇게 말하지 않겠습니다. 근거없는 답변을 줄이고 거부, 견제, 평가를 추가할 수 있습니다.

모델 공급업체를 바꿔야 하나요?

항상 그런 것은 아닙니다. 많은 실패는 검색, 컨텍스트 또는 평가 누락입니다. 모델 변경이 올바른 조치라면 우리는 그렇게 말할 것입니다.

정확도를 계산할 수 있나요?

아니요. 귀하의 시스템에서 실제로 테스트한 사례에 대해서만 이야기하겠습니다.

어떻게 시작하나요?

제품과 오답 예시를 왓츠앱이나 텔레그램에 적어주세요. 양식도 없고 웹 채팅도 없습니다.

문제가 해결될 때까지 기능을 꺼야 합니까?

이미 가격이나 정책을 고안하고 있다면 일시 중지나 의무적 인계가 책임 있는 조치일 수 있습니다. 결정을 도와드리겠습니다.

망가진 AI 에이전트와 같은 걸까요?

겹쳐요. 고안된 답변을 보려면 이 페이지를 사용하세요. 워크플로나 도구 호출이 실패하는 경우 에이전트 페이지를 사용하세요.

우리의 지식은 하나의 색인이 아닌 여러 도구에 있습니다. 아직도 도와주실 수 있나요?

배선 방법을 알려주세요. 지저분한 소스를 통합하는 것은 더 큰 프로젝트일 수 있습니다. 첫 번째 조임은 여전히 ​​범위 내에 있을 수 있습니다.

24시간 안에 가능할까요?

일반적인 평일 패스는 근거 없는 최악의 답변을 중단하고 남은 내용을 알려줄 수 있는 경우가 많습니다. 대규모 지식 프로그램은 복잡한 프로젝트입니다.

챗봇 아이디어를 모두 받아들이시나요?

아니요. 우리는 존재하는 통합에서 어려운 문제를 해결합니다.

오답이 이미 법적으로나 상업적으로 민감한 문제라면 어떻게 될까요?

그렇게 일찍 말해라. 격리와 상담이 필요할 수 있습니다. 우리는 기술적 사실을 고수할 것입니다.

첫 세션이 정말 무료인가요?

네. 고객마다 무료 세션은 한 번입니다. 전문가와 함께하는 처음 4시간에 더해, 도구로서의 무제한 AI. 24시간은 범위 안의 전형적인 평일 건을 시작하고 마무리하려는 속도이지, 24시간의 무급 작업이 아닙니다. 그 이후 작업은 유료이며, 요청 시 안내합니다.

Human First

LLM 환각이 사용자에게 닿고 있습니다. 24시간 안에 해결합니다.

잘못된 AI 답변이 이미 사용자에게 도달한 경우 WhatsApp 또는 Telegram에 글을 작성하세요. 당신은 사람과 이야기하게 될 것입니다.

고객당 무료 세션 1회: 전문가와 함께하는 처음 4시간, 그리고 도구로서의 무제한 AI.

Human First

채널 선택

웹 폼도 웹 채팅도 없습니다. WhatsApp 또는 Telegram으로 쓰시면 전문가가 답합니다. 메시지에는 문제와 페이지가 미리 들어 있습니다.

Telegram은 @brnzai와의 채팅을 엽니다. 이 텍스트는 자동으로 붙여넣기되지 않을 수 있습니다. 복사해서 거기서 보내 주세요: