구글/네이버 키워드 검색과 Perplexity/ChatGPT search의 LLM&RAG 검색 방식

각 서비스의 특징

구글:

• 전통적인 키워드 기반 검색 엔진
• PageRank 알고리즘 등 200여 가지의 랭킹 알고리즘 사용
• 웹 크롤링을 통해 방대한 양의 웹 페이지 정보 수집 및 인덱싱

네이버:

• 포털 서비스의 일부로서의 검색 기능 제공
• C-Rank와 D.I.A 알고리즘 사용
• 자사 플랫폼(블로그, 카페 등) 콘텐츠 위주의 검색 결과 제공

Perplexity:

• RAG 기술을 활용한 AI 기반 검색 서비스
• 실시간 인터넷 탐색과 다중 소스 통합
• 자연어 이해(NLU) 기술 활용

ChatGPT Search:

• 대규모 언어 모델(LLM)과 실시간 웹 검색 결합
• 대화 맥락을 고려한 정보 제공
• 뉴스, 주식, 날씨 등 실시간 데이터 접근 가능

---

검색 방식의 특징

키워드 검색의 특징

• 입력된 키워드와 일치하거나 유사한 단어를 포함한 문서 검색
• 단순한 텍스트 매칭에 기반
• 맥락이나 의미를 깊이 이해하지 못함

LLM과 RAG 방식의 특징

• 자연어 이해를 바탕으로 사용자의 질문 의도 파악
• 실시간 웹 검색을 통해 최신 정보 수집 및 제공
• 여러 출처의 정보를 통합하고 비교하여 신뢰성 높은 정보 제공

키워드 방식과 LLM&RAG 방식의 차이

• 정보 이해 및 처리 방식: 키워드 매칭 vs. 자연어 이해
• 결과 제공 형식: 관련 웹페이지 목록 vs. 종합된 정보 요약
• 실시간성: 주기적 업데이트 vs. 실시간 웹 검색
• 상호작용: 단방향 검색 결과 vs. 대화형 인터페이스

키워드 방식의 한계와 LLM&RAG의 보완사항

• 맥락 이해 부족 → 자연어 처리로 맥락 파악 개선
• 최신 정보 반영 어려움 → 실시간 웹 검색으로 최신 정보 제공
• 복잡한 질문 처리 한계 → 대화 맥락을 고려한 정보 제공
• 정보 통합 능력 부족 → 여러 소스의 정보를 AI가 종합하여 제공

LLM과 RAG의 한계

• 정보의 정확성 검증 어려움
• 외부 데이터 의존으로 인한 처리 속도 저하 가능성
• 창의적이고 독창적인 답변 생성의 한계
• 데이터 일관성 및 신뢰성 관련 과제 존재

---

Perplexity AI 를 통해 질의한 정보를 정리한 글입니다.