목록IT/LLM (6)

너드한 일상

[RAG] LLM 기반 RAG 시스템 아키텍처 정리: Retriever·Reranker·Chunking 전략까지

안녕하세요 티아입니다👋요즘, LLM을 공부하면 RAG라는 단어를 들어보지 않을 수 없을 정도인데요,이 RAG가 무엇인가 공부하며 제가 이해한 내용에 대해포스팅해보려 합니다. 1. RAG가 해결하는 문제 정의기본적인 LLM은 고정된 파라미터 안의 분포 정보만 사용하기 때문에,모델 파라미터 밖의 지식(사내 문서, 도메인 스키마, 최신 데이터)을 반영할 수 없고,사실 기반 응답 보장이 어렵고,업데이트하려면 재학습 또는 미세조정이 필요하다는 구조적 한계를 가진다.RAG는 이 문제를 해결하기 위해외부 지식 소스(retriever)와 LLM(generator)을 분리하여 결합하는 아키텍처다.2. RAG의 핵심 개념 (기술적으로 정확한 정의)RAG(Retrieval-Augmented Generation)는 질의..
IT/LLM 2025. 12. 16. 18:22
[LLM] 무료로 쓰는 최신 LLM, GPT‑OSS 분석

안녕하세요 티아입니다👋2025년 8월 5일, OpenAI가 GPT-OSS라는 오픈소스 모델을 공개했는데요,최근 OpenAI가 공개한 GPT-OSS 시리즈는 단순히 오픈소스로 푼 GPT가 아닙니다.특히 20B 모델은 MMLU 기준 상위 10위권에 오르며,심지어 Gemini-2.5-Pro 바로 뒤에 위치할 정도로 놀라운 벤치마크 성능을 기록했습니다.월 200달러 구독료도, ‘호수 물’도 필요 없는,사실상 전기요금 수준(거의 무료)으로 최신 모델을 쓸 수 있다는 건 진짜 놀라운 경험이었습니다. 🧪 직접 돌려본 소감: 기대와 현실의 괴리 하지만 실제 체감은 조금 달랐습니다.강 건너기 문제(라벨만 바뀐)조차 해결하지 못하는 경우가 있었음SOTA 모델과는 여전히 큰 격차 존재심지어 일부 상황에서는 Qw..
IT/LLM 2025. 9. 8. 18:03
[LLM] 한국형 LLM 4종 비교: Mi:dm(믿음), A.X(에이닷엑스), Konan OND, HyperCLOVAX SEED Think

안녕하세요 티아입니다😺2025년 7월, 한국의 ICT 기업들이 앞다투어 한국어 특화 LLM을 오픈소스로 공개했습니다. 각 모델은 크기, 성능, 경량화 정도, 활용 가능성 등에서 차별점을 가지며, 특히 경량형 모델(mini/light) 들은 로컬 활용성, 응답 속도, 비용 효율성 측면에서 주목받고 있습니다. 이번 글에서는 다음 네 모델의 경량 버전을 중심으로 비교합니다: 🟧 KT: Mi:dm 2.0 Mini🟦 SKT: A.X 4.0 Light🟩 코난테크놀로지: Konan LLM OND🟨 네이버: HyperCLOVAX SEED Think 14B (경량화 특화 구조) 📊 1. 요약 비교 테이블항목KT Mi:dm MiniSKT A.X LightKonan LLM ONDHyperCLOVAX SEE..
IT/LLM 2025. 8. 5. 18:16
[논문 리뷰] Yangning L외, EcomGPT: Instruction-Tuning Large Language Models with Chain-of-Task Tasks for E-commerce

안녕하세요, 티아입니다! 👋 최근에 ChatGPT 같은 지시문 기반 대형 언어 모델(LLM)이 정말 다양한 자연어 처리(NLP) 작업에서 뛰어난 성능을 보여주고 있죠. 그런데 막상 이걸 그대로 전자상거래(E-commerce) 현장에 갖다 쓰려면 생각보다 만만치가 않습니다. 상품명, 리뷰, 스펙 같은 데이터는 일반 텍스트랑은 다르게 도메인 특화 용어도 많고 구조도 복잡해서 그렇습니다. 이번에 소개해드릴 논문은 이런 한계를 해결해보려고 세계 최초로 전자상거래 전용 대규모 지시 데이터셋(EcomInstruct)을 만들고, 그걸로 EcomGPT라는 모델까지 학습한 연구입니다. 특히 이 논문에서는 ‘Chain-of-Task’라는 개념으로 작은 단위 작업(Atomic Task)을 정의해서, 다양한 상황에서도 잘 ..
IT/LLM 2025. 7. 2. 18:48
[RAG] 한국어 Re-Ranker 기반 RAG: 검색 기반 생성 모델의 정밀도 향상을 위한 접근

안녕하세요 티아입니다😎RAG(Retrieval‑Augmented Generation)는 벡터 검색과 대규모 언어 모델을 결합해 최신 정보에 기반한 응답을 생성하는 프레임워크입니다. 하지만 실제 서비스에서는 단순한 벡터 유사도 기반 검색만으로는 충분하지 않습니다.이번 글에서는 특히 한국어 Reranker를 도입해 검색 정확도를 어떻게 향상시킬 수 있는지를 소개합니다.🧠 Reranker란 무엇인가?Reranker는 검색된 문서 후보들을 다시 평가하여 가장 관련 있는 순서로 재정렬하는 모델입니다.왜 필요할까?벡터 검색은 빠르지만 문장 간 깊은 문맥 이해가 부족해 중요한 문서를 놓칠 수 있습니다.예를 들어, 질문 “갤럭시 S22 울트라 배터리 용량은?”에 대해 벡터 검색으로 100개 문서를 찾았을 때, 가장..
IT/LLM 2025. 6. 26. 10:02
[프롬프트 엔지니어링] 구글의 프롬프트 엔지니어링 백서로 배우는, LLM과 소통하는 법

요즘 ChatGPT 같은 대규모 언어모델(LLM) 이 화제죠. 하지만 많은 분들이 궁금해하십니다.“어떻게 하면 AI와 더 효과적으로 대화할 수 있을까?”오늘은 구글에서 공개한 Lee Boonstra의 프롬프트 엔지니어링 백서를 바탕으로,프롬프트 엔지니어링의 핵심 개념과 실용적인 기법들을비전공자도 이해할 수 있도록 쉽게 소개해드릴게요.데이터 과학자나 머신러닝 엔지니어가 아니어도 괜찮습니다.프롬프트는 누구나 쓸 수 있으니까요!🤖 프롬프트 엔지니어링이란?간단히 말해,LLM이 우리가 원하는 결과물을 잘 만들어내도록 입력 문장을 설계하는 과정입니다.LLM은 기본적으로 다음에 올 단어를 예측하는 엔진입니다.그런데 우리가 던지는 프롬프트가 바로 이 예측의 방향을 결정하는 나침반이 되는 거죠. ⚙️ 핵심 설정값: 출..
IT/LLM 2025. 5. 14. 19:00
이전 Prev 1 Next 다음