너드한 일상

안녕하세요 티아입니다👋요즘, LLM을 공부하면 RAG라는 단어를 들어보지 않을 수 없을 정도인데요,이 RAG가 무엇인가 공부하며 제가 이해한 내용에 대해포스팅해보려 합니다. 1. RAG가 해결하는 문제 정의기본적인 LLM은 고정된 파라미터 안의 분포 정보만 사용하기 때문에,모델 파라미터 밖의 지식(사내 문서, 도메인 스키마, 최신 데이터)을 반영할 수 없고,사실 기반 응답 보장이 어렵고,업데이트하려면 재학습 또는 미세조정이 필요하다는 구조적 한계를 가진다.RAG는 이 문제를 해결하기 위해외부 지식 소스(retriever)와 LLM(generator)을 분리하여 결합하는 아키텍처다.2. RAG의 핵심 개념 (기술적으로 정확한 정의)RAG(Retrieval-Augmented Generation)는 질의..

안녕하세요, 티아입니다! 👋 딥러닝 모델이 점점 강력해지면서, 이미지 분류나 자연어 처리 같은 다양한 분야에서 놀라운 성능을 보여주고 있죠.그런데 모델이 너무 똑똑해진 탓일까요?현실 세계 데이터를 그대로 학습시키면 오히려 문제가 더 커지는 경우가 있습니다.예를 들어, 라벨에 오타가 있거나,사람이 잘못 붙인 오라벨(mislabeled sample)이 섞여 있다면,요즘 딥러닝 모델은 그걸 그냥 그대로 외워버립니다.이렇게 noisy·unclean 데이터가 섞인 환경은 실제 AI 산업 어디에나 존재합니다.그러니 “라벨이 완벽하지 않은 데이터로도 강건한 모델을 만드는 법” 은 필수 연구 주제가 됐죠. 오늘 소개할 논문은 바로 이 문제를 정면으로 다룹니다.KAIST DMLab에서 발표한 SELFIE(Self-Re..

안녕하세요 티아입니다👋2025년 8월 5일, OpenAI가 GPT-OSS라는 오픈소스 모델을 공개했는데요,최근 OpenAI가 공개한 GPT-OSS 시리즈는 단순히 오픈소스로 푼 GPT가 아닙니다.특히 20B 모델은 MMLU 기준 상위 10위권에 오르며,심지어 Gemini-2.5-Pro 바로 뒤에 위치할 정도로 놀라운 벤치마크 성능을 기록했습니다.월 200달러 구독료도, ‘호수 물’도 필요 없는,사실상 전기요금 수준(거의 무료)으로 최신 모델을 쓸 수 있다는 건 진짜 놀라운 경험이었습니다. 🧪 직접 돌려본 소감: 기대와 현실의 괴리 하지만 실제 체감은 조금 달랐습니다.강 건너기 문제(라벨만 바뀐)조차 해결하지 못하는 경우가 있었음SOTA 모델과는 여전히 큰 격차 존재심지어 일부 상황에서는 Qw..

안녕하세요 티아입니다😺2025년 7월, 한국의 ICT 기업들이 앞다투어 한국어 특화 LLM을 오픈소스로 공개했습니다. 각 모델은 크기, 성능, 경량화 정도, 활용 가능성 등에서 차별점을 가지며, 특히 경량형 모델(mini/light) 들은 로컬 활용성, 응답 속도, 비용 효율성 측면에서 주목받고 있습니다. 이번 글에서는 다음 네 모델의 경량 버전을 중심으로 비교합니다: 🟧 KT: Mi:dm 2.0 Mini🟦 SKT: A.X 4.0 Light🟩 코난테크놀로지: Konan LLM OND🟨 네이버: HyperCLOVAX SEED Think 14B (경량화 특화 구조) 📊 1. 요약 비교 테이블항목KT Mi:dm MiniSKT A.X LightKonan LLM ONDHyperCLOVAX SEE..

안녕하세요, 티아입니다! 👋 최근에 ChatGPT 같은 지시문 기반 대형 언어 모델(LLM)이 정말 다양한 자연어 처리(NLP) 작업에서 뛰어난 성능을 보여주고 있죠. 그런데 막상 이걸 그대로 전자상거래(E-commerce) 현장에 갖다 쓰려면 생각보다 만만치가 않습니다. 상품명, 리뷰, 스펙 같은 데이터는 일반 텍스트랑은 다르게 도메인 특화 용어도 많고 구조도 복잡해서 그렇습니다. 이번에 소개해드릴 논문은 이런 한계를 해결해보려고 세계 최초로 전자상거래 전용 대규모 지시 데이터셋(EcomInstruct)을 만들고, 그걸로 EcomGPT라는 모델까지 학습한 연구입니다. 특히 이 논문에서는 ‘Chain-of-Task’라는 개념으로 작은 단위 작업(Atomic Task)을 정의해서, 다양한 상황에서도 잘 ..

안녕하세요 티아입니다😎RAG(Retrieval‑Augmented Generation)는 벡터 검색과 대규모 언어 모델을 결합해 최신 정보에 기반한 응답을 생성하는 프레임워크입니다. 하지만 실제 서비스에서는 단순한 벡터 유사도 기반 검색만으로는 충분하지 않습니다.이번 글에서는 특히 한국어 Reranker를 도입해 검색 정확도를 어떻게 향상시킬 수 있는지를 소개합니다.🧠 Reranker란 무엇인가?Reranker는 검색된 문서 후보들을 다시 평가하여 가장 관련 있는 순서로 재정렬하는 모델입니다.왜 필요할까?벡터 검색은 빠르지만 문장 간 깊은 문맥 이해가 부족해 중요한 문서를 놓칠 수 있습니다.예를 들어, 질문 “갤럭시 S22 울트라 배터리 용량은?”에 대해 벡터 검색으로 100개 문서를 찾았을 때, 가장..

안녕하세요 티아입니다👋Python 유저라면 GIL(Global Interpreter Lock)에 따른 멀티스레딩 한계에 답답함을 느껴본 적 있으실 겁니다. "멀티스레딩이라더니, 왜 CPU 병렬 처리를 못 하죠?"라는 의문은 많은 이들의 공통된 고민이었죠.그런데, 2025년 6월 16일 Python Steering Council이 PEP 779를 공식 승인하면서 Python 3.14에서의 free-threaded(GIL 없는) 빌드는 더 이상 실험적 기능이 아닌, 공식적으로 지원되는 옵션이 되었습니다.이제 Python도 멀티코어 환경을 제대로 활용할 수 있는 시대가 열리는 걸까요?✅ PEP 779란?PEP 703(Making the Global Interpreter Lock Optional)의 연장선상이..

안녕하세요 티아입니다 😺최근 구글의 AI 검색(AI Overviews) 도입으로 "SEO(Search Engine Optimization)는 이제 끝났다"는 말이 심심치 않게 들려옵니다. 검색 결과를 요약해 보여주는 AI의 등장이, 더는 웹사이트 최적화가 무의미해졌다는 주장에 힘을 실어주는 듯합니다.하지만 이 말, 과연 사실일까요?이 질문에 대해 업계에서 ‘SEO Rockstar’라 불리는 Greg Boser는 단호하게 말합니다.“SEO는 끝난 게 아니다. 오히려, 변화하고 있을 뿐이다.”📌 AI 검색은 ‘새로운 혁명’이 아니다Greg Boser에 따르면, 지금의 AI 검색은 완전히 새로운 게 아니라, 기존 구글 기능의 연장선에 불과합니다.AI Overviews는 단지 정보 요약과 관련 링크 제공의 ..