Engineering Note

TF-IDF(Term Frequency–Inverse Document Frequency)- 텍스트 데이터를 수치화할 때, 단어의 중요도를 계산하기 위해 사용되는 방법 TF-IDF를 사용하는 대표적인 경우문서 검색 및 정보 검색(IR, Information Retrieval)사용자가 검색한 키워드와 문서의 관련성을 계산할 때 사용예: 검색 엔진에서 “네이버 쇼핑” 검색 시, 문서마다 키워드 중요도를 계산해 순위를 매김문서 요약 / 핵심 키워드 추출문서에서 중요한 단어나 주제를 뽑아내고 싶을 때예: 뉴스 기사에서 핵심 키워드만 추출텍스트 분류 / 머신러닝 입력 데이터 생성문서를 벡터화해서 ML 모델에 넣고 싶을 때예: 이메일 스팸 분류, 감성 분석유사도 계산두 문서 간의 유사도를 계산할 때 TF-IDF 벡터..

Prompt Engineering 이란?- Prompt란 AI에게 명령을 하기 위한 입력을 특별히 Prompt라고 하는데, Prompt Engineering은 GPT와 같은 언어모델이 사용자가 원하는 답변을 유도하도록 하기 위해 문장을 입력하고 효과적으로 설계하는 작업을 의미한다. 1. 역할 부여하기 2. 원샷 프롬프팅과 퓨샷 프롬프팅원샷 프롬프팅- GPT같은 LLM 모델이 원하는 패턴에 맞춰 답변하도록 예시를 한 번 제시해서 유도하는 방식 퓨샷 프롬프팅- 예시를 여러 번 알려 주는 방식 참고 자료 : Do it! LLM을 활용한 AI 에이전트 개발 입문(이성용)

출처: 혼자공부하는 머신러닝(박해선 지음)인공지능과 머신러닝, 딥러닝인공지능이란?인공지능은 사람처럼 학습하고 추론할 수 있는 지능을 가진 컴퓨터 시스템을 만드는 기술입니다.머신러닝이란?머신러닝은 규칙을 일일이 프로그래밍하지 않아도 자동으로 데이터에서 규칙을 학습하는 알고리즘을 연구하는 분야입니다. 인공지능의 하위분야 중에서 지능을 구현하기 위한 소프트웨어를 담당하는 핵심 분야입니다.머신러닝은 통계학과 깊은 관련이 있습니다. 통계학에서 유래된 알고리즘이 많으며 통계학과 컴퓨터 과학 분야가 상호 작용하면서 발전하고 있습니다. 대표적인 오픈소스 통계 소프트웨어인 R에는 다양한 머신러닝 알고리즘이 구현되어 있습니다.하지만 최근머신러닝의 발전은 통계나 수학 이론보다 경험을 바탕으로 발전하는 경우도 많습니다. 컴퓨..