No Fear.

최근 자연어 처리(NLP) 및 컴퓨터 비전(CV) 분야에서 임베딩(Embedding) 기술의 발전은 데이터 검색과 정보 처리의 방식을 혁신적으로 변화시켰습니다. 임베딩은 텍스트, 이미지, 오디오 등 다양한 유형의 데이터를 고차원 벡터로 변환하여 의미적 유사성을 기반으로 처리할 수 있게 합니다. 이와 함께 "벡터 데이터베이스(Vector Database)"는 임베딩된 벡터 데이터를 효율적으로 저장, 관리, 검색하기 위한 새로운 데이터베이스 솔루션으로 주목받고 있습니다. 벡터 데이터베이스란? 벡터 데이터베이스는 주로 임베딩된 벡터 데이터를 저장하고 관리하는 데 최적화된 데이터베이스입니다. 이 벡터들은 일반적인 관계형 데이터베이스(RDBMS)에서 처리하기 어려운 고차원 데이터를 의미하며, 벡터 데이터베이스는 ..

AI 2024. 10. 9. 07:24

"검색 증강 생성(RAG: Retrieval-Augmented Generation)"은 최근 자연어 처리(NLP) 및 생성형 AI 분야에서 중요한 기법으로 자리 잡고 있습니다. 이 방식은 기존의 언어 모델이 단순히 학습된 데이터만을 바탕으로 응답을 생성하는 것과 달리, 외부 데이터베이스 또는 문서에서 실시간으로 정보를 검색한 후, 이를 기반으로 답변을 생성합니다. 즉, RAG는 검색(Search)과 생성(Generation)의 조합으로, 더욱 정확하고 시의성 있는 응답을 생성할 수 있습니다.RAG의 구조 ▣ 1) 검색 단계RAG의 첫 번째 단계는 외부 데이터 소스(예: 데이터베이스, 웹, 사전 구축된 문서 저장소 등)에서 관련 정보를 검색하는 과정입니다. 이때 사용되는 기술은 기존의 검색 시스템과 유사하..

AI 2024. 10. 1. 22:02

ChatGPT API란?ChatGPT API는 OpenAI에서 제공하는 언어 모델 API로, 사용자는 이를 통해 대화형 인공지능 모델인 GPT를 다양한 애플리케이션에 통합할 수 있습니다. 이 API는 텍스트 기반의 입력을 받아 GPT 모델이 학습한 데이터와 패턴을 바탕으로 적절한 응답을 생성합니다. 이를 통해 챗봇, 자동화된 고객 지원 시스템, 언어 번역, 문서 요약 등 다양한 서비스를 구축할 수 있습니다.  ChatGPT API의 주요 매개변수 목록  매개변수설명형기본값필수/선택예시model사용할 GPT 모델을 지정.문자열없음필수"gpt-3.5-turbo"messages대화의 내용을 전달하는 필드로, 각 메시지는 role과 content로 구성.배열없음필수[{"role": "user", "content..

AI 2024. 9. 29. 13:25

1) 제로샷 프롬프트 (Zero-shot Prompt) 제로샷 프롬프트는 별도의 예시나 힌트를 제공하지 않고, 질문이나 요청을 바로 던지는 방식을 말합니다. 즉, 모델이 어떤 예시도 받지 않은 상태에서, 주어진 질문이나 명령만으로 답변을 생성하는 것을 의미합니다. 이는 새로운 작업이나 주제에 대한 일반화된 능력을 평가할 때 주로 사용됩니다. 예시 문장 1: "고양이에 대해 글을 작성해 주세요."예시 문장 2: "주식 시장에서 발생할 수 있는 주요 리스크를 설명해 주세요."예시 문장 3: "머신러닝의 기본 개념을 설명해 주세요." 2) 원샷 프롬프트 (One-shot Prompt)원샷 프롬프트는 한 가지 예시를 제공한 후, 모델에게 그 예시에 기반한 응답을 생성하도록 요구하는 방식입니다. 단 한 번의 예시..

AI 2024. 9. 22. 10:20

▣ ChatGPT에서 자주 사용하는 기본 개념 8가지 1) 프롬프트 엔지니어링(prompt engineering) 프롬프트 엔지니어링은 AI 모델에게 원하는 답변을 얻기 위해 질문이나 요청을 잘 구성하는 기술입니다. 쉽게 말해, ChatGPT 같은 AI에게 질문할 때 어떻게 물어보면 더 정확하고 유용한 답변을 얻을 수 있는지를 고민하는 과정입니다. 예를 들어, "오늘 날씨 어때?"라고 물어보는 것과 "서울의 오늘 날씨는 어떠한가요?"라고 물어보는 것의 차이를 이해하고, 더 좋은 답변을 얻기 위해 질문을 조정하는 것이죠. 2) 자연어 처리(NLP, Natural Language Processing) 자연어 처리는 컴퓨터가 인간의 언어를 이해하고 처리할 수 있도록 하는 기술입니다. 우리가 일상적으로 사용하는..

AI 2024. 8. 24. 15:46

1. Confluent Platform 컨플루언트(Confluent)는 링크드인에서 Kafka를 만들었던 제이 크랩스와 그의 동료들이 설립한 회사이다. 컨플루언트는 아파치 카프카를 기반으로 하는 데이터 스트리밍 플랫폼으로써, 컨플루언트 카프카라고 불리는 것은 컨플루언트 플랫폼이 포함된 카프카 배포판이라고 볼 수 있다. 2. 설치 설치 OS: CentOS 7 설치 버전: Confluent paltform 6.2.x community 버전 ▣ 소프트웨어 다운로드 및 설치 YUM 리포지토리는 RHEL, CentOS 및 Fedora 기반 배포용 패키지를 제공합니다. 개별 Confluent Platform 패키지 또는 전체 플랫폼을 설치할 수 있습니다. 1) curl, which tool 설치 sudo yum i..

Kafka 2022. 11. 18. 00:17

설치 OS : Ubuntu 18.04.6 LTS 설치 DB : mysql Ver 8.0.31 for Linux on x86_64 (MySQL Community Server - GPL) 1) MySQL8 APT Repository 다운로드 및 설치 // 다운로드 wget https://dev.mysql.com/get/mysql-apt-config_0.8.24-1_all.deb Repository 버전은 아래 MySQL 사이트 하단에 보이는 버전을 추가하였다. https://dev.mysql.com/downloads/repo/apt/ MySQL :: Download MySQL APT Repository The MySQL APT repository provides a simple and convenient w..

WEB & Mobile 2022. 10. 30. 14:11

설치 OS : CentOS Linux release 7.9.2009 (Core) KAFKA Version : 2.8.1 (1) 자바 설치 카프카 브로커를 실행하기 위해 JDK가 필요하다. 카프카 브로커는 스칼라와 자바로 작성되어 JVM 환경 위에서 실행되기 때문이다. // openJDK 설치 $ sudo yum install -y java-1.8.0-openjdk-devel.x86_64 // 자바 버전 확인 $ java -version (2) 카프카 다운로드 카프카 브로커를 실행하기 위해서 카프카 바이너리 패키지를 다운로드한다. 카프카 공식 홈페이지 다운로드 페이지에서 다운로드할 수 있다. (https://kafka.apache.org/downloads) // 카프카 다운로드 $ wget https://..

Kafka 2022. 2. 15. 15:11

SSH Client 사용 시 별다른 작업을 하지 않으면 자동으로 종료되는 현상을 경험하곤 한다. 해당 현상은 리눅스의 Screen을 사용 할 때도 마찬가지이다. 아래와 같은 방법을 통하여 해당 현상을 방지 할 수 있다. 사용 OS : Ubuntu 16.04 ■ SSH 설정 변경 1) /etc/ssh/sshd_config 파일을 연다. $ sudo vim /etc/ssh/sshd_config 2) 아래의 항목을 수정하거나 추가한다. TCPKeepAlive yes ClientAliveInterval 60 ClientAliveCountMax 99999 ClientAliveInterval은 클라이언트가 살아있는지 확인하는 간격(초)이고 ClientAliveCountMax는 클라이언트가 살아있지 않아도 응답하는 ..

Linux 일반 2020. 5. 7. 14:13

한국소프트웨어산업 협회에서 2020년 적용 SW기술자 평균 임금 공표가 되어 공유합니다. 원본 내용의 위치는 아래와 같습니다. https://www.sw.or.kr/site/sw/ex/board/View.do?cbIdx=304&bcIdx=44509&searchExt1= 통계법 제27조(통계의 공표)에 따라 『2019년 SW기술자 임금실태조사 (통계승인 제37501호)』의 SW기술자 평균임금을 공표합니다. ■ 본 평균임금을 SW사업대가 활용시 유의사항 ※ 본 조사결과는 SW사업에서 반드시 활용해야 하는 강제사항은 아님 * SW기술자 평균임금은 소프트웨어산업진흥법 제22조(소프트웨어사업의 대가지급) 4항 '소프트웨어기술자의 노임단가'를 지칭함 * SW기술자 평균임금은 기본급, 제수당, 상여금, 퇴직급여충당금..

While at Work 2020. 2. 10. 11:49

▣ 개발환경 설정하기 스프링이 발전하고 스프링 부트가 개발되면서 개발환경을 설정하기가 쉬워졌습니다. 스프링에서 제공하는 STS(Spring Tool Suite)를 사용하면 스프링 개발을 진행 할 수 있는 각종 환경이 설정 됩니다. 1) JDK 설치 가장 먼저 자바 개발을 위한 JDK(Java Development Kit)을 설치합니다. JDK 설치는 아래의 링크된 내용을 참고 하시면 됩니다. 2016/07/09 - [JAVA Language] - [JAVA]자바 환경 설정(JDK) 2) STS(Spring Tool Suite) 다운로드 및 설치 자바 개발을 할때 사용하는 IDE 중 IntelliJ가 많이 사용되지만, IntelliJ의 무료 버전인 Community Edition은 기본적으로 스프링 부트를..

Spring & Spring Boot 2019. 11. 28. 23:20

■ 우분투(Ubuntu) Node.js 설치 사용 OS : Ubuntu 16.04.01공식 사이트 : https://nodejs.org/GitHub : https://github.com/nodejs ■ Node.js 란? Node.js는 크롬 V8 자바스크립트 엔진으로 빌드된 자바스크립트 런타임입니다. Node.js는 이벤트 기반, 논블로킹 I/O 모델을 사용해 가볍고 효율적입니다. Node.js의 패키지 생태계인 npm은 세계에서 가장 큰 오픈 소스 라이브러리 생태계이기도 합니다. [노드 내부 구조] ■ 설치 [10 버전 기준]// build-essential , curl 설치, 설치된 경우라면 생략하면됨.$ sudo apt-get update$ sudo apt-get install -y build-e..

WEB & Mobile 2019. 2. 21. 13:14

■ 소프트웨어 형상과 형상항목 □ 소프트웨어 형상관리 ▷ 소프트웨어 형상관리(Software Configuration Management)의 정의 - "소프트웨어의 변경사항을 체계적으로 추적하고 통제하는것"- "프로젝트 생명주기 전체 기간 동안의 작업 산출물에 대해 베이스라인을 수립하고, 주요 단계별로 변경을 추적하고 통제하여 작업 산출물의 무결성을 보장하는 것"▷ 소프트웨어 형상관리(Software Configuration Management)의 목적- 프로젝트의 생명 주기 동안 제품의 무결성(integrity)과 변경에 대한 추적성(traceability)을 확보하기 위한 활동소프트웨어는 본질적으로 비가시성, 복잡성, 변경성, 순은성, 무형성, 장수성 등과 같은 특징을 가지고 있고, 형상관리와 관련해..

Software Engineering 2019. 1. 22. 16:59

■ 리눅스 파이프(pipe) 명령어 리눅스 쉘에서 사용하는 명령어 들은 명령어를 조합 및 연결하여 많이 사용하는데, "|" (vertical bar) 문자를 사용하여 두 명령어를 연결해 주면 앞에서 실행한 명령의 연결 값을 뒤에 적은 명령의 입력으로 사용하는 것을 지칭 합니다. 즉, 파이프로 연결된 하나의 표준 출력을 다른 명령의 표준 입력으로 사용한다는 의미가 됩니다. 예제를 통하여 사용법을 알아 봅니다. □ 파이프 예제 1 ls -lt | head 파일 목록 중 시간 단위로 최근의 파일을 화면에 출력하는데 head, 즉 10개의 라인만 출력해 주는 명령어 입니다. □ 파이프 예제 2 du -h | sort -nr du 명령은 현재 디렉터리와 하위 디렉터리의 파일 용량을 표시해 주는데, -h 옵션을 사..

Linux 일반 2019. 1. 18. 15:26

■ Visual Studio Code(VSCode) 란? Visual Studio Code(이하 VSCode)는 MS에서 제공하는 크로스 플랫폼 에디터로 다양한 언어를 서포트 하며 IntelliSense, Debugging, Built-in Git, Extensions 등의 기능를 제공 합니다. 기존에 Front-End 개발에 Sublime Text를 사용하셨던 분들도 최근에는 VSCode를 많이 사용하시는 것 같습니다. (무료, 오픈소스) 다운로드는 https://code.visualstudio.com/ 에 접속하셔서 본인의 OS에 맞는 버전을 다운로드 받아 설치 하시면 됩니다. (Window, Linux, Mac 모두 지원) ■ Visual Studio Code 에서 Git 사용하기 [사용 버전] 버..

Software Engineering 2019. 1. 18. 10:29