Elastic Search 파일 첨부

Elastic Search가 빅데이터 검색엔진으로써 많은 데이터를 검색할 수 있지만

 

첨부 파일의 내용도 검색이 가능합니다. 

 

Elastic Search 파일 첨부 기능을 추가하려면 먼저 "ingest-attachment" 플러그인을 설치해야 합니다.

 

저는 도커 환경에서 Elastic Search를 실행하고 있기 때문에 Elastic Search 컨테이너 접속부터 하겠습니다.

 

Elastic Search 컨테이너 접속

 

Elastic Search 컨테이너에 접속하고 나면 해당 플러그인을 설치합니다.

 

ingest-attachment 플러그인 설치

 

bin/elasticsearch-plugin install ingest-attachment

 

중간에 계속 설치할 건지 물어보는 알림이 뜨는데 "y"입력하고 진행하면 됩니다.

 

파일을 첨부하기 위해서 테스트 파일 하나 만들어보겠습니다.

 

테스트 파일

 

파일을 첨부하려면 해당 파일을 인코딩 사이트에서 base64로 인코딩해야 합니다.

(자바로 인코딩할 수 있는데 시간 관계상 저는 인코딩 사이트에서 하겠습니다.)

 

https://www.base64encode.org/

Base64 Encode and Decode - Online

 

파일을 인코딩하면 인코딩 파일을 다운받게 됩니다.

 

인코딩 파일을 확인하면 아래와 같이 되어있습니다.

 

인코딩한 테스트 파일

 

그리고 해당 인코딩 파일을 Elastic Search 인덱스에 추가합니다.

 

Kibana에 접속해서 Elastic Search 인덱스를 생성합니다.

 

인덱스 생성 및 조회

 

그리고 ingest 첨부파일 프로세스 생성합니다.

 

ingest 첨부파일 프로세스 생성 실패 화면

 

그러나 ingest 첨부파일 프로세스 생성하다가 위와 같이 에러가 발생할 경우

 

Elastic Search를 재부팅하고 다시 ingest 첨부파일 프로세스 생성하면 됩니다.

 

ingest 첨부파일 프로세스 생성 성공 화면

 

인코딩 파일을 Elastic Search 인덱스에 추가합니다.

 

인코딩 파일 Elastic Search 인덱스 추가

 

인덱스에 잘 추가됐는지 확인합니다.

 

인덱스 확인

 

해당 인코딩 파일이 정상적으로 추가된 것을 확인할 수 있습니다.

 

그리고 파일 내용으로 Elastic Search 인덱스 검색하겠습니다.

 

Elastic Search 인덱스 검색

 

위와 같이 첨부파일을 Elastic Search 인덱스에 추가함으로써

 

해당 파일의 내용 검색이 가능한 것을 확인할 수 있습니다.

 

이번 글은 아래의 블로그 참고해서 작성했습니다.

 

https://m.blog.naver.com/PostView.naver?isHttpsRedirect=true&blogId=xomyjoung&logNo=221777510199

[자기개발/엘라스틱서치(elasticsearch)-#18] 엘라스틱서치에서 비정형 데이터 처리하기(PDF, EXCEL, video