728x90
반응형
SMALL

IT 37

[Elasticsearch] ILM - Cluster 성능 개선

[Elasticsearch] ILM - Cluster 성능 개선  인덱스 수명 주기(Index Lifecycle Management, ILM)데이터의 수명 주기를 관리하고 정의하는 기능이를 사용하면 데이터를 적절한 시점에 생성, 업데이트, 삭제하고, 디스크 공간을 효과적으로 활용이 가능주로 로그 데이터와 같이 시간이 지남에 따라 더 이상 필요하지 않는 데이터를 자동으로 삭제하는 데 사용     인덱스 수명 주기 구성Hot Phase (핫 페이즈): 데이터가 활발하게 쓰이는 단계로, 최근 데이터를 저장하는데 사용Warm Phase (웜 페이즈): Hot Phase에서 더 이상 업데이트되지 않은 데이터를 따로 보관하는 단계,이 단계에서는 검색 성능을 향상시키기 위해 인덱스를 최적화 할 수 있다Cold Pha..

IT/Elasticsearch 2024.07.10

[개발방법론] TDD, BDD, DDD 개념 정의 차이 설명 약자

TDD, BDD, DDD는 모두 소프트웨어 개발 방법론의 일환으로,각각의 방법론은 다른 관점에서 소프트웨어를 설계하고 개발하는 데 중점을 둔다.    스포 요약 !!!!TDD: 코드 품질 향상과 버그 감소에 초점을 맞춘 테스트 중심 개발 방법론.BDD: 사용자 기능을 중심으로 개발하며, 명시적인 스펙과 예제를 통해 팀 간의 원활한 커뮤니케이션을 지향하는 개발 방법론.DDD: 도메인 지식을 중심으로 하여 복잡한 도메인을 이해 가능한 모델로 설계하는 방법론.     TDD (Test-Driven Development)TDD는 테스트 주도 개발을 의미하며, 소프트웨어 개발 방법론 중 하나로 개발자가 코드를 작성하기 전에 테스트 케이스를 먼저 작성하는 방식입니다. 일반적으로 TDD는 다음과 같은 세 단계를 반복..

IT/개론 2024.07.09

[Spring Batch] Tasklet vs Chunk 비교 특징 차이 장단점

스프링 배치 개발 시 두 가지 타입이 있습니다:Tasklet: 한 번에 처리하는 방식Chunk: 데이터를 덩어리로 나누어 처리하는 방식    Job 설정 파일을 개발할 때의 과정은 다음과 같습니다:Config 파일 생성Job Bean 생성Step Bean 생성   특징:Job은 여러 개의 Step 실행 순서를 정의합니다. Job과 Step은 1관계입니다.Step은 Chunk (Reader, Processor, Writer) 방식 또는 Tasklet 방식 중 용도에 맞게 선택하여 구현할 수 있습니다. Step과 Tasklet(또는 Chunk)은 1:1 관계입니다.반드시 JobListener와 StepListener를 사용해야 합니다.     차이 비교Tasklet 또는 Chunk 개발시 1. Tasklet..

IT/java|Spring 2024.07.08

[Elasticsearch] 백엔드 장애 감지 알림 시스템 구축 (ELK 기반 준실시간 서버 로그 모니터링)

[Elasticsearch] 백엔드 장애 감지 알림 시스템 구축 (ELK 기반 준실시간 서버 로그 모니터링)  Mission.비즈니스 로직상 오류나 장애가 발생하면,어떻게 신속 정확히 인지할 수 있을까? 정답 : Elasticsearch 로 기능 만들어서 알림 보내자 !      AS - IS1. RDBS에서 SQL 기반으로 데이터 정합성 체크 후 알림     ex) 결제정보 저장 테이블의 카드사 코드 컬럼 데이터 누락SELECT ORDER_NOFROM CARD_INFOWHERE GARD_GBCD IS NULL            2. 비즈니스 로직 자체에 분기된 예외처리 체크 후 알림     ex) 임의의 오류코드에 대한 분기처리에 알림기능 직접 구현 ..

IT/Elasticsearch 2024.07.06

[Elasticsearch] 회사 내부 첨부파일의 내용을 통합 검색할 수 있다면? (feat. Fasoo DRM, Tika, Confluence)

※ 사내 기밀은 담지 않도록 ※[Elasticsearch] 회사 내부 첨부파일의 내용을 통합 검색할 수 있다면? (feat. Fasoo DRM, Tika, Confluence)    구글링할 수 없는 내부 문서중에서 어떤거 하나 찾으려면일일이 열어보고~ ~   스크롤을 돌려가며~~ 눈을 부릅뜨고 찾는다..? 시력 베린다.. 개별 파일을 직접 열어보지 않고도내부 문서의 위치와 내용을 효율적으로 파악하자~~~~~~~~~       회사 내부에서 업로드된 다양한 첨부파일(pdf, csv, xlsx 등)에 포함된계약서, 매뉴얼, 업무 프로세스 등의 내용을 효율적으로 검색하기 위해Elasticsearch를 활용하자. 추가적으로 Fasoo DRM 복호화와 Tika 라이브러리를 사용하여 첨부파일 속 컨텐츠를 추출했다..

IT/Elasticsearch 2024.07.05

[서버] 서버 개발을 위한 평생 무료 클라우드 및 가상머신 알아보기 (+무료 호스팅 배포는 덤)

나는 지금 개발하기 위해 서버가 필요하다.  각 클라우드 서비스와 가상 머신 설치 방법에 대한간결하고 구체적인 정보와각 항목 서비스의 장점과 단점, 사용 방법을 요약해보았다.     클라우드 서비스1. 구글 클라우드추천: 서버를 몇 대 사용하지 않을 경우, 3개월간 무료 개발 서버를 제공.초기 비용으로 300달러(약 30만 원)를 제공하며, 이 기간 동안은 비용이 청구되지 않음.30만원이 넘어가면 서비스가 중지되지, 자동으로 카드로 결제되지 않는다.나이 제한: 18세 이상.리눅스 OS와 다양한 라이브러리 설치 지원. 서버를 몇대 사용 안한다면,  3개월간 무료로 개발 서버를 잘 사용할수 있다.     인줄 알았는데?다음 블로그 글처럼구글 클라우드엔, 평생 무료인 스펙도 존재한다 !    구글 클라우드 플..

IT/클라우드 2024.07.04

[Elasticsearch] 벡터서치 구현시 텍스트 데이터 벡터화 방법 고민

[Elasticsearch] 벡터서치 구현시 텍스트 데이터 벡터화 방법 고민      JAVA vs ELK문자열 벡터화 처리를 어디서 하면 좋을까?    1. 애초에 JAVA에서 벡터화해서 던지기원본 문자열을 자바딴에서 미리 벡터화해서vector 필드로 인덱스에 저장하고바로 벡터서치에 사용하는 경우 VS 2. ELK에서 벡터화하기원본 문자열을 자바딴에서 그대로 넘겨서text 필드로 인덱스에 일단 저장하고ELK에서 제공하는 벡터화 기능을 통해벡터서치에 사용하는 경우       2번은 사전에 학습된 머신러닝 모델을...복잡하다 복잡해...양쪽다 구현해보진 않았지만 1번이 나은 방법같다       과연 chatGPT는 뭐라고 했을까?  Java에서 텍스트 데이터를 벡터화하여 인덱스에 벡터 필드로 저장하는 경우..

IT/Elasticsearch 2024.07.03

[꿀팁] 노션 사용기 (+Ask AI)

노션 사이트 링크는 아래와 같다.https://www.notion.so/ 내 위키, 문서, 프로젝트를 모두 한 곳에서 만나는 커넥티드 워크스페이스 | Notion (노션)사용하는 모든 업무 앱을 Notion 하나에 담아 팀원들과 함께하는 올인원 워크스페이스를 꾸려 보세요.www.notion.so   처음엔 좀 어려우나하다보면 익숙해져서 오히려 편해진다.   제목설정이나 글꼴변경 등등 hwp에서 하던 거의 모든걸슬래쉬 ("/")를 통해서 동작가능하다   핫한 생성형ai를 벌써 기능으로 만들어 붙이다니.."Ask AI" 라 불리는 뭐 이런 AI기능도 있으니 참고해보자    중복된 문장이 제거되고삼단논법의 연결되는 문장도하나의 문장으로 구사해주는걸 보면 한국어에 대한 형태소분석이 잘 이뤄지는거같고분석 성능도 ..

IT/기타 2024.06.30

[꿀팁] 티스토리 파비콘 만들기

설정 > 관리 > 블로그 > 파비콘 > .ico 확장자 업로드하기  jpg로 파비콘 생성 사이트 (jpg to ico)https://www.favicon-generator.org/ Favicon & App Icon GeneratorUpload an image (PNG to ICO, JPG to ICO, GIF to ICO) and convert it to a Windows favicon (.ico) and App Icons. Learn more about favicons.www.favicon-generator.org    다음 하이퍼링크 클릭 후 다운로드해서 업로드해주자   내 파비콘   막상 업로드해보니 간단한게 가독성이 좋아서아래 링크에서 체크 아이콘으로 변경 완료https://favicon.io/e..

IT/기타 2024.06.30

[생성형AI] 로고 배너 이미지 만드는 사이트 (무료, 회원가입없이)

블로그 개설 후홈 화면의 배너를 만들고자 직접 찾아보게 되었다. 그 핫하다는 생성형AI     솔루션명은 "Adobe Firefly"pdf뷰어로 유명한 어도비꺼인가보다아래 사이트에 들어가서https://firefly.adobe.com/?ff_channel=adobe_com&ff_campaign=ffly_homepage&ff_source=firefly_seo Adobe Firefly firefly.adobe.com https://firefly.adobe.com/       한문장 적어주면 끝 !     맘에드는게 나오면 "비슷한 것 만들기"도 괜히 눌러줘보자      신기하구만

IT/기타 2024.06.27
728x90
반응형
LIST