728x90
반응형
SMALL

분류 전체보기 111

[Elasticsearch] ILM - Cluster 성능 개선

[Elasticsearch] ILM - Cluster 성능 개선  인덱스 수명 주기(Index Lifecycle Management, ILM)데이터의 수명 주기를 관리하고 정의하는 기능이를 사용하면 데이터를 적절한 시점에 생성, 업데이트, 삭제하고, 디스크 공간을 효과적으로 활용이 가능주로 로그 데이터와 같이 시간이 지남에 따라 더 이상 필요하지 않는 데이터를 자동으로 삭제하는 데 사용     인덱스 수명 주기 구성Hot Phase (핫 페이즈): 데이터가 활발하게 쓰이는 단계로, 최근 데이터를 저장하는데 사용Warm Phase (웜 페이즈): Hot Phase에서 더 이상 업데이트되지 않은 데이터를 따로 보관하는 단계,이 단계에서는 검색 성능을 향상시키기 위해 인덱스를 최적화 할 수 있다Cold Pha..

IT/Elasticsearch 2024.07.10

[개발방법론] TDD, BDD, DDD 개념 정의 차이 설명 약자

TDD, BDD, DDD는 모두 소프트웨어 개발 방법론의 일환으로,각각의 방법론은 다른 관점에서 소프트웨어를 설계하고 개발하는 데 중점을 둔다.    스포 요약 !!!!TDD: 코드 품질 향상과 버그 감소에 초점을 맞춘 테스트 중심 개발 방법론.BDD: 사용자 기능을 중심으로 개발하며, 명시적인 스펙과 예제를 통해 팀 간의 원활한 커뮤니케이션을 지향하는 개발 방법론.DDD: 도메인 지식을 중심으로 하여 복잡한 도메인을 이해 가능한 모델로 설계하는 방법론.     TDD (Test-Driven Development)TDD는 테스트 주도 개발을 의미하며, 소프트웨어 개발 방법론 중 하나로 개발자가 코드를 작성하기 전에 테스트 케이스를 먼저 작성하는 방식입니다. 일반적으로 TDD는 다음과 같은 세 단계를 반복..

IT/개론 2024.07.09

[Spring Batch] Tasklet vs Chunk 비교 특징 차이 장단점

스프링 배치 개발 시 두 가지 타입이 있습니다:Tasklet: 한 번에 처리하는 방식Chunk: 데이터를 덩어리로 나누어 처리하는 방식    Job 설정 파일을 개발할 때의 과정은 다음과 같습니다:Config 파일 생성Job Bean 생성Step Bean 생성   특징:Job은 여러 개의 Step 실행 순서를 정의합니다. Job과 Step은 1관계입니다.Step은 Chunk (Reader, Processor, Writer) 방식 또는 Tasklet 방식 중 용도에 맞게 선택하여 구현할 수 있습니다. Step과 Tasklet(또는 Chunk)은 1:1 관계입니다.반드시 JobListener와 StepListener를 사용해야 합니다.     차이 비교Tasklet 또는 Chunk 개발시 1. Tasklet..

IT/java|Spring 2024.07.08

[Elasticsearch] 백엔드 장애 감지 알림 시스템 구축 (ELK 기반 준실시간 서버 로그 모니터링)

[Elasticsearch] 백엔드 장애 감지 알림 시스템 구축 (ELK 기반 준실시간 서버 로그 모니터링)  Mission.비즈니스 로직상 오류나 장애가 발생하면,어떻게 신속 정확히 인지할 수 있을까? 정답 : Elasticsearch 로 기능 만들어서 알림 보내자 !      AS - IS1. RDBS에서 SQL 기반으로 데이터 정합성 체크 후 알림     ex) 결제정보 저장 테이블의 카드사 코드 컬럼 데이터 누락SELECT ORDER_NOFROM CARD_INFOWHERE GARD_GBCD IS NULL            2. 비즈니스 로직 자체에 분기된 예외처리 체크 후 알림     ex) 임의의 오류코드에 대한 분기처리에 알림기능 직접 구현 ..

IT/Elasticsearch 2024.07.06

[Elasticsearch] 회사 내부 첨부파일의 내용을 통합 검색할 수 있다면? (feat. Fasoo DRM, Tika, Confluence)

※ 사내 기밀은 담지 않도록 ※[Elasticsearch] 회사 내부 첨부파일의 내용을 통합 검색할 수 있다면? (feat. Fasoo DRM, Tika, Confluence)    구글링할 수 없는 내부 문서중에서 어떤거 하나 찾으려면일일이 열어보고~ ~   스크롤을 돌려가며~~ 눈을 부릅뜨고 찾는다..? 시력 베린다.. 개별 파일을 직접 열어보지 않고도내부 문서의 위치와 내용을 효율적으로 파악하자~~~~~~~~~       회사 내부에서 업로드된 다양한 첨부파일(pdf, csv, xlsx 등)에 포함된계약서, 매뉴얼, 업무 프로세스 등의 내용을 효율적으로 검색하기 위해Elasticsearch를 활용하자. 추가적으로 Fasoo DRM 복호화와 Tika 라이브러리를 사용하여 첨부파일 속 컨텐츠를 추출했다..

IT/Elasticsearch 2024.07.05

[서버] 서버 개발을 위한 평생 무료 클라우드 및 가상머신 알아보기 (+무료 호스팅 배포는 덤)

나는 지금 개발하기 위해 서버가 필요하다.  각 클라우드 서비스와 가상 머신 설치 방법에 대한간결하고 구체적인 정보와각 항목 서비스의 장점과 단점, 사용 방법을 요약해보았다.     클라우드 서비스1. 구글 클라우드추천: 서버를 몇 대 사용하지 않을 경우, 3개월간 무료 개발 서버를 제공.초기 비용으로 300달러(약 30만 원)를 제공하며, 이 기간 동안은 비용이 청구되지 않음.30만원이 넘어가면 서비스가 중지되지, 자동으로 카드로 결제되지 않는다.나이 제한: 18세 이상.리눅스 OS와 다양한 라이브러리 설치 지원. 서버를 몇대 사용 안한다면,  3개월간 무료로 개발 서버를 잘 사용할수 있다.     인줄 알았는데?다음 블로그 글처럼구글 클라우드엔, 평생 무료인 스펙도 존재한다 !    구글 클라우드 플..

IT/클라우드 2024.07.04

[Elasticsearch] 벡터서치 구현시 텍스트 데이터 벡터화 방법 고민

[Elasticsearch] 벡터서치 구현시 텍스트 데이터 벡터화 방법 고민      JAVA vs ELK문자열 벡터화 처리를 어디서 하면 좋을까?    1. 애초에 JAVA에서 벡터화해서 던지기원본 문자열을 자바딴에서 미리 벡터화해서vector 필드로 인덱스에 저장하고바로 벡터서치에 사용하는 경우 VS 2. ELK에서 벡터화하기원본 문자열을 자바딴에서 그대로 넘겨서text 필드로 인덱스에 일단 저장하고ELK에서 제공하는 벡터화 기능을 통해벡터서치에 사용하는 경우       2번은 사전에 학습된 머신러닝 모델을...복잡하다 복잡해...양쪽다 구현해보진 않았지만 1번이 나은 방법같다       과연 chatGPT는 뭐라고 했을까?  Java에서 텍스트 데이터를 벡터화하여 인덱스에 벡터 필드로 저장하는 경우..

IT/Elasticsearch 2024.07.03

[SQLD] 보수교육 - 자격유효기간 영구로 만들기 (영구자격증)

자격증 사이트 접속https://www.dataq.or.kr/www/main.do 메인화면 : 데이터자격시험 www.dataq.or.kr   유효기간 확인   보수교육 진행하려했지만.. 보이지 않네?   보수교육 안내 페이지를 확인해보니 "보수교육 기간은 합격일로부터 1년 6개월 경과 시점부터 2년이 지나기 전 이수해야 하며, 기간 내 교육을 이수하지 않으면 완료할 때 까지 자격의 효력이 일시 정지되므로, 반드시 이행하여 주시기 바랍니다."      합격 후 1년반~2년 사이에 교육이 생기나보다  나같은경우24년 4월 합격했으니25년 10월 ~ 26년 4월 사이에 이수 필요한것이다 25년 10월에 다시 확인해보구 이수해서영구자격증으로 만들어야겠다~

[꿀팁] 노션 사용기 (+Ask AI)

노션 사이트 링크는 아래와 같다.https://www.notion.so/ 내 위키, 문서, 프로젝트를 모두 한 곳에서 만나는 커넥티드 워크스페이스 | Notion (노션)사용하는 모든 업무 앱을 Notion 하나에 담아 팀원들과 함께하는 올인원 워크스페이스를 꾸려 보세요.www.notion.so   처음엔 좀 어려우나하다보면 익숙해져서 오히려 편해진다.   제목설정이나 글꼴변경 등등 hwp에서 하던 거의 모든걸슬래쉬 ("/")를 통해서 동작가능하다   핫한 생성형ai를 벌써 기능으로 만들어 붙이다니.."Ask AI" 라 불리는 뭐 이런 AI기능도 있으니 참고해보자    중복된 문장이 제거되고삼단논법의 연결되는 문장도하나의 문장으로 구사해주는걸 보면 한국어에 대한 형태소분석이 잘 이뤄지는거같고분석 성능도 ..

IT/기타 2024.06.30
728x90
반응형
LIST