방구석 개발자의 실험실

[Elasticsearch] 백엔드 장애 감지 알림 시스템 구축 (ELK 기반 준실시간 서버 로그 모니터링)  Mission.비즈니스 로직상 오류나 장애가 발생하면,어떻게 신속 정확히 인지할 수 있을까? 정답 : Elasticsearch 로 기능 만들어서 알림 보내자 !      AS - IS1. RDBS에서 SQL 기반으로 데이터 정합성 체크 후 알림     ex) 결제정보 저장 테이블의 카드사 코드 컬럼 데이터 누락SELECT ORDER_NOFROM CARD_INFOWHERE GARD_GBCD IS NULL            2. 비즈니스 로직 자체에 분기된 예외처리 체크 후 알림     ex) 임의의 오류코드에 대한 분기처리에 알림기능 직접 구현 ..

※ 사내 기밀은 담지 않도록 ※[Elasticsearch] 회사 내부 첨부파일의 내용을 통합 검색할 수 있다면? (feat. Fasoo DRM, Tika, Confluence)    구글링할 수 없는 내부 문서중에서 어떤거 하나 찾으려면일일이 열어보고~ ~   스크롤을 돌려가며~~ 눈을 부릅뜨고 찾는다..? 시력 베린다.. 개별 파일을 직접 열어보지 않고도내부 문서의 위치와 내용을 효율적으로 파악하자~~~~~~~~~       회사 내부에서 업로드된 다양한 첨부파일(pdf, csv, xlsx 등)에 포함된계약서, 매뉴얼, 업무 프로세스 등의 내용을 효율적으로 검색하기 위해Elasticsearch를 활용하자. 추가적으로 Fasoo DRM 복호화와 Tika 라이브러리를 사용하여 첨부파일 속 컨텐츠를 추출했다..

나는 지금 개발하기 위해 서버가 필요하다.  각 클라우드 서비스와 가상 머신 설치 방법에 대한간결하고 구체적인 정보와각 항목 서비스의 장점과 단점, 사용 방법을 요약해보았다.     클라우드 서비스1. 구글 클라우드추천: 서버를 몇 대 사용하지 않을 경우, 3개월간 무료 개발 서버를 제공.초기 비용으로 300달러(약 30만 원)를 제공하며, 이 기간 동안은 비용이 청구되지 않음.30만원이 넘어가면 서비스가 중지되지, 자동으로 카드로 결제되지 않는다.나이 제한: 18세 이상.리눅스 OS와 다양한 라이브러리 설치 지원. 서버를 몇대 사용 안한다면,  3개월간 무료로 개발 서버를 잘 사용할수 있다.     인줄 알았는데?다음 블로그 글처럼구글 클라우드엔, 평생 무료인 스펙도 존재한다 !    구글 클라우드 플..

[Elasticsearch] 벡터서치 구현시 텍스트 데이터 벡터화 방법 고민      JAVA vs ELK문자열 벡터화 처리를 어디서 하면 좋을까?    1. 애초에 JAVA에서 벡터화해서 던지기원본 문자열을 자바딴에서 미리 벡터화해서vector 필드로 인덱스에 저장하고바로 벡터서치에 사용하는 경우 VS 2. ELK에서 벡터화하기원본 문자열을 자바딴에서 그대로 넘겨서text 필드로 인덱스에 일단 저장하고ELK에서 제공하는 벡터화 기능을 통해벡터서치에 사용하는 경우       2번은 사전에 학습된 머신러닝 모델을...복잡하다 복잡해...양쪽다 구현해보진 않았지만 1번이 나은 방법같다       과연 chatGPT는 뭐라고 했을까?  Java에서 텍스트 데이터를 벡터화하여 인덱스에 벡터 필드로 저장하는 경우..

노션 사이트 링크는 아래와 같다.https://www.notion.so/ 내 위키, 문서, 프로젝트를 모두 한 곳에서 만나는 커넥티드 워크스페이스 | Notion (노션)사용하는 모든 업무 앱을 Notion 하나에 담아 팀원들과 함께하는 올인원 워크스페이스를 꾸려 보세요.www.notion.so   처음엔 좀 어려우나하다보면 익숙해져서 오히려 편해진다.   제목설정이나 글꼴변경 등등 hwp에서 하던 거의 모든걸슬래쉬 ("/")를 통해서 동작가능하다   핫한 생성형ai를 벌써 기능으로 만들어 붙이다니.."Ask AI" 라 불리는 뭐 이런 AI기능도 있으니 참고해보자    중복된 문장이 제거되고삼단논법의 연결되는 문장도하나의 문장으로 구사해주는걸 보면 한국어에 대한 형태소분석이 잘 이뤄지는거같고분석 성능도 ..

설정 > 관리 > 블로그 > 파비콘 > .ico 확장자 업로드하기  jpg로 파비콘 생성 사이트 (jpg to ico)https://www.favicon-generator.org/ Favicon & App Icon GeneratorUpload an image (PNG to ICO, JPG to ICO, GIF to ICO) and convert it to a Windows favicon (.ico) and App Icons. Learn more about favicons.www.favicon-generator.org    다음 하이퍼링크 클릭 후 다운로드해서 업로드해주자   내 파비콘   막상 업로드해보니 간단한게 가독성이 좋아서아래 링크에서 체크 아이콘으로 변경 완료https://favicon.io/e..

블로그 개설 후홈 화면의 배너를 만들고자 직접 찾아보게 되었다. 그 핫하다는 생성형AI     솔루션명은 "Adobe Firefly"pdf뷰어로 유명한 어도비꺼인가보다아래 사이트에 들어가서https://firefly.adobe.com/?ff_channel=adobe_com&ff_campaign=ffly_homepage&ff_source=firefly_seo Adobe Firefly firefly.adobe.com https://firefly.adobe.com/       한문장 적어주면 끝 !     맘에드는게 나오면 "비슷한 것 만들기"도 괜히 눌러줘보자      신기하구만

1. 원클릭 만으로 되는 간단한 사진에 추천하는 사이트  24시간 2번밖에 안된다고 뜨면크롬으로, 엣지로, 시크릿모드로 시도해보세요계속됩니다~ ctrl+v 사진 복붙도 가능  https://www.watermarkremover.io/ko 워터마크 제거 - 이미지에서 무료로 워터마크 제거하기AI 기술을 사용하여 이미지 워터마크 제거하세요. 워터마크 제거 도구를 사용하고 이미지를 워터마크 없이 얻으세요.www.watermarkremover.io 이미지 워터마크 제거무료로 제거하세요 이미지 워터마크 제거강력한 AI 기술을 사용사진 워터마크 제거무료로 워터마크 제거 무료 도구를 사용하여 이미지 워터마크 제거를 몇 초 만에 쉽게 할 수 있습니다.      2. 올가미 작업 필요한 복잡한 사진에 추천하는 사이트ht..

오라클에서의 Merge into~ 구문처럼insert를 하고싶은데 이미 데이터가 있으면 update를 해야되는즉, insert와 update를 동시에 실행시켜야 하는 니즈가 생기기 마련  그러나 postgresql 에서는? Oracle의 Merge into~ 구문을 사용할 수 없다.대신 다른 방법이 존재한다. 원리는 간단하다.임시 테이블 + Returning * 구문을 활용하면 끝.심지어 insert/delete/update/select 원하는 순서로 동시 실행 가능하다.ex) 쿼리 한개로 ABC를 select를 하고 C를 delete하고 B만 update할 수가 있다 예시 쿼리1은 다음과 같다.sesert에서 특정 데이터 선택하고upsert에서 선택된 데이터만 특정컬럼 업데이트해주고 (Returning..

📌 검색 API- GET /_search# Click the Variables button, above, to create your own variables.GET ${exampleVariable1} // _search{ "query": { "${exampleVariable2}": {} // match_all }}# 모든 인덱스 조회GET /_cat/indices?v# 인덱스 생성PUT /movie_index{ "settings": { "number_of_shards": 1, "number_of_replicas": 1 }, "mappings": { "properties": { "name": { "type": "text" }, "yea..