개발잡부

package com.etoos.datalake.utils; import com.google.gson.Gson; import org.apache.tomcat.util.json.JSONParser; import org.apache.tomcat.util.json.ParseException; import org.json.simple.JSONObject; import java.io.*; import java.net.HttpURLConnection; import java.net.URL; import java.net.URLConnection; import java.net.URLEncoder; import java.util.HashMap; public class HttpUtils { private static Str..

proxy ip 와 port 가 필요해서 만들어 봄 ip:port 의 array 200개 json 파일로 다운로드 https://geonode.com/free-proxy-list/ 🤖Free Proxy List Includes unlimited access to every feature we offer. Cancel at any time! geonode.com package com.etoos.imagesearch.service; import org.json.simple.JSONArray; import org.json.simple.JSONObject; import org.json.simple.parser.JSONParser; import org.json.simple.parser.ParseException;..

https://ldh-6019.tistory.com/147 [selenium] Selenium 설치 동적으로 생성되는 웹페이지 (mathpix 사이트) 크롤링을 해야 하는 이슈가 있어서 selenium 으로 크롤링 크롬 드라이버 설치 크롬 버전확인 http://chromedriver.chromium.org/downloads 버전에 맞는 드라이버를.. ldh-6019.tistory.com 설치했으면 긁어보자 사이트 접속 -> 로그인 -> 리스트페이지 이동 -> 크롤링 package com.etoos.imagesearch.service; import org.openqa.selenium.By; import org.openqa.selenium.WebElement; import org.openqa.selenium..

동적으로 생성되는 웹페이지 (mathpix 사이트) 크롤링을 해야 하는 이슈가 있어서 selenium 으로 크롤링 크롬 드라이버 설치 크롬 버전확인 http://chromedriver.chromium.org/downloads 버전에 맞는 드라이버를 설치 난 맥이니까 chromedriver_mac64.zip 설치 크롬 드라이버를 저장할 위치로 이동시킴 코드를 실행시켰을때 확인되지 않은 어쩌고 문제가 발생하면 크롬드라이버 파일 위치로 이동해서 실행 한번 실행시켜주고 코드 실행

실행 create 에서 Transformation 선택 탭이 생성된긴 하는데 난 .. 날려먹어서 Input 에 많은 것들이 있지만 Data grid 를 드래그해서 가져온다 가저온 후 클릭 데이터를 입력하고 성적표를 만들었다. 좌측메뉴 플로우에서 Filter rows 를 드래그해서 가져온다 성적표 클릭 shift 드래그 필터에 홉이라고 해야하나 hop 연결 필터를 더블클릭 수학 커트라인으로 이름을 변경한후 "수학점수가 60점 이상" 조건 추가 실행시켜보자 얼레.. 다들 수학을 잘하는 구먼.. Filter rows 를 추가하고 아래의 조건을 입력 수학, 영어 90점 이상 실행시켜보자 True 는 False

aws sdk 를 사용 파일 업로드 테스트 java 1.8 implementation 'com.amazonaws:aws-java-sdk-s3' package com.etoos.edlfilebatch.service; import com.amazonaws.auth.AWSStaticCredentialsProvider; import com.amazonaws.auth.BasicAWSCredentials; import com.amazonaws.services.s3.AmazonS3; import com.amazonaws.services.s3.AmazonS3ClientBuilder; import com.amazonaws.services.s3.model.PutObjectRequest; import java.io.File..

이건 뭐 맨날 할때마다 귀찮아 죽것네 변환 방법은 여러가지가 있지만.. 그중에서 // https://mvnrepository.com/artifact/com.googlecode.json-simple/json-simple implementation group: 'com.googlecode.json-simple', name: 'json-simple', version: '1.1.1' 심플이라고 하니 진짜 심플한지.. 봐야지 디펜던시 추가 build.gradle dependencies { .... // https://mvnrepository.com/artifact/com.googlecode.json-simple/json-simple implementation group: 'com.googlecode.json-si..

삽질 삽질 개삽질.. 지미 프론트개발 안한지가 몇년인데.. API 를 만들었는데 post method 에서 문제가 발생 @CrossOrigin("*") @ApiOperation(value = "로그인", notes = "이메일 회원 로그인을 한다.") @PostMapping(value = "/signin") public SingleResult signin(@ApiParam(value = "회원ID : 이메일", required = true) @RequestParam String id, @ApiParam(value = "비밀번호", required = true) @RequestParam String password) { User user = userJpaRepo.findByUid(id).orElseThro..

에러상태 리턴값 이기.. 이걸.. Exception 이 발생하는 경우 공통으로 처리해보자 import com.etoos.datalake.model.response.CommonResult; import com.etoos.datalake.service.ResponseService; import lombok.RequiredArgsConstructor; import org.springframework.http.HttpStatus; import org.springframework.web.bind.annotation.ExceptionHandler; import org.springframework.web.bind.annotation.ResponseStatus; import org.springframework.web...

adminLTE github 주소 https://github.com/900gle/AdminLTE GitHub - 900gle/AdminLTE: AdminLTE - Free admin dashboard template based on Bootstrap 4 AdminLTE - Free admin dashboard template based on Bootstrap 4 - GitHub - 900gle/AdminLTE: AdminLTE - Free admin dashboard template based on Bootstrap 4 github.com build.gradle 디펜던시추가 compile('org.springframework.boot:spring-boot-starter-thymeleaf') impleme..