Copy to shared drives app

이미지
Copy to shared drives app manual
Google 드라이브 Folder 복사 앱 설명서를 수정했습니다.

https://docs.google.com/document/d/1rM01Sp_X6oCfTyTDyR8drUkucErI7iVezIM2FiR-B6U/edit?usp=sharing



Web page
https://copy.gfolder.net/



앱 실행 URL
bit.ly/GFolder



팀 드라이브와 공유 드라이브가 공존하고 있습니다.

Team Drives is being renamed to shared drives
https://gsuiteupdates.googleblog.com/2019/04/shared-drives.html




앱에 추가된 기능이 있습니다.


모든 폴더에서 분리된 파일을 찾을 수 있습니다.
https://cafe.naver.com/eojji/547
https://cafe.naver.com/eojji/548



파일 업로드
https://blog.naver.com/gsuite-reseller/221554030898



Deduper Resolve Errors, Exponential backoff

Remove Duplicate files in Google Drive에 이어서

Apps script로 구글 드라이브 API를 호출하는데 구글 서버 오류가 발생하면 그냥 종료합니다.

앱 사용자가 로그 스프레드시트를 보고 중단된 이유에 따라 Find 버튼을 클릭할 수 있습니다.

서버 오류를 처리하기 위해서 ...



Error

GoogleJsonResponseException
다음 오류로 인해 drive.files.list API를 호출하지 못했습니다. Internal Error


GoogleJsonResponseException
다음 오류로 인해 drive.parents.insert API를 호출하지 못했습니다. Backend Error


오류를 해결하기 위해서 찾아보니 Exponential backoff를 권장합니다.



Resolve errors

https://developers.google.com/drive/api/v2/handle-errors


500: Backend error An unexpected error occurred while processing the request.
Retry failed requests to resolve errors
https://developers.google.com/drive/api/v3/handle-errors#exponential-backoff

You can periodically retry a failed request over an increasing amount of time to handle errors related to rate limits, network volume, or response time. For example, you might retry a failed request after one second, then after two seconds, and then after four seconds. This method, called exponential backoff, improves bandwidth usa…

Remove Duplicate files in Google Drive

이미지
Google 드라이브에서 중복 파일 제거하기
구글 드라이브에서 파일 크기가 큰 거부터 읽어서 같은 파일이 있는지 검사합니다.

같은 파일이면 파일을 만든 순서대로 스프레드시트에 기록합니다.

같은 파일 중에서 최초로 만든 파일을 제외한 나머지 파일들을 특정 폴더에 추가합니다.

모든 파일의 중복 검사가 끝나면 이 폴더를 삭제하고 휴지통까지 비우면 중복 파일 제거가 끝납니다.



작업은 6분 주기로 실행됩니다.
한번 실행한 결과를 로그 스프레드시트에 기록합니다.

Count: 274 / 2000

이것은 한번 실행할 때 2,000개 파일을 읽었고 그 중에서 중복 파일 274개를 찾아서 폴더에 추가했음을 뜻합니다.

Drive Sheet App 실행 URLhttps://script.google.com/macros/s/AKfycbzJcy6zIAdI46QNFrY8JzhqpT2ZeJ2x9d2mxlzX2yDnlVSR8hw/exec


앱 개발 과정은 다음을 참고하세요.
Duplicate files, Deduper in Google Drive
Find the same file with md5 in Drive.Files.list
Move duplicate files to the trash.
Deduper in Drive Sheet app









Deduper in Drive Sheet app

이미지
Move duplicate files to the trash에 이어서

중복된 파일을 휴지통 대신 특정 폴더에 넣기 위해서 Drive.Parents.insert를 사용했습니다.

Parents: insert

Adds a parent folder for a file
https://developers.google.com/drive/api/v2/reference/parents/insert


내 드라이브에서 중복된 파일을 찾아서 원본만 남기고 나머지 파일을 '_ Deduper eojji' 폴더에 추가합니다.

var folderName = '_ Deduper eojji';
중복 파일 찾기가 완료되면 Deduper Spreadsheet의 B1 셀이 Completed로 변합니다.

Deduper 폴더에서 필요없는 파일을 삭제합니다.
Deduper 폴더를 삭제해도 됩니다.
Deduper 폴더는 중복 파일 찾기를 위해서 Find 버튼을 클릭하면 만들어집니다.

저장 공간을 늘리기 위해서 휴지통을 비웁니다.


Google 드라이브에 있는 파일 삭제 및 복원하기
https://support.google.com/drive/answer/2375102



Google 드라이브 공간 비우기 및 저장용량 늘리기
https://support.google.com/drive/answer/6374270


Drive Sheet App Drive Sheet App을 실행하기 위한 URL입니다.
https://script.google.com/macros/s/AKfycbzJcy6zIAdI46QNFrY8JzhqpT2ZeJ2x9d2mxlzX2yDnlVSR8hw/exec




중복 파일 찾기 작업을 시작하려면 앱 화면에서 Find 버튼을 클릭합니다.
작업을 삭제하려면 Delete 버튼을 클릭하세요.

주의: Search 작업도 같이 삭제됩니다.

Log Spreadsheet 링크를 클릭해서 작업 상황을 확인하세요.
오류로 중단되었으면 Find 버튼을 클릭해서 작업을 계속할 수 있습니다.


Search 작업에 대해서…

Move duplicate files to the trash.

이미지
Find the same file with md5 in Drive.Files.list에 이어서

배열에 있는 파일 객체에서 md5Checksum 속성이 같은 것만 추출하려고 이것 저것 알아 봤습니다.
배열의 필터나 map을 사용하면 된다고하는데 제 작업에는 맞지 않습니다.

제약 사항으로 Drive.Files.list로 한번에 모든 파일을 읽어 올 수 없습니다.
스크립트 실행시간이 최대 6분이라 그 전에 작업 환경을 저장해 두고 트리거로 쿼리 작업을 호출해야 합니다.

md5 속성이 같은 것만 추출하기 위해서 쿼리한 파일 목록에서 파일 하나를 읽어서 저장해 둡니다.
그리고 다음 파일을 하나씩 가져와서 비교합니다.

가져온 파일이 저장한 파일과 다르면 저장 파일에 가져온 파일을 대입하고 다음 파일을 읽습니다.

md5가 같으면 저장된 파일과 읽은 파일 둘을 스프레드시트에 기록합니다.
다음부터 파일이 같으면 가져온 파일만 스프레드시트에 기록합니다.

어제 Find 버튼을 클릭해서 만들어진 스프레드시트입니다.





로그 스프레드시트를 보고 구글 서버의 내부 오류가 있었을 때 Find 버튼을 눌러서 계속 작업을 시켰습니다.

마지막 행에 Start가 기록된 상태로 멈춰있습니다.
Start 다음에 Continue나 Error가 나와야하는데 없는 걸 보니 작업이 중단된 상태입니다.




구글 서버의 하루 할당량 제한이 초기화되려면 24시간 기다려야 됩니다.
그 후에 Find 버튼을 클릭하면 작업이 계속될 겁니다.

이제 스프레드시트에 중복된 파일을 모으는 기능은 완료된 것 같습니다.

다음으로 할 일은 중복된 파일 중에서 가장 먼저 생성된 파일만 남기고 나머지는 삭제하면 됩니다.
중복된 파일을 바로 삭제하면 복구가 어렵습니다.

휴지통을 거쳐서 삭제하면 안전한데 휴지통은 이미 다른 파일이 있어서 중복된 파일을 찾아서 복구할때 어렵습니다.

그래서 휴지통으로 이동할 폴더를 만들고 이 폴더에 중복된 파일을 넣겠습니다.




코딩에 필요한 API
orderBy
https://developers.google.com/drive/api/v2/referen…

Find the same file with md5 in Drive.Files.list

이미지
Duplicate files, Deduper in Google Drive에 이어서

drive.files.list로 쿼리한 결과를 스프레드시트로 출력합니다.
구글 드라이브에 같은 파일을 업로드해서 md5가 같은 걸 확인했습니다.



Files: list를 사용해서 'quotaBytesUsed' 속성이 큰 순서로 파일 목록을 만듭니다.


'md5Checksum'이 같으면 같은 파일로 간주해서 다른 스프레드시트에 기록할 생각입니다.


Drive Sheet app을 실행해 보려면 다음을 참고하세요.
https://drive.eojji.com/sheet




Files: list https://developers.google.com/drive/api/v2/reference/files/list

G Suite Developer Drive REST v2 참조
Lists the user's files. Try it now or see an example.

This method accepts the q parameter, which is a search query combining one or more search terms. For more information, see the Search for files guide.
Response If successful, this method returns a response body with the following structure:


{"kind":"drive#fileList","etag":etag,"selfLink":string,"nextPageToken":string,"nextLink":string,"incompleteSearch":

Duplicate files, Deduper in Google Drive

이미지
내 구글 드라이브에는 많은 파일이 있습니다.

https://drive.google.com/drive/my-drive



주로 Drive cse app으로 동영상을 찾아서 G 폴더 복사 app으로 팀 드라이브에 복사합니다. 팀 드라이브는 공유 드라이브로 이름을 바꾸는 중입니다.


복사가 완료되면 팀 드라이브의 폴더를 내 드라이브로 옮깁니다.
이렇게 공유 드라이브를 거치는 이유는 구글 서비스 할당량 때문에 복사가 중단될 수 있고 이때 같은 공유 드라이브의 멤버 계정으로 로그인해서 이어서 복사할 수 있기 때문입니다. 자세한 내용은 복사 앱 설명서를 참고하세요.




Quotas for Google Services
Apps Script | Google Developers

https://developers.google.com/apps-script/guides/services/quotas
Apps Script services impose daily quotas and hard limitations on some features. If you exceed a quota or limitation, your script throws an exception and execution terminates.
복사하기 전에 내가 가지고 있는 파일인지 확인하기 위해서 Drive sheet app에서 파일명으로 검색해서 확인할 수 있지만 귀찮은 일입니다.
구글 드라이브에 내가 가진 파일을 크기순으로 정렬해서 볼수있는 기능이 있습니다.

단순히 인터넷 브라우저에서 구글 드라이브 사이트로 이동해서 저장용량을 클릭하면 됩니다. 위에 있는 이미지에서 저장용량의 위치를 확인하세요.


Clear Google Drive space & increase storage

https://support.google.com/drive/answer/6374270


Google Drive Clear space in Google Drive by deleting large files that you don't need. To sort y…