|
:: 게시판
:: 이전 게시판
|
- 모두가 건전하게 즐길 수 있는 유머글을 올려주세요.
- 유게에서는 정치/종교 관련 등 논란성 글 및 개인 비방은 금지되어 있습니다.
통합규정 1.3 이용안내 인용"Pgr은 '명문화된 삭제규정'이 반드시 필요하지 않은 분을 환영합니다.법 없이도 사는 사람, 남에게 상처를 주지 않으면서 같이 이야기 나눌 수 있는 분이면 좋겠습니다."
20/10/07 14:49
많은 양의 정보처리를 해야 한다거나 적은 양이라도 외부 공유나 접근이 빈번하게 필요할 때 dbms(데이터베이스 관리 시스템)가 필요하지요
짤에 나온 대로 엑셀 행이 시트 하나당 백만개까지 가능하긴 한데, 개인적으로는 만 단위부터는 다른 dbms를 고려해보는게 좋고 십만 단위부터는 엑셀로 뭔가 하려는 건 역부족이라고 생각합니다. 근데 액세스가 마소 오피스에 들어가 있는 dbms 툴입니다. 가볍게 db 관리 시작하려면 적당하다고 봅니다. sql이나 r 같은 솔루션도 있는데 여기서부턴 공부를 좀 많이 필요로 해서;;; 참고로 엑세스도 천만 단위가 넘어가면 활용이 어렵습니다
20/10/07 10:22
여기서 질문.
매년 종부세 합산배제 신고할때마다 국세청에서 다운받는 자료에 엑셀 행이 15~21만개정도 있습니다. 매 행마다 주소 확인 및 중복여부 체크를 위해 vlookup수식 및 기타 이런저런 수식을 걸다보면 컴퓨터가 삑나기 마련입니다. 삑나지 않더라도 매우 느리게 처리되곤 하는데..(컴퓨터 사양은 i3-7100, 8기가램입니다.) 방법이 있을까요? 말씀들 보면 다른 db프로그램으로 대체할 수 있는건지, 아니면.. 좀 더 사양을 업그레이드 해야되는건지.
20/10/07 10:26
https://www.techpowerup.com/review/amd-ryzen-5-3600/10.html
엑셀은 시피유 벤치마크로도 쓰일정도로 씨피유 의존이 높습니다 하지만,저표에서 보시면 짐작하시겠지만 4년전 시피유를 올해말에 업글한다면 절반정도로는 줄일수 있을지 몰라도 그게 1/10으로 줄어서 엑셀로딩타임이 사라지는건 불가능.. 그래도 i3 7100이라면 시피유업글로 꽤 차이가 나겠네요
20/10/07 10:27
가장 좋은건 당연히 사양을 업그레이드 하는거지만... 예전에 메모리가 1기가 안 되던 시절에도 다룰건 다루었으니 테크닉들이 있겠지요...?
고전적으로 생각할 수 있는 방법은, 비교를 위한 주요 변수 외의 나머지 필드를 드롭하는 것입니다. 가령 이름, 주민번호, 주소만 남긴 파일로 먼저 중복 여부를 작업하면 큰 파일 전체를 다루는 부담은 적어지겠죠...
20/10/07 15:07
넵 사실 필요한 열은 5가지 정도라, 나머지 열을 드롭한 상태로 진행하는 방식으로 하고 있습니다.
그럼에도 불구하고 꽤나 시간이 많이 소요됩니다.
20/10/07 10:44
vlookup이 전체 범위에서 비교해서 맞는걸 찾아서 가져오다보니 테이블 사이즈가 커지면 매우 느려지는 걸로 알고 있습니다. 그정도 사이즈면 sql이나 R, SAS 등 통계프로그램의 데이터 핸들링 기능 사용하는게 더 효율적일텐데 좀 배우긴 해야겠죠.
저는 엑셀 쓰다가 데이터가 십만단위쯤 되면 후자로 넘어갑니다.
20/10/07 14:22
새로운 무언가를 다시 사용하는게 힘들긴 하시겠지만... 딱 파이썬이 필요하신 시점일지도... 파이썬을 엑셀처럼 쓰는 법에 대해서는 인터넷에 많은 후기와 강의, 라이브러리, 애드온이 존재합니다. 물론 제일 편한건 필요없는 필드를 과감히 제거, 가공하는 요령이긴 합니다.
20/10/07 16:29
https://exceljet.net/formula/faster-vlookup-with-2-vlookups
vlookup에 대해서만 조언을 드리자면 더블 vlookup을 쓰시는 것을 추천드립니다 저는 효과를 크게 보고 있습니다. 위 링크에서 보시면 아시겠지만 데이터를 가져오는 테이블은 오름차순으로 정렬되어있어야만 정상적으로 작동합니다 그리고 전체범위에 countif나 sumif 하셔야 할 경우에는 피벗테이블을 이용하시는 편이 낫습니다
|
||||||||||||||||||
