SK개발자들은 어떻게 문제를 해결할까?개발자들의 생각을 읽어보세요
출처 : https://blog.pingpong.us/aws-cloud-security-for-devs-3/?fbclid=IwAR1-Cq1YWc9m6ZBbe5VDGXn43-glzc8GZkk_BpuGFk5kX97073VCt8aVvOw 핑퐁팀에서 AWS 보안 강화를 위해 작업했던 내용을 AWS Well-Architected Framework와 함께 소개하는 마지막 글로, 인프라 보안 영역과 사고 대응 영역을 소개하려고 합니다. 이전 내용이 궁금하신 분들은 1편과 2편에서 확인하실 수 있습니다. 목차 Infrastructure Security
출처 : https://blog.pingpong.us/aws-cloud-security-for-devs-2/?fbclid=IwAR0yKh_PM5GIoS7Nd0lWcnVeFaED39GV5dqJgy166Czyhs2hfc25eFTNqbU 지난 글에 이어 이번 글에서는 로깅 및 모니터링 영역과 데이터 보호 영역에 대해 살펴보겠습니다. 목차 Logging ＆ Monitoring Logging
출처 : https://blog.pingpong.us/aws-cloud-security-for-devs-1/?fbclid=IwAR2o4tGhlyU1oAysVq8hteZCjOywbCRyxhGonx4LuID5IBUQUDv0UdmNwUM 스캐터랩에서는 루다를 비롯한 회사의 서비스를 배포하고 운영하기 위해 AWS를 사용하고 있습니다. 컴퓨팅, 네트워크 장비를 직접 구매해서 모든 것을 세팅할 필요 없이, 클라우드에서 인프라 구축, 자동 스케일링, 네트워크, DNS 구성 등을 간편하게 할 수 있다는 것은 클라우드의 매우 큰 장점입니다. 이와 같은 클라우드의 장점을 최대한 활용하기 위해서는 클라우드를 효율적으로 사용하는 방법을 알아야 할 것입니다. 그래서 핑퐁팀에서는 AWS ...
들어가며 안녕하세요. LINE Financial Data Platform을 운영하고 개발하고 있는 이웅규입니다. 이 글은 지난 NAVER DEVIEW 2020에서 발표했던 Kubernetes를 이용한 효율적인 데이터 엔지니어링 (Airflow on Kubernetes VS Airflow Kubernetes Executor) 세션에서 발표 형식 및 시간 관계상 설명하기 힘들었던 부분을 조금 더 자세하게 설명하고자 작성한 두 번째 글입니다(1부). 이번 글에서는 일반적인 Kubernetes Airflow 환경과 새로운 방식의 특징 및 장단점을 비교합니다. 그리고 새로운 방식인 Kubernetes Executor와 KubernetesPodOperator를 적용해 데이터...
들어가며 안녕하세요. LINE Financial Data Platform을 운영하고 개발하고 있는 이웅규입니다. 저는 지난 NAVER DEVIEW 2020에서 발표했던 Kubernetes를 이용한 효율적인 데이터 엔지니어링 (Airflow on Kubernetes VS Airflow Kubernetes Executor) 세션에서 발표 형식 및 시간 관계상 설명하기 힘들었던 부분을 블로그를 통해 조금 더 자세하게 설명하고자 합니다. Apache Airflow는 데이터 엔지니어링을 효율적으로 수행할 수 있도록 도와주는 오픈소스 플랫폼으로, 최신 마이너 버전인 1.10.x에 신규 피처(feature)로 ＇Kubernetes Executor＇가 추가되었습니다. 이 피처는...
한국어 자연어처리 패키지 (KoNLPy) 를 Colab 환경에서 쉽게 설치하고 사용해보자 local 에 konlpy 패키지 설치 하면 설치가 꽤 까다롭기 때문에 colab 에서 사용해보자! 설치 설치하는데 3분 정도는 걸리는 것 같다..! !curl -s https://raw.githubusercontent.com/teddylee777/machine-learning/master/99-Misc/01-Colab
그래프 관련된 기술이 여러 분야에서 많이들 쓰이고 있습니다. 기존의 우리가 많이 쓰고 있는 테이블 형태의 데이터 구조와 더불어 그래프 형태의 데이터를 통해 인사이트를 얻기 위한 노력들의 결과인 것 같습니다. 작년 9월에 열린 워크샵이긴 한데 그래프와 관련된 여러가지 발표자료와 영상들이 있습니다. 관심 있으신 분들은 참고해 보셔도 좋을 것 같아 공유합니다. https://snap.stanford.edu/graphlearning-workshop/index.html Stanford Graph Learning Workshop
Correct fo Error (에러 수정) 5월달 SK Agile 밋업에서 AWS 윤석찬님을 모시고 Amazon 애자일 문화에 대해서 듣는 좋은 시간 있었습니다. ^^ 내용중 Correct of Error (COE) 를 소개해 주셨고, 관련 템플릿을 소개 해 주셨는데요. 발번역을 해 보았습니다. 그리고, 포스트 모텀에 대한 DEVOCEAN 세미나를 한적이 있는데 다음 링크(https://devocean.sk.com/vlog/view.do?id=195＆vcode=A03)를 참조하세요. 출처: https://github.com/JDHarris007/coe/blob/master/CoE.mdhttps://github.com/JDHarris007/coe/blob/mast...
- AWS Graviton 인스턴스 타입이 출시 되면서 낮은 가격에 높은 성능을 낸다고 이야기 하고 있습니다. - 이들 인스턴스 타입에 대한 비교 분석이 있어, CPU, Memory, Disk I/O, Price 측면에서 비교를 해 두었네요. 출처: https://www.learnaws.org/2020/12/19/t3-t3a-t4g/ AWS EC2 Instance Comparison: T3 vs T3a vs T4g from: https://www.learnaws.org/2020/12/19/t3-t3a-t4g/ AWS는 다양한 인스턴스 타입이 존재한다 그리고 이는 특정 use-case에서 최적의 인스턴스 타입을 결정하는 것은 매우 어렵다. 이번 아티클에서 우리는 3...
TL；DR LinkedIn open sourced Feathr, feature store that provides a common feature namespace for defining features and a common platform for computing, serving and accessing them ＂by name＂ from within ML workflows. 다른 유사 솔루션들이 피쳐 데이터 매니지먼트와 피쳐 서빙에 집중한 반면, Feathr는 향상된 feature transformations을 지원하여 신규 피쳐에 대한 실험을 용이하게 하였다고 함 다른 팀 또는 프로젝트에서 정의한 피쳐들을 사용할 수 있어 콜라보, 재사용에 용이함 사내에도 유...
홍반장
오순도순
joyhong
KIDO
박성훈