도구 비교 Argo Workflow vs Airflow vs Dagster vs Prefect argo의 argo-workflow: 쿠버네티스 네이티브이기 때문에, 쿠버네티스라는 거대한 도구가 필요하지 않는다면 적합하지 않다. airbnb의 airflow: 가장 유명하고 안정적인 오픈소스. 하지만 (1) 작업을 DAG로 표현하는 한계가 있다는 점, (2) 데이터 파이프라인에 최적화되어 있다는 점, (3) 거대한 프로젝트이기 때문에 복잡하고 약간의 러닝커브가 있다. dagster: airflow 보다 간단하고 직관적인 코드와 대시보드를 제공하는 최신 도구이다. 한편 다른 도구와 달리, 작업을 중심(task-driven)으로 플로우를 정의하는 것이 아니라 데이터의 관점에서 플로우를 정의(data-driven..

세상에 나만의 것을 남기고 싶은 분들에게 관심가는 주제에 대한 공부를 해보고 싶어서 짬을 내어 공부하는 것과, 내가 할 수 있는 능력을 적극 활용하여 가치나 재화를 만들고자 노력하는 것의 차이는 무엇일까요? 최근 저는 각각에 ‘그냥 하는 일’과 ‘문제를 올바르게 정의하는 일’ 이라는 이름을 붙였습니다. 저는 대학을 다니며 회사를 다녔는데요, 이때 문제정의라는 것을 자칫 잘못하면 거대한 삽질을 하게 될지도 모른다는 사실을 깨닫게 되었습니다. 문제정의라는 것이 무엇인지, 제가 배운 것이 정확히 무엇인지에 대한 이야기에 대해서는 나중에 따로 포스팅을 해 볼게요. 여기서 배웠던 아주 뼈저린 교훈을 삶에도 적용해볼 수 있겠다고 생각했습니다. 사람의 인생도 목표정의를 제대로 않고 그냥 지금 당장 필요하다고 생각되는..

아웃라이어의 반전 세계적인 베스트셀러에 올랐던 책 『아웃라이어』 는 1만 시간의 법칙을 조금 다르게 해석합니다. 이들의 논지는 1만 시간을 달성하는 것 자체가 환경에 의해서 결정되는 경우가 많다는 것입니다. 약간 운이 안좋은 사람들은, 1만 시간을 채우지 못한 채 이탈될 가능성이 높습니다. 1만 시간을 달성하는 과정에서 주위 친구들의 방해를 받거나, 경제적으로 불우한 상황에 놓이거나, 다른 쪽으로 관심사를 돌리도록 만드는 자극을 적게 마주한 사람들이 결국 전문가가 된다는 것입니다. 의지력은 금세 고갈되는 제한적인 자원이며 정기적으로 향상시킬 수 있는 대상도 아니다. - 숀케 아렌스, 『제텔카스텐』 의지로 무엇을 하려고 하면 안되는 것은 당연하다. 의지는 나의 특성에 맞지 않는 것을 해 보려는 시도이기 때..