34P by eipi10 2022-10-23 | favorite | 댓글 21개

미국 주식 뉴스를 모아서, 왜 오르고 떨어진 건지 요약해주는 서비스입니다.

가령, 가장 최근인 2022-10-21 Netflix 의 경우 the company is reinvesting a huge chunk of its profits at a high rate of return 라는 요약과 함께 해당 원문 뉴스 기사로 링크할 수 있게 제공합니다.

미국 주식에 관심이 많은데 아침에 일어나서 왜 오르고 떨어졌는지 일일이 검색해서 확인하는게 불편해서 개발하게 되었고, 혹시나 도움이 되실까 싶어 공유드립니다.

기술적으로는 아래와 같습니다.

  • Fully Serverless (AWS Lambda + Cloudfront Lambda@Edge) 로 구성
  • 미국 주식에 관한 News 를 크롤링 한 후 SQuAD 라는 머신러닝 모델로 결과를 추론 (ex. Why Nvidia stock goes up?)
    • 모델은 Lambda 에서 충분히 돌릴 수 있도록 경량화된 모델 사용 (Distillation BERT 계열)
  • 데이터를 만드는 모든 Lambda 는 AWS Free Tier 범위 내에서 처리되며, 추가적인 비용은 S3 및 Route 53 도메인 비용 뿐 (현재 한달에 $2 정도)
    • 모든 데이터는 S3 에 저장되며, 따로 DB 는 사용하지 않음
  • SSR (NextJs) + Cloudfront Lambda@Edge (us-east-1)

항상 잘보고있고, 많은 분들께 감사드립니다. 혹여 관심있으신 분들에게 작게나마 도움이 되길 바라면서 작성했습니다. 감사합니다.

안녕하세요. 이전에 진행한 사이드 프로젝트 musn129 (머선129) 에 큰 변화가 생겨서 공유드립니다.

먼저 큰 관심가져주시고, 꾸준히 사용해주시는 분들이 있어서 너무나 감사하다는 말씀을 드리고 싶습니다.

기존에는 비용 최적화를 위해 모든 연산을 AWS Lambda 에서 진행했고, 모델 추론은 Distillation BERT 로 SQuAD Task 를 풀었는데 (e.g. 기사 내에서 왜 이 주식이 올랐어? 라고 문제를 주고, 정답이 기사 내의 "어느 위치"에 있는지 풀게함), OpenAI 의 유료 API 를 사용한 것으로 변경했습니다. 새로운 모델로 연산한 데이터는 2023년부터 적용되었습니다. (2022년은 기존 데이터)

이미지 첨부가 안되어서, 마지막으로 오늘자로 가장 큰 변동을 보인 LUCID 의 결과물을 같이 남깁니다.(https://musn129.com/nasdaq/2023-01-27 에서 확인하실 수 있어요!)

2023.01.27 LUCID (+43%)  
- Shares of electric vehicle maker Lucid Group Inc (NASDAQ: ) nearly doubled intra-day Friday on rumors reported at Betaville that Saudi Arabia's Public Investment Fund is working on plans to buy the remaining stake that it doesn’t own.  
- On Friday, the market rally accentuated by rips higher in some battered and bruised technology stocks that faltered last year are making this year's price action look a lot like 2021's rally.  
- The luxury EV maker's stock is increasing in price due to a rumor that Saudi Arabia's public wealth fund is preparing to take it private.  
- The Saudi Public Investment Fund is considering buying more shares of Lucid Group, sending the company's stock soaring.  
- Investors are betting that Saudi Arabia's Public Investment Fund is looking to invest in Lucid Group.  

감사합니다!

crypto 버전을 만들 수 있다면 좋을 것입니다. Crypto 시장은 뉴스와 매우 긍정적인 상관관계가 있습니다.

와.. 정말 좋은 서비스 감사합니다

비슷한 프로그램들중에 유저 인터페이스도 편리하고 가장 괜찮은 것 같아요. 야후 파이낸스, 다우존스, 블룸버그 등 이용했는데(현직이 아니라 개인 투자자여서 프로그램까지 써본건 아니지만) 관련 기사를 보기가 편하네요. 다만 사람마다 관심종목이 있다보니까 계정.. 을 만드는 건 아니어도 별표를 하고 특정 종목을 지속적으로 트래킹할 수 있으면 좋겠습니다. 잘 쓸게요. 감사합니다 ^-^

증권사 현직자입니다. 이거 서비스로 개발하고 싶은데여..??
궁금한게 있는데 혹시 제가 메일 보내면 답변 해주실려나요??ㅎㅎ

안녕하세요! 관심가져주셔서 감사합니다. 궁금한 것 남겨주시면 답변드릴게요! 다만, 혹시 개인적인 내용이 포함되어있는게 아니라면, 여기에 남겨주시면 다른 분들과 다 같이 공유될 수 있을 것 같아 더 좋을 것 같습니다! 감사합니다.

네. 궁금한게 너무 많은데요. :) 기술적인 것은 잘 몰라서 편하게 한 번 여쭤보겠습니다.

혹시 해당 프로젝트의 정확도를 좀 더 높일 수 있을까요?
뉴스의 양을 늘리거나 뉴스의 퀄리티를 높이거나 혹은 모델의 정확도를 높이는 방향일 것 같은데요.
더 많은 리소스를 투입한다면, 올려주신 서비스의 정확도를 높이는게 어느 정도로 가능할지가 궁금하네요.ㅎㅎ

넵, 충분히 많이 높일 수 있을 것 같아요. 개인적으로 한 것이고, (아직은) 수익이 없다보니 비용 효율 측면에 많이 포커스를 맞춰서 개선할 부분이 많다고 생각해요.

말씀주신 것처럼, 우선 양질의 데이터를 더 확보하는 것이 가장 중요할 것 같은데요, 제가 알기로는 뉴스 관련해서는 크롤링해서 데이터를 잘 구축한 SaaS 들이 많아서, 개인 단위가 아닌 프로젝트라면 적정한 금액대로 외부 유료 SaaS 를 사용해서 양질의 뉴스 기사들을 모을 수 있을 것 같아요.
다음으로는, 현재 모델의 입력과 출력에 대해 크게 전처리 후처리를 신경쓰지 않았는데, 모델 결과물을 보면서 더 양질의 값을 얻을 수 있도록 신경쓴다면 유저가 봤을 때 결과가 훨씬 좋을 것 같아요. (가령, 현재 저는 의미가 조금 없어보이는 짧은 답변이나, 빈칸 같아 보이는 답변도 데이터 자체가 적어서... 개인적으로 궁금할때 그냥 클릭해보고 싶다는 니즈로 남겨뒀었는데, 프로덕션 레벨이라면 이런 것들을 더 잘 정리해서 훨씬 더 좋은 유저경험을 줄 수 있을 것 같아요.)
마지막으로는, 이것도 비용 문제로 저는 굉장히 가벼운 모델을 딱 한번만 썼는데, 더 큰 모델 (계산을 많이 해야하지만 상대적으로 성능이 더 좋은) 을 사용해볼 수 있을 것 같고, 제가 접근한 Question Answering 방법 뿐만 아니라 다양한 방법으로 더 적합한 결과를 얻을 수 있을 것 같아요.

쓰다보니 길어졌는데, 혹시 관심있으신 다른 분들에게도 도움이 되시길 바라면서 남겨봅니다. 감사합니다!

너무 멋지네요. ㄷㄷ;;

정확도를 충분히 높을 수 있다면, 바로 실제 프로덕트로 구현해보는 것 까지 고려해볼 수 있을 것 같네요.
(이 서비스를 보신 분들의 댓글 반응만으로도 충분히 Preto-Type(프로토x, 프리토o) 으로의 검증은 다 끝난 것 같아 보일 정도니까요ㅎㅎ)

기획자로서 고민하고 있는 해외주식 영역에서의 개선점은 크게 두 가지였습니다.

하나는 물리적인 또는 기술적인 Pain Point
-가령 저녁에 거래를 해야한다던가 / 환전을 해야한다던가 / 15분 전 가격을 보여준다던가 / 호가가 안보인다던가 / 거래가능국가가 많이 없다던가 하는 등의 현지와 로컬의 물리적인 간극때문에 발생하는 불편함들을 어떻게 해소할 것인가 등이죠.
그런데 현재 이 부분은 많이 개선이 되었습니다. 자본의 힘....으로요 ㅎㅎ

최근 들어 제가 관심을 갖고 있던 분야는 정보와 컨텐츠 이슈였어요.
일단 영어를 잘해야 하고, 영어를 잘해도 해외 정보를 탐색하는데 어렵고 또 너무나 많아서 뭘 어떻게 찾아봐야할지 모르니까요. 시간은 없고 볼건 많고 투자는 어렵고 알려주는 사람은 없고,,,
그래서 증권사에서 하는 일들은 보통 컨텐츠 팀을 만든다거나 컨텐츠를 외부에서 사온다거나 리서치 커버리지를 해외종목까지 넓히는 등의 일인데, 아직 갈 길이 멉니다. 일일이 사람 손이 다 들어가야되기도 하구요. 그렇다보니 시의성도 떨어지고..

제가 구현하신 서비스에 크게 감명을 받은 이유가 이것 때문이었습니다.
매일매일의 유저경험을 이 서비스로 크게 높여줄 수 있을 것 같아 보여요. 결국 원하는건 왜 올랐냐. 왜 내렸냐..였지 않나..싶은거죠ㅎㅎ

상세한 답변 감사드립니다! 많은 도움이 될 것 같아요. 특히나 현업에 계신 분의 인사이트를 공유해주셔서, 저 뿐만아니라 다른 분들에게도 큰 도움이 될 것 같습니다. 감사합니다!! ㅎㅎㅎㅎ

와 프로젝트와 댓글 모두 고맙습니다. 다른분들한테 도움 많이 될 것 같아요!

너무 멋진 서비스네요!
상한가를 쳤음에도 불구하고 이유는 잘 안나와있고 상한가 쳤다는 뉴스만 있는 경우도 많더라구요.. 이런 뉴스는 어떻게 잘 필터링 할 수 있을지 궁금하네요

안녕하세요! 관심가져주셔서 감사합니다. 품질이 떨어지는 이유는 크게 두가지일 것 같아요. 하나는 원천 기사의 내용 자체가 원하는 내용을 충분히 담고 있지 못한 것이고, 다른 하나는 머신러닝 모델의 추론 결과가 좋지 않은 것일 것 같아요. (현재는 상당히 나이브한 방식으로 되어있습니다 ㅎㅎ..)

현재는 여러 기사가 있을 때 소팅을 model output score 로 하는데, 너무 짧은 문장 (가령 현재 보이는 것처럼 아예 비어있거나 너무 짧은 것) 혹은 추가적인 다른 휴리스틱을 조금 더 쓰면 빠르게 개선해볼 수 있을 것 같아요. 좋은 피드백 감사드립니다!

와 너무 좋네요.
원하는 주식 몇개 만 구독해서 매일 아침에 이메일로 받아볼 수 있게 하면 좋을 것 같아요.
이메일은 비용이 들어가니 저렴한 형태로 유료화를 고민해 보셔도 ㅎㅎ

좋은 의견 및 아이디어 감사합니다! ㅎㅎㅎㅎ 조금씩 기능 추가해보겠습니다. 긱뉴스에서 항상 영감을 많이 받고있어서 이번 기회에 너무 감사하다는 말씀 전해드리고싶어요! ㅎㅎㅎㅎ

한국 주식은 뭐라고 나올지 궁금하네요 ㅎㅎ

한국 주식도 안그래도 고민 중이었는데, 조금씩 개발해서 추가해보도록 할게요. 관심가져주셔서 감사합니다 ㅎㅎㅎ

우와! 신기한서비스네요. 이런 방식으로 음악차트에서 특정 아티스트곡이 역주행할때 분석해볼 수 있지 않을까 그런 생각이 드네요.

좋은 의견 감사합니다! 비슷한 접근 방식으로, 데이터만 충분하다면 활용할 수 있는 것들이 정말 많을 수 있겠네요!

주식이.... 오르기도 해요....? 이상하네... 내껀 떨어지기만 하던데...

새 주식 사기 전에 긱뉴스에 공유 부탁드립니다