Show GN: musn129(머선129): 미국 주식 뉴스 요약 서비스
(musn129.com)미국 주식 뉴스를 모아서, 왜 오르고 떨어진 건지 요약해주는 서비스입니다.
가령, 가장 최근인 2022-10-21 Netflix 의 경우 the company is reinvesting a huge chunk of its profits at a high rate of return 라는 요약과 함께 해당 원문 뉴스 기사로 링크할 수 있게 제공합니다.
미국 주식에 관심이 많은데 아침에 일어나서 왜 오르고 떨어졌는지 일일이 검색해서 확인하는게 불편해서 개발하게 되었고, 혹시나 도움이 되실까 싶어 공유드립니다.
기술적으로는 아래와 같습니다.
- Fully Serverless (AWS Lambda + Cloudfront Lambda@Edge) 로 구성
- 미국 주식에 관한 News 를 크롤링 한 후 SQuAD 라는 머신러닝 모델로 결과를 추론 (ex.
Why Nvidia stock goes up?)- 모델은 Lambda 에서 충분히 돌릴 수 있도록 경량화된 모델 사용 (Distillation BERT 계열)
- 데이터를 만드는 모든 Lambda 는 AWS Free Tier 범위 내에서 처리되며, 추가적인 비용은 S3 및 Route 53 도메인 비용 뿐 (현재 한달에 $2 정도)
- 모든 데이터는 S3 에 저장되며, 따로 DB 는 사용하지 않음
- SSR (NextJs) + Cloudfront Lambda@Edge (us-east-1)
항상 잘보고있고, 많은 분들께 감사드립니다. 혹여 관심있으신 분들에게 작게나마 도움이 되길 바라면서 작성했습니다. 감사합니다.
안녕하세요. 이전에 진행한 사이드 프로젝트 musn129 (머선129) 에 큰 변화가 생겨서 공유드립니다.
먼저 큰 관심가져주시고, 꾸준히 사용해주시는 분들이 있어서 너무나 감사하다는 말씀을 드리고 싶습니다.
기존에는 비용 최적화를 위해 모든 연산을 AWS Lambda 에서 진행했고, 모델 추론은 Distillation BERT 로 SQuAD Task 를 풀었는데 (e.g. 기사 내에서 왜 이 주식이 올랐어? 라고 문제를 주고, 정답이 기사 내의 "어느 위치"에 있는지 풀게함), OpenAI 의 유료 API 를 사용한 것으로 변경했습니다. 새로운 모델로 연산한 데이터는 2023년부터 적용되었습니다. (2022년은 기존 데이터)
이미지 첨부가 안되어서, 마지막으로 오늘자로 가장 큰 변동을 보인 LUCID 의 결과물을 같이 남깁니다.(https://musn129.com/nasdaq/2023-01-27 에서 확인하실 수 있어요!)
2023.01.27 LUCID (+43%)
- Shares of electric vehicle maker Lucid Group Inc (NASDAQ: ) nearly doubled intra-day Friday on rumors reported at Betaville that Saudi Arabia's Public Investment Fund is working on plans to buy the remaining stake that it doesn’t own.
- On Friday, the market rally accentuated by rips higher in some battered and bruised technology stocks that faltered last year are making this year's price action look a lot like 2021's rally.
- The luxury EV maker's stock is increasing in price due to a rumor that Saudi Arabia's public wealth fund is preparing to take it private.
- The Saudi Public Investment Fund is considering buying more shares of Lucid Group, sending the company's stock soaring.
- Investors are betting that Saudi Arabia's Public Investment Fund is looking to invest in Lucid Group.
감사합니다!
비슷한 프로그램들중에 유저 인터페이스도 편리하고 가장 괜찮은 것 같아요. 야후 파이낸스, 다우존스, 블룸버그 등 이용했는데(현직이 아니라 개인 투자자여서 프로그램까지 써본건 아니지만) 관련 기사를 보기가 편하네요. 다만 사람마다 관심종목이 있다보니까 계정.. 을 만드는 건 아니어도 별표를 하고 특정 종목을 지속적으로 트래킹할 수 있으면 좋겠습니다. 잘 쓸게요. 감사합니다 ^-^
안녕하세요! 관심가져주셔서 감사합니다. 궁금한 것 남겨주시면 답변드릴게요! 다만, 혹시 개인적인 내용이 포함되어있는게 아니라면, 여기에 남겨주시면 다른 분들과 다 같이 공유될 수 있을 것 같아 더 좋을 것 같습니다! 감사합니다.
네. 궁금한게 너무 많은데요. :) 기술적인 것은 잘 몰라서 편하게 한 번 여쭤보겠습니다.
혹시 해당 프로젝트의 정확도를 좀 더 높일 수 있을까요?
뉴스의 양을 늘리거나 뉴스의 퀄리티를 높이거나 혹은 모델의 정확도를 높이는 방향일 것 같은데요.
더 많은 리소스를 투입한다면, 올려주신 서비스의 정확도를 높이는게 어느 정도로 가능할지가 궁금하네요.ㅎㅎ
넵, 충분히 많이 높일 수 있을 것 같아요. 개인적으로 한 것이고, (아직은) 수익이 없다보니 비용 효율 측면에 많이 포커스를 맞춰서 개선할 부분이 많다고 생각해요.
말씀주신 것처럼, 우선 양질의 데이터를 더 확보하는 것이 가장 중요할 것 같은데요, 제가 알기로는 뉴스 관련해서는 크롤링해서 데이터를 잘 구축한 SaaS 들이 많아서, 개인 단위가 아닌 프로젝트라면 적정한 금액대로 외부 유료 SaaS 를 사용해서 양질의 뉴스 기사들을 모을 수 있을 것 같아요.
다음으로는, 현재 모델의 입력과 출력에 대해 크게 전처리 후처리를 신경쓰지 않았는데, 모델 결과물을 보면서 더 양질의 값을 얻을 수 있도록 신경쓴다면 유저가 봤을 때 결과가 훨씬 좋을 것 같아요. (가령, 현재 저는 의미가 조금 없어보이는 짧은 답변이나, 빈칸 같아 보이는 답변도 데이터 자체가 적어서... 개인적으로 궁금할때 그냥 클릭해보고 싶다는 니즈로 남겨뒀었는데, 프로덕션 레벨이라면 이런 것들을 더 잘 정리해서 훨씬 더 좋은 유저경험을 줄 수 있을 것 같아요.)
마지막으로는, 이것도 비용 문제로 저는 굉장히 가벼운 모델을 딱 한번만 썼는데, 더 큰 모델 (계산을 많이 해야하지만 상대적으로 성능이 더 좋은) 을 사용해볼 수 있을 것 같고, 제가 접근한 Question Answering 방법 뿐만 아니라 다양한 방법으로 더 적합한 결과를 얻을 수 있을 것 같아요.
쓰다보니 길어졌는데, 혹시 관심있으신 다른 분들에게도 도움이 되시길 바라면서 남겨봅니다. 감사합니다!
너무 멋지네요. ㄷㄷ;;
정확도를 충분히 높을 수 있다면, 바로 실제 프로덕트로 구현해보는 것 까지 고려해볼 수 있을 것 같네요.
(이 서비스를 보신 분들의 댓글 반응만으로도 충분히 Preto-Type(프로토x, 프리토o) 으로의 검증은 다 끝난 것 같아 보일 정도니까요ㅎㅎ)
기획자로서 고민하고 있는 해외주식 영역에서의 개선점은 크게 두 가지였습니다.
하나는 물리적인 또는 기술적인 Pain Point
-가령 저녁에 거래를 해야한다던가 / 환전을 해야한다던가 / 15분 전 가격을 보여준다던가 / 호가가 안보인다던가 / 거래가능국가가 많이 없다던가 하는 등의 현지와 로컬의 물리적인 간극때문에 발생하는 불편함들을 어떻게 해소할 것인가 등이죠.
그런데 현재 이 부분은 많이 개선이 되었습니다. 자본의 힘....으로요 ㅎㅎ
최근 들어 제가 관심을 갖고 있던 분야는 정보와 컨텐츠 이슈였어요.
일단 영어를 잘해야 하고, 영어를 잘해도 해외 정보를 탐색하는데 어렵고 또 너무나 많아서 뭘 어떻게 찾아봐야할지 모르니까요. 시간은 없고 볼건 많고 투자는 어렵고 알려주는 사람은 없고,,,
그래서 증권사에서 하는 일들은 보통 컨텐츠 팀을 만든다거나 컨텐츠를 외부에서 사온다거나 리서치 커버리지를 해외종목까지 넓히는 등의 일인데, 아직 갈 길이 멉니다. 일일이 사람 손이 다 들어가야되기도 하구요. 그렇다보니 시의성도 떨어지고..
제가 구현하신 서비스에 크게 감명을 받은 이유가 이것 때문이었습니다.
매일매일의 유저경험을 이 서비스로 크게 높여줄 수 있을 것 같아 보여요. 결국 원하는건 왜 올랐냐. 왜 내렸냐..였지 않나..싶은거죠ㅎㅎ
상세한 답변 감사드립니다! 많은 도움이 될 것 같아요. 특히나 현업에 계신 분의 인사이트를 공유해주셔서, 저 뿐만아니라 다른 분들에게도 큰 도움이 될 것 같습니다. 감사합니다!! ㅎㅎㅎㅎ
너무 멋진 서비스네요!
상한가를 쳤음에도 불구하고 이유는 잘 안나와있고 상한가 쳤다는 뉴스만 있는 경우도 많더라구요.. 이런 뉴스는 어떻게 잘 필터링 할 수 있을지 궁금하네요
안녕하세요! 관심가져주셔서 감사합니다. 품질이 떨어지는 이유는 크게 두가지일 것 같아요. 하나는 원천 기사의 내용 자체가 원하는 내용을 충분히 담고 있지 못한 것이고, 다른 하나는 머신러닝 모델의 추론 결과가 좋지 않은 것일 것 같아요. (현재는 상당히 나이브한 방식으로 되어있습니다 ㅎㅎ..)
현재는 여러 기사가 있을 때 소팅을 model output score 로 하는데, 너무 짧은 문장 (가령 현재 보이는 것처럼 아예 비어있거나 너무 짧은 것) 혹은 추가적인 다른 휴리스틱을 조금 더 쓰면 빠르게 개선해볼 수 있을 것 같아요. 좋은 피드백 감사드립니다!
와 너무 좋네요.
원하는 주식 몇개 만 구독해서 매일 아침에 이메일로 받아볼 수 있게 하면 좋을 것 같아요.
이메일은 비용이 들어가니 저렴한 형태로 유료화를 고민해 보셔도 ㅎㅎ
좋은 의견 및 아이디어 감사합니다! ㅎㅎㅎㅎ 조금씩 기능 추가해보겠습니다. 긱뉴스에서 항상 영감을 많이 받고있어서 이번 기회에 너무 감사하다는 말씀 전해드리고싶어요! ㅎㅎㅎㅎ