ivslab02| Create a Mascot
Create a Mascot
The world is full of scientific information that can help us make informed decisions and take action. However, that information is not always accessible to young learners. Your challenge is to create a mascot that can help make learning about Earth and space science more fun and welcoming for younger audiences.
Let’s Create “a” Mascot !!!
Summary
透過現在熱門的 AI 技術，並結合日常場景，將使用者轉換成具有 NASA 風格的吉祥物。
How We Addressed This Challenge
日常生活中充滿了科學資訊，我們希望能透過現在熱門的 AI 技術，並結合日常場景，將使用者轉換成具有 NASA 風格的吉祥物。
科學知識對於非相關領域的人往往過於繁雜且難以理解，所以我們希望能打破以往死板的灌輸科學知識，和枯燥乏味的文字傳達方式，藉由設計具有 NASA 風格的吉祥物與場景，以身歷其境的方式讓非相關領域的人可以拉近跟 NASA 之間的距離。
希望透過 AI 將所有人變成獨一無二的 NASA 風格吉祥物，隨著智慧型手機的普及，若能將成品包裝成 APP 則可以增加受眾。
How We Developed This Project
- 利用 segmentation model 從輸入影像切出人的 mask。
- 利用 pix2pix model 在 mask 上生成太空裝，並與輸入影像結合。
- 若行有餘力，於 server 開發完成後，利用聯發科的 NeuroPilot 將完成的 model 輕量化後放至手機運算。
How We Used Space Agency Data in This Project
我們使用 NASA 提供的太空人照片，取得其太空裝部分的 mask 之後送進 pix2pix model 讓其學習生成太空裝的 feature。
下圖是實際用來訓練 pix2pix model 的 data。
Data & Resources
- Human-parsing model
- K. Lin, L. Wang, K. Luo, Y. Chen, Z. Liu and M. Sun, "Cross-Domain Complementary Learning Using Pose for Multi-Person Part Segmentation," in IEEE Transactions on Circuits and Systems for Video Technology, doi: 10.1109/TCSVT.2020.2995122.
- pix2pix model
- K. Lin, L. Wang, K. Luo, Y. Chen, Z. Liu and M. Sun, "Cross-Domain Complementary Learning Using Pose for Multi-Person Part Segmentation," in IEEE Transactions on Circuits and Systems for Video Technology, doi: 10.1109/TCSVT.2020.2995122.
- P. Isola, J. Zhu, T. Zhou and A. A. Efros, "Image-to-Image Translation with Conditional Adversarial Networks," 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Honolulu, HI, 2017, pp. 5967-5976, doi: 10.1109/CVPR.2017.632.
Tags
#artificial intelligence
Judging
This project was submitted for consideration during the Space Apps Judging process.