当前位置：首页 > 情报最新情报最新
我用GPT-2创造了3000个宠物小精灵，完美复刻《神奇宝贝》
2020-11-24 22:59:27【情报最新】人次阅读
摘要模型既然你诚心诚意的发问了，我们就大发慈悲的告诉你！为了防止世界被破坏，为了守护世界的和平，贯彻爱与真实的邪恶，可爱又迷人的反派角色....听到这段台词，相信很多朋友都会不由自主地接上一句.......我们是穿梭在银河的火箭队！白洞！白色的明天在等着我们！就这样~喵~没错，它就是《神奇宝贝》中火箭队每次出场都让人忍不住发笑的经典台词。1997年上映的《神奇
既然你诚心提问了，我们就怀着极大的同情告诉你！
为了防止世界被毁灭，为了保护世界的和平，为了进行爱和真正的邪恶，可爱而迷人的恶棍....
听到这句话，相信很多朋友都会不由自主的跟着下一句.......
我们是穿梭于银河系的火箭！白洞！白色的明天在等着我们！
就是这样~喵~
没错，就是神奇宝贝里的经典台词，每次火箭出场都让人捧腹大笑。
1997年上映的《神奇宝贝》陪伴了我们20年，留下了很多80后90后童年的美好回忆，尤其是那800多只宠物精灵。
会放电的皮卡丘，经常睡得很香的妙蛙种子，不好惹的小火龙，还有喵，超梦和鸭。
这些可爱的卡通小精灵，至今还历历在目。相信很多人小时候都幻想过自己有个精灵宝宝。
最近，一个叫马修·雷菲尔德的程序员实现了他的愿望。
他以神奇宝贝中的788个卡通人物为原型，通过AI创造了3000个全新的宠物精灵。
这个人工智能是自然语言模型GPT-2。
GPT-2：「精灵制造机」说到NLP模型，GPT-3可能是最令人印象深刻的一个。
这一年来，这一模式因其1750亿的超级参数和超级应用，频频在各大媒体平台上映。
GPT 2号和GPT 3号一样，是OpenAI开发的自然语言处理模型。两个模型最大的区别就是它的参数量，只有15亿。
但这并不影响其适用范围。
与GPT-3类似，GPT-2也可以用来写故事、画图表或下棋。
最近，雷菲尔德受到了GPT 2在国际象棋和民间音乐中的应用的启发，想做些不同的事情。
他突发奇想，决定用GPT-2打造一个全新的宠物精灵形象，效果不错。
Rayfield从生成的3000幅图像中选择了6幅，如图所示:
呃...看来精灵原型还不错，只是定义差。
Rayfield还邀请了业内知名动画设计师雷切尔·布里格斯(Rachel Briggs)帮他完成这些精灵的“重绘”。
最后，基于GPT 2号生成的原型，这些宠物精灵变成了这样:
感觉二六可以直接成为神奇宝贝的一员，你说呢？
Rayfield简单介绍了用GPT-2创造这些精灵的实现过程。
大致:搜索了788张elf图片作为数据源，然后:
将图像转换为基于文本的格式。
用输入文本训练GPT-2模型。
使用训练好的模型生成图像。
将基于文本的图像格式转换为巴布亚新几内亚。
在这个过程中，也出现了一些问题。
比如文本格式转换时，出现很多有噪声的像素，最后调整为下面的格式。
而用文字训练GPT-2的过程相对简单，最困难的一步是通过代码将输出结果转换成标准化的图像格式。
这部分代码Rayfield已经在GitHub中打开了，有兴趣的朋友可以了解一下。
https://github.com/MatthewRayfield/pokemon-gpt-2
Image GPT：语言模型处理图像任务需要注意的是，Rayfield用GPT-2语言模型学习图像表示的方法已经被OpenAI验证过了。
无监督和自监督学习，或学习没有人工标记的数据，在自然语言处理领域取得了显著的成功，因为像BERT、GPT-2、RoBERTa和T5这样的Transformer模型在广泛的语言任务中取得了最好的结果，但是类似的模型在图像分类任务中不能产生有用的特征。
为此，OpenAI尝试用GPT-2来处理图像分类的任务，从而探索用Transformer模型学习图像表示的可行性。
他们发现，当GPT-2模型被训练成一个被扩展成称为iGPT的像素序列的图像时，该模型似乎能够捕获二维图像特征，并且可以自动生成各种逻辑上连续的图像样本，而无需人类提供的数据注释。
实验结果如下:
人类提供上半部分，GPT 2号自动完成下半部分，右边是原始图像
同时，该模型的特性在多个分类任务的数据集上也取得了很好的效果，尤其是在ImageNet上，如下图所示。
在自然语言处理中，依赖单词预测的无监督学习算法成功的一个可能原因是下游语言任务的实例出现在训练文本中。
相比之下，像素序列不直接包含它们所属图像的标签。
即使没有明确的监督，GPT-2在形象上仍然有效。
OpenAI研究团队认为，原因是Transformer模型足够大，可以通过训练预测下一个像素，最后可以根据清晰可辨的物体学习生成多样的样本。
他们使用了一种通用的无监督学习算法——生成序列模型来测试。
具体来说，他们训练了iGPT-S、iGPT-M、iGPT-L变压器；ImageNet上分别有76M、455M和1.4B参数。我还训练了IGPT-XL，一个拥有68亿参数的变形金刚，使用来自ImageNet和互联网的混合数据集。
由于对长序列进行密集建模的高计算成本，他们使用32x32、48x48和64x64的低分辨率进行训练。
最后，实验结果表明，序列变换器可以与最优卷积网络竞争，通过用计算复杂度代替二维知识，从网络中选择特征，实现无监督图像分类。
此外，将GPT-2语言模型直接应用于图像生成的结果，进一步表明序列变换器由于其简单性和通用性，有可能成为一种计算量足够大的学习不同领域特征的有效方法。
更多openai团队的实验内容见论文:https://cdn.OpenAI.com/papers/generative _预处理_来自_像素_ v2.pdf
参考链接:
https://www . Reddit . com/r/machine learning/comments/jyh0 h 4/p _ generating _ pokemon _ sprites _ with _ gp T2/
https://matthehrayfield . com/articles/ai-generated-pokemon-sprites-with-GPT-2/
https://openai.com/blog/image-gpt/
雷锋网雷锋网雷锋网
为广大动漫党漫迷提供更多精彩的我用GPT-2创造了3000个宠物小精灵，完美复刻《神奇宝贝》相关内容,御宅族看动漫作为一个消遣方式，本身也就是要从中得到快乐和放松,类用心做的剧情。
很赞哦！ ()