コミット履歴では追加されたコード（+）と削除されたコードが（-）が差分として可視化されますが、Githubに論文がプッシュされて、その後の論文が改善点をコミットしていけば、論文は重要な差分だけに圧縮されて把握しやすくなるのでは？というアイデアがTwitterにポストされていたみたいで、BERTとその派生手法をPoCとしてやってみたよ、という内容。（自動生成ではなく手動で作ったのだと思われる）
論文のContributionsがコミット履歴として可視化されたイメージですね。コミットメッセージは、なぜそのようなアイデアを考えたのか、どのように実現したのか、結果はどうなったのかが記述されていれば論文を読んだり、検証したりしやすくなりそうですね。
