2017年のリリース以来、多くの方に活用いただいてきたFindyの「スキル偏差値」。
この度、2024年12月からこの「スキル偏差値」のアルゴリズムを一新し、段階的にリニューアル、機能リリースしていくことをお知らせします。
リリースに合わせてキャンペーンも実施中です。詳細は こちら
Findyの「スキル偏差値」の概要とアップデートの背景
スキル偏差値は、ユーザーの方のGitHubのリポジトリを独自に解析しスコアリングしたものです。コミット量やOSSプロジェクトへの貢献度、他者からのコードの支持やアカウントへの影響度などに基づき、個人の開発力を示す指標として活用いただいています。
毎月多くの方に更新を楽しみにお待ちいただき、また開発やプログラミングの面だけでなく転職活動等の中でもご活用いただいていますが、反面、リリースから年数を経る中で改善の要望やご意見をいただく機会も出てきました。
また特にこの1年、LLMやAI Agentの登場により、「コードを書く」という行為のあり方や、エンジニアに求められる「スキル」自体が徐々に変化しつつあると、Findyは考えています。こうした世の中の変化もとらえながら、従来の「スキル偏差値」を段階的にアップデートさせていくことを決めました。
以下、具体的なアップデート内容、実装予定の機能を以下でご説明差し上げます。
今回のアップデートでの主な変更点
今回のアップデートでは、従来の「スキル偏差値」の算出方法とは大きく異なる実装で開発を進めています。以下、主要な変更点について公開可能な範囲でお伝えさせていただきます。
【変更点1】より”言語ごと”の評価に対応したスキル偏差値へ
現在Findyサービスに実装している「スキル偏差値」は、まずは全言語トータルでのその方の「スキル偏差値」を計算し、そのスコアを元に各言語の値を計算する、という方式で計算を行っています（メインで利用している言語の値に基づき、他の言語のスコアを決定するというロジックを採用しています）
この実装は、より多くのリポジトリを対象にした方が、ユーザー間でのスキル差の判定に活用できるだろうという仮説に基づいて設計し、実際多くの方に活用いただいてきました。
しかしながら、一部のユーザーの方から「少ししか触っていない言語のスキル偏差値が過剰に高い」といったお声を頂戴する機会も少なからずあり、”言語別のスキル偏差値”については大きな ”のびしろ”があると以前から把握していました。
そこで、今回のアップデートでは、従来の判定方法をゼロベースで見直し、「各言語ごとにスキル偏差値を算出する」モデル群を作成し、評価する形式に変更しています。
この変更により、各言語単位ではより実態に即したスキル偏差値を計算できるようになり、日々のOSS活動の刺激に繋がったり、将来的には転職活動時のミスマッチの防止に繋がり売るのではないかと考えています。
【変更点2】 使用する特徴量
「スキル偏差値」の算出に使用している特徴量について、詳細は開示していませんが、今回のアップデートに際して、より「コードの中身」に踏み込んだ特徴量選定を行っています。一例として
などの特徴がスキル偏差値の算出においてより大きな意味を持つようになりました。
一例をご紹介すると、以下は今回の新ロジックで計算したTypeScriptのスコアの分布を示したヒストグラムです（※実際にはこの偏差値に後処理を加えて「スキル偏差値」を作成しているため、実際の「スキル偏差値」のスコアや分布とは多少異なります）
ご覧の通り、「偏差値=50」とは別に35付近に大きな山ができているかと思います。TypeScriptの場合、Next.jsなどのフレームワークが充実している他、各種チュートリアルなども比較的充実していますが、それらを単純に踏襲しただけのリポジトリは相対的にスコアが出にくくなる仕様となっているため、上記のような歪なヒストグラムになっています。
（今回リリース予定の「スキル偏差値」では、より現実の開発や実装においての”スキル”を評価しており、各言語ごとに上記の観点で機械学習用のデータセットを作成しています）
また、モデルの学習にあたっての「スキルの高いコード」の評価は、現状では複数の人目を通して実施しています。
コードの可読性や、実際にプロダクトやサービスに実装していくことも意識して評価しており、これらの観点を強めたことで従来の「スキル偏差値」よりもより”コードの中身”に関わる特徴量の重要度が増しています。
なお、特徴量については今回のリリース以降も定期的に見直し、継続的に改善していく予定です。また、今後プログラミングの過程でも生成AIの活用がより進むと考えられますので、そうした変化も踏まえた特徴量の見直しや改善も行っていく予定です。
上記が、今回ならびに今後予定している「スキル偏差値」に関する大枠での変更点です。
Findyサービス内での「スキル偏差値」の表示に関する変更点
ここからは、2024年12月に予定している変更内容の告知と、今後のリリース予定の概要について記載します。
まず、2024年12月に実施するアップデート第1弾では、「Ruby」「Python」「Go」「PHP」「JavaScript」「TypeScript」の6つの言語について先行して新しいスキル偏差値をリリースします。
この6言語は、現在FindyにGitHubを連携いただいているユーザーの方の人数が多い言語を選んでいます。本来はもっと多くの言語に対応したいのですが、新たなスキル偏差値では「言語別」に個別の評価モデルを作成し、動かす仕様をとっているため、段階的なリリースになることをどうかご容赦ください（2025年の春には対応言語の増加を予定しています）。
上記の6言語を連携されている方は、2024年12月16日のアップデートをもって、FindyのマイページやSkillsページに表示される「スキル偏差値」の表示が以下のように変わります。
上記6言語のリポジトリをGitHub上にお持ちの場合、新たなロジックで計算された「スキル偏差値ver.3」がデフォルトで表示されます。リリース以降も、「いままでのスキル偏差値（ver.2）」は引き続き更新されるようになっており、タブ切り替えでそちらを閲覧することも可能です。
「いままでのスキル偏差値（ver.2）」と「スキル偏差値ver.3」は「機械学習モデルの作り方」「学習に使用するデータや特徴量」など全てが異なっており、全くの別物であることをご理解ください。今後、新しいスキル偏差値ver.3の対応言語が増えた後に、一本化する予定です。
いままでのスキル偏差値（ver.2）
・従来と同じロジックで算出されたスコアが引き続き表示されます。
・FindyにGitHub連携をされている全ユーザーの中での言語を問わないスキル偏差値の値です。
スキル偏差値ver.3
・FindyにGitHub連携されている方の中で、特定の言語に絞った中でのスコアの値が表示されます（例： Rubyの言語別スキル偏差値の場合、GitHubにRubyのリポジトリがあるユーザーに絞ってスキル偏差値が計算されます）
・ロジックや対象とする特徴量は、上で説明したものに変わります。
なお、今回リリースする6言語のいずれのリポジトリもお持ちでいない方は、「いままでのスキル偏差値（ver.2）」がデフォルトで表示されます。
「いままでのスキル偏差値（ver.2）」についても、しばらくの間は転職活動時の企業の参照情報などとして生き続けますので、”今回の6言語のリポジトリを保有していないことで、転職活動に支障が出る”といった事象は起こらない点はご安心ください。
今後、ご利用いただいているユーザーの皆様からのご意見も踏まえた上でサービス内容を追加・変更していく予定です。
また上でも記載した通り、「エンジニアスキル」が大きく変わりつつある今だからこそ、「スキル偏差値」に求められる役割もどんどん変わっていくと考えています。ぜひ追加機能の要望や改善アイデアの声などもいただけましたら幸いです。
